[Bitrepository-devel] Så har vi et kørende Bitmagasin med 100.000 filer :-)

[Bjarne Andersen]

Fantastisk. Så burde Tues acceptance test vel kunne gå igennem hvis også KBs ben understøtter paging af audit-trails ? 

Er der planlagt nogen løsning af BITMAG-749 - som vel er nødvendig for at SB kan køre radio/TV-samlingen over på et fuldt bitmagasin inkl. integrity service.

-
Bjarne
________________________________________
Fra: Mikis Seth Sørensen
Sendt: 2. november 2012 10:47
Til: List for the Bitrepositorys developers
Cc: bnh at kb.dk; Bjarne Andersen
Emne: Så har vi et kørende Bitmagasin med 100.000 filer :-)

Dvs. de 2 problembørn, integrity og audit trail service kan nu skalere op til 100.000 filer(meget små filer på 1 ben).  Mere præcist:

Integrity service henter data i en omgang fra benene. Det betyder at vores SB ben med 512MB ram lige kan håndtere en request på 100.000 filer. Det betyder igen at integrity servicen ikke kan skalere til meget mere end 100.000 filer uden paging (BITMAG-749<https://sbforge.org/jira/browse/BITMAG-749>).

Loggen med tider ser sådan ud:
2012-11-01 15:37:26.026 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Collecting all file ids.'
2012-11-01 15:45:08.501 [Service Scheduler] DEBUG o.b.i.w.step.UpdateFileIDsStep - Collection of file ids had the final event: 48076e3d: GET_FILE_IDS: COMPLETE:
2012-11-01 15:45:08.501 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Collecting all file ids.'
2012-11-01 15:45:08.505 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Collecting checksums for all files.'
2012-11-01 15:49:28.762 [Service Scheduler] DEBUG o.b.i.w.step.UpdateChecksumsStep - Collection of file ids had the final event: cdc11e1b: GET_CHECKSUMS: COMPLETE:
2012-11-01 15:49:28.762 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Collecting checksums for all files.'
2012-11-01 15:49:28.768 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Validating the integrity of the file ids.'
2012-11-01 15:49:44.397 [Service Scheduler] INFO  o.b.i.w.s.IntegrityValidationFileIDsStep - No integrity issues found: No missing files.
2012-11-01 15:49:44.397 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Validating the integrity of the file ids.'
2012-11-01 15:49:44.398 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Validating the integrity of the checksums.'
2012-11-01 15:50:00.593 [Service Scheduler] INFO  o.b.i.w.s.IntegrityValidationChecksumStep - No integrity issues found: No checksums issues.
2012-11-01 15:50:00.593 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Validating the integrity of the checksums.'
2012-11-01 15:50:00.594 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Finding missing checksums'
2012-11-01 15:50:01.087 [Service Scheduler] DEBUG o.b.i.w.s.FindMissingChecksumsStep - No checksum are missing from any pillar.
2012-11-01 15:50:01.087 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Finding missing checksums'
2012-11-01 15:50:01.088 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Starting step: 'Finding obsolete checksums'
2012-11-01 15:51:17.049 [Service Scheduler] INFO  o.b.i.w.BasicIntegrityWorkflow - Finished step: 'Finding obsolete checksums'

Dvs. det tager ca. 14 minutter at indsamle FileIDs og checksummer og lave forskellige checks på disse. Der udestår stadigvæk en række optimeringer her.


Der er implementeret paging for Audit Trails, dvs. audit trails indsamles incrementelt. Dette skulle igen betyde at der ikke umiddelbart er nogen grænse for hvor mange audit trails der kan håndteres.

Det tog ca. 10 minutter at indsamle 200.000 audit trails vha. request med 10.000 events i hver.

Bemærk dog at vores nuværende audit trail web interface ikke på nuværende tidspunkt kan vise så mange events.

God weekend
Mikis