<font size=2 face="sans-serif">Hello all,</font><br><br><font size=2 face="sans-serif">Our first broad crawl with NAS5 and
H3 is finished! We crawled 101.55 TB in 6 weeks. We encountered 4 problems
during this crawl:</font><br><br><font size=2 face="sans-serif">- a storage saturation problem with
our new infrastructure (we lost 16 jobs of the broad crawl and a few jobs
from selective crawls)</font><br><font size=2 face="sans-serif">- an out of memory problem on the GUI
and the broker (with no data loss)</font><br><font size=2 face="sans-serif">- the use of public_suffixes.dat introduced
in NAS5 made H3 create a lot of queues by host for the domain blogspot.com
instead of a single queue by domain</font><br><font size=2 face="sans-serif">- some second level TLDs were also created
as domains and broaden the crawl scopes</font><br><br><font size=2 face="sans-serif">We received only 5 complaints from web
publishers compared to around 15 in 2016. During the coming weeks, we are
going to analyse the crawl reports and the quality of the archives to produce
a report on the crawl.</font><br><br><font size=2 face="sans-serif">In parallel, we had scheduling issues:
our daily news crawls stopped three times. Two jobs were submitted with
the same ID and this changed the status of the selective harvest from active
to inactive.</font><br><br><font size=2 face="sans-serif">Best regards,</font><br><font size=2 face="sans-serif">The BnF digital legal deposit team</font><br><br><font face="sans-serif"><hr />
<p>Exposition <strong><em><a href="http://www.bnf.fr/fr/evenements_et_culture/anx_expositions/f.paysages_francais.html">Paysages français – Une aventure photographique (1984 - 2017)</a></em></strong> - du 24 octobre 2017 au 4 février 2018  - BnF - François-Mitterrand</p>
<p style="color:#008000"><strong>Avant d'imprimer, pensez à l'environnement.</strong></p></font>