<font size=2 face="sans-serif">Hi Peter,</font><br><br><font size=2 face="sans-serif">I can't technically answer your question

but QuotaEnforcer and </font><tt><font size=3>queueTotalBudget </font></tt><font size=2 face="sans-serif">are

two different processors and have not been implemented in Heritrix to work

together.</font><br><br><font size=2 face="sans-serif">At BnF, we are using  </font><tt><font size=3>queueTotalBudget</font></tt><font size=2 face="sans-serif">to manage queues by number of URLs.</font><br><font size=2 face="sans-serif">Here is what we have in our profiles

:</font><br><br><tt><font size=3>    <!-- FRONTIER (START)<br>    Record of all URIs discovered and queued-for-collection<br>    --><br>    <bean id="frontier" class="org.archive.crawler.frontier.BdbFrontier"><br>        <property name="maxRetries" value="10"

/><br>        <property name="retryDelaySeconds"

value="60" /><br>        <property name="recoveryLogEnabled"

value="false" /><br>        <property name="balanceReplenishAmount"

value="1000" /><br>        <property name="errorPenaltyAmount"

value="1" /><br>        <!-- NETARCHIVESUITE Placeholder FRONTIER_QUEUE_TOTAL_BUDGET_PLACEHOLDER

--><br>        <property name="queueTotalBudget"

value="%{FRONTIER_QUEUE_TOTAL_BUDGET_PLACEHOLDER}" /><br>        <property name="snoozeLongMs"

value="300000" /><br>        <property name="extract404s" value="false"

/><br>    </bean><br>    <!-- FRONTIER (END) --></font></tt><br><br><font size=2 face="sans-serif">And we have no  place holder for

the quotaEnforcer.</font><br><br><font size=2 face="sans-serif">Best,</font><br><br><font size=2 face="sans-serif">Sara</font><br><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">De :      

 </font><font size=1 face="sans-serif">"Peter Svanberg"

<Peter.Svanberg@kb.se></font><br><font size=1 color=#5f5f5f face="sans-serif">A :      

 </font><font size=1 face="sans-serif">"netarchivesuite-users@ml.sbforge.org"

<netarchivesuite-users@ml.sbforge.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date :      

 </font><font size=1 face="sans-serif">30/08/2022 13:41</font><br><font size=1 color=#5f5f5f face="sans-serif">Objet :    

   </font><font size=1 face="sans-serif">Re: [Netarchivesuite-users]

Limit both number of bytes and number of objects per domain</font><br><font size=1 color=#5f5f5f face="sans-serif">Envoyé par :    

   </font><font size=1 face="sans-serif">"NetarchiveSuite-users"

<netarchivesuite-users-bounces@ml.sbforge.org> <hr noshade> <font size=3 color=#004080 face="Calibri">Sorry, I mixed it up, alt.

3 edited below. So I suppose now that alt. 3 is true. And that the value

of <i>frontier.queueTotalBudget</i> is irrelevant if you use <i>quotaenforcer</i>,

i.e. if <i><ref bean="quotaenforcer"/></i>  is among

the fetchProcessors.processors. True?</font><br><font size=3 color=#004080 face="Calibri"> </font><br><font size=3 color=#004080 face="Calibri">But there is a rumour that

you should decide between byte and object limit – true or false?</font><br><font size=3 color=#004080 face="Calibri"> </font><br><font size=3 color=#004080 face="Calibri">Regards,</font><br><font size=3 face="Arial">-----<br>Peter Svanberg</font><font size=3 color=#004080 face="Calibri"><br></font><br><font size=3 color=#004080 face="Calibri"> </font><br><font size=3 face="Calibri"><b>Från:</b> NetarchiveSuite-users <netarchivesuite-users-bounces@ml.sbforge.org>

<b>För </b>Peter Svanberg<b><br>Skickat:</b> den 29 augusti 2022 14:20<b><br>Till:</b> netarchivesuite-users@ml.sbforge.org<b><br>Ämne:</b> [Netarchivesuite-users] Limit both number of bytes and number

of objects per domain</font><br><font size=3 face="Calibri"> </font><br><font size=3 face="Calibri">Could someone please explain this handling?</font><br><font size=3 face="Calibri"> </font><br><font size=3 face="Calibri">In a snapshot we want to limit both number

of bytes and number of objects per domain. If you give positive values

in GUI for new snapshot harvest, what is recommended? <font size=3 face="Calibri">  <font size=3 face="Calibri">1.       You should not.

Why not?</font><br><font size=3 face="Calibri">2.       You must change

<i>settings.harvester.scheduler.jobGen.objectLimitIsSetByQuotaEnforcer</i>to false and change<i><br>settings.harvester.harvesting.harvestReport.class</i> to <i>dk.netarkivet.harvester.harvesting.report.BnfHarvestReport</i>(which doesn’t assume annotations in crawl log).</font><br><font size=3 face="Calibri">3.       You can keep <i>settings.harvester.scheduler.jobGen.objectLimitIsSetByQuotaEnforcer</i>as true and it works …? Even though </font><font size=3 color=#004080 face="Calibri">FRONTIER_QUEUE_TOTAL_BUDGET_PLACEHOLDER

(and hence frontier.queueTotalBudget) is set to infinity?</font><font size=3 face="Calibri"><i><strike>QUOTA_ENFORCER_GROUP_MAX_FETCH_SUCCES_PLACEHOLDER</strike></i><strike>in template (and hence <i>quotaenforcer.groupMaxFetchSuccesses</strike></i><strike>)

is set to infinity</strike> (in <i>configureQuotaEnforcer()</i>)?</font><br><font size=3 face="Calibri"> </font><br><font size=3 face="Calibri">Regards,</font><br><font size=3 face="Calibri"> </font><br><font size=3 face="Calibri"> </font><p><table width=394 style="border-collapse:collapse;"><tr height=8><td width=113 style="border-style:solid;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><a href=https://www.kb.se/></a><td width=281 style="border-style:solid;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=3 face="Arial"><b>Peter

Svanberg</b></font><br><font size=3 face="Arial"><b>Technical officer </b></font><br><font size=3 face="Arial">Aquisitions and Metadata Department<br>Film, Games, Sheet Music and Web Unit</font><br><font size=3 face="Arial"> </font><br><font size=3 face="Arial"><b>National Library of Sweden</b></font><br><font size=3 face="Arial">PO Box 5039, SE-102 41 Stockholm</font><br><font size=3 face="Arial">Visits: Karlavägen 96, Stockholm</font><br><font size=3 face="Arial">+46 10-709 32 78</font><br><a href=mailto:Peter.Svanberg@kb.se><font size=3 color=#0082bf face="Arial"><u>Peter.Svanberg@kb.se</u></font></a><br><a href=https://www.kb.se/><font size=3 color=blue face="Arial"><u>www.kb.se</u></font></a></table><br><font size=3 face="Calibri"> </font><br><font size=3 face="Calibri"> </font><tt><font size=2>_______________________________________________<br>NetarchiveSuite-users mailing list<br>NetarchiveSuite-users@ml.sbforge.org<br></font></tt><a href="https://ml.sbforge.org/mailman/listinfo/netarchivesuite-users"><tt><font size=2>https://ml.sbforge.org/mailman/listinfo/netarchivesuite-users</font></tt></a><tt><font size=2><br></font></tt><br><font face="sans-serif"><hr />

Samedi 17 et dimanche 18 septembre 2022 : la BnF fête la réouverture du site Richelieu, après douze ans de travaux de rénovation et de modernisation, avec <a href="https://www.bnf.fr/fr/agenda/richelieu-le-reveil-reouverture">un parcours de visite</a> en compagnie d’artistes et comédiens l'après-midi, et <a href="https://www.bnf.fr/fr/agenda/richelieu-le-reveil-performances-et-lectures">des événements et performances</a> la soirée.

<p style="color:#008000"><strong>Avant d'imprimer, pensez à l'environnement.</strong></p></font>