Crawlbudget

Waaruit bestaat crawlbudget?

Crawlbudget is het resultaat van twee onafhankelijke factoren: de crawl rate limit (ook crawlcapaciteit genoemd) en de crawl demand (crawlvraag). Het effectieve crawlbudget is de combinatie van wat Google kán en wíl crawlen: ook als je servercapaciteit ruim voldoende is, crawlt Google minder zodra de crawlvraag laag is.

De crawl rate limit wordt bepaald door de snelheid en stabiliteit van je server. Reageert je server snel en zonder 5xx-fouten (serverfoutmeldingen), dan verhoogt Google het crawltempo. Reageert hij traag of instabiel, dan crawlt Google minder om je server niet te overbelasten.

De crawl demand hangt af van drie zaken: de populariteit van je URL's (pagina's met veel links of verkeer worden vaker gecrawld), de versheid (pagina's die regelmatig wijzigen worden vaker bezocht), en de zogeheten perceived inventory (waargenomen voorraad). Google noemt die laatste factor, het aantal URL's dat het als de moeite waard beschouwt om te crawlen, de factor die je zelf het sterkst kunt beïnvloeden.

Sinds de documentatie-update van 22 juli 2026 is ook duidelijk dat de crawlcapaciteit gedeeld wordt over al Google's crawlers. Elke crawler heeft weliswaar zijn eigen crawlvraag, maar put uit dezelfde gedeelde capaciteitspool. Trekt bijvoorbeeld AdsBot of Google Shopping veel capaciteit naar zich toe, dan blijft er minder over voor Googlebot zelf.

Voor welke websites is crawlbudget relevant?

Voor de meeste websites is crawlbudget geen zorg. Heeft je site minder dan een paar duizend pagina's, dan crawlt Google die doorgaans moeiteloos volledig. Crawlbudget wordt pas een echte SEO-factor bij sites met tienduizenden URL's, of bij architecturen die duizenden filter- en paginatie-URL's genereren, zoals grote webshops of nieuwssites.

Wat is het verschil tussen crawlen en indexeren?

Crawlen is het scannen van een pagina: Googlebot bezoekt de URL en leest de inhoud. Indexeren is de stap erna, waarin Google beslist of die pagina in de zoekindex komt. Een pagina kan dus wel gecrawld zijn zonder geïndexeerd te raken. Crawlbudget gaat uitsluitend over crawlen, niet over indexeren.

Hoe verspil je crawlbudget, en hoe voorkom je dat?

Een veelvoorkomend misverstand gaat over robots.txt en noindex als budget-trucjes. Gebruik robots.txt om pagina's te blokkeren die je nooit gecrawld wilt hebben, niet als truc om budget tijdelijk te "herverdelen": Google's eigen documentatie raadt dit expliciet af. Gebruik noindex al helemaal niet als budgettruc, want Google haalt de pagina alsnog op om de noindex-instructie te kunnen lezen, wat juist crawltijd kost in plaats van bespaart.

De grootste verspillers van crawlbudget zijn:

• Duplicaten en bijna-identieke pagina's, zoals gefilterde of gesorteerde varianten van dezelfde inhoud.
• Soft 404's, pagina's die een 200-statuscode teruggeven terwijl ze eigenlijk "niet gevonden" zijn.
• Redirect chains, waarbij een URL via meerdere tussenstappen naar de uiteindelijke bestemming leidt.
• Crawl traps zoals oneindige kalenderpagina's, facetnavigatie of sessie-ID's in URL's, die eindeloos nieuwe URL-varianten genereren.

Voor pagina's die permanent zijn verwijderd, geef je gewoon een 404- of 410-statuscode terug: die kosten Google geen doorlopende crawl-aandacht. Gebruik robots.txt daarnaast om pagina's te blokkeren die nooit gecrawld hoeven te worden, zoals interne zoekresultaten of admin-paden. Ondersteunt je server bovendien de HTTP-statuscode 304 (Not Modified), dan hoeft Googlebot een ongewijzigde pagina niet opnieuw volledig te downloaden, wat servercapaciteit bespaart.

Onderstaande tabel vat de belangrijkste verspillers en hun oplossing samen.

Hoe meet je je crawlbudget?

Je meet je crawlbudget via Google Search Console, in het rapport Crawlstatistieken onder Instellingen. Daar zie je het aantal crawlverzoeken, de gemiddelde reactietijd van je server en eventuele fouten. Voor grotere sites is aanvullende serverlog-analyse waardevol, omdat je daarin exact ziet welke URL's Googlebot daadwerkelijk bezoekt. Houd daarnaast je sitemap schoon: neem alleen canonieke, indexeerbare URL's op, want een sitemap vol verouderde of geblokkeerde URL's stuurt Google de verkeerde kant op.

Twijfel je of je site crawlbudget efficiënt benut? Bekijk onze SEO-dienst.