Crawlbudget
Wat betekent crawlbudget?
Crawlbudget is het aantal pagina's dat Google bezoekt op je website binnen een bepaalde tijd. Dat hangt af van hoe snel je server reageert en hoe belangrijk Google je site vindt.
Veelgestelde vragen over crawlbudget
Moet ik me als kleine website zorgen maken over crawlbudget?
Meestal niet. Google geeft zelf aan dat crawlbudget vooral een rol speelt bij zeer grote websites met heel veel pagina's of inhoud die snel verandert, zoals grote webshops en nieuwssites. Heeft je site een paar honderd pagina's, dan bezoekt Google die doorgaans zonder problemen.
Worden je nieuwe pagina's toch niet opgepikt, dan ligt het vaak aan iets anders: een noindex-tag die per ongeluk aanstaat, pagina's waar geen enkele interne link naartoe gaat, dunne inhoud of technische fouten. Kijk daarvoor eerst in het rapport Pagina-indexering in Google Search Console.
Hoe zie ik hoeveel pagina's Google per dag crawlt?
Dat zie je in Google Search Console, de gratis tool van Google voor website-eigenaren.
- Log in en kies je website.
- Ga links onderin naar Instellingen.
- Klik bij Crawlstatistieken op Rapport openen.
Je ziet dan het aantal crawlverzoeken per dag, de hoeveelheid gedownloade data en de gemiddelde reactietijd van je server. Daaronder staat een uitsplitsing per statuscode en bestandstype. Let vooral op een stijgende reactietijd of veel 404- en 5xx-fouten (pagina niet gevonden of serverfout). Dat zijn signalen dat Google tijd verspilt of afremt.
Hoe verbeter ik mijn crawlbudget in WordPress?
Zorg dat Google minder overbodige pagina's tegenkomt en dat je server snel reageert.
- Zet in Yoast SEO of Rank Math overbodige archieven, zoals tag- of auteurpagina's, op noindex als ze niets toevoegen.
- Laat dezelfde plugin een XML-sitemap maken en dien die in bij Google Search Console.
- Maak je site sneller met WP Rocket of LiteSpeed Cache, zodat Google meer pagina's per bezoek kan ophalen.
- Gebruik Redirection om kapotte links op te sporen en redirectketens in te korten.
Kies daarnaast voor goede hosting, want een trage server remt Google direct af.
Bespaar ik crawlbudget door pagina's op noindex te zetten?
Niet echt, en dat is een veelgemaakt misverstand. Google moet een pagina eerst bezoeken om de noindex-tag te zien. Op den duur crawlt Google zulke pagina's wel minder vaak, maar ze kosten nog steeds bezoeken.
Wil je echt voorkomen dat Google bepaalde pagina's crawlt, gebruik dan een Disallow-regel in je robots.txt, bijvoorbeeld voor interne zoekresultaten of filterpagina's. Let op: een geblokkeerde pagina kan alsnog in Google verschijnen als andere sites ernaar linken. Combineer noindex en Disallow ook niet op dezelfde pagina, want dan kan Google de noindex-tag niet meer lezen.
Welke pagina's verspillen crawlbudget op mijn website?
Vooral pagina's die veel lijken op andere pagina's of die niets opleveren. Veelvoorkomende boosdoeners:
- Filter- en sorteerpagina's in een webshop, zoals URL's met ?orderby= of kleurfilters in WooCommerce.
- Interne zoekresultaten, herkenbaar aan ?s= in de URL.
- Redirectketens, waarbij de ene doorverwijzing naar de volgende leidt.
- Interne links naar pagina's die niet meer bestaan (404).
- Dubbele versies van je site, bijvoorbeeld met en zonder www of via http en https.
In de Crawlstatistieken van Google Search Console zie je welke URL's Google bezoekt. Zo herken je snel waar het misgaat.
