Crawlen
Ook wel crawling
Wat betekent crawlen?
Crawlen is het proces waarbij zoekmachines automatisch je website doorlopen. Een programma, de crawler, volgt links van pagina naar pagina en leest de inhoud, zodat de zoekmachine weet wat er op je site staat.
Veelgestelde vragen over crawlen
Hoe zorg ik dat Google mijn website crawlt?
Je helpt Google op weg door je site aan te melden en duidelijke routes aan te bieden.
- Koppel je site aan Google Search Console, de gratis tool van Google voor website-eigenaren.
- Dien daar je XML-sitemap in. Dat is een lijst met al je pagina's, die Yoast SEO of Rank Math automatisch voor je maakt.
- Link vanuit bestaande pagina's naar je nieuwe pagina's.
- Gebruik URL-inspectie in Search Console om indexering aan te vragen voor een belangrijke pagina.
Een garantie dat Google direct langskomt heb je niet, maar zo maak je het de crawler wel makkelijk.
Hoe lang duurt het voordat Google een nieuwe pagina crawlt?
Dat varieert van enkele uren tot een paar weken. Er is geen vaste termijn, want het hangt af van een paar dingen:
- Hoe bekend je site is en hoeveel andere sites ernaar linken.
- Hoe vaak je nieuwe inhoud publiceert.
- Of de pagina in je sitemap staat en vanuit andere pagina's gelinkt wordt.
- Hoe snel en stabiel je server reageert.
Een gloednieuwe website wacht meestal langer dan een site die al jaren actief is. Wil je het versnellen, vraag dan indexering aan via URL-inspectie in Google Search Console.
Staat mijn pagina in Google zodra die gecrawld is?
Nee, dat is een veelvoorkomend misverstand. Na het crawlen volgt een aparte stap: indexeren. Dan beslist Google of de pagina in de zoekresultaten mag komen.
Google kan een pagina wel bezoeken maar toch niet opnemen, bijvoorbeeld omdat:
- de inhoud erg dun is of weinig toevoegt;
- dezelfde tekst ook op een andere pagina staat;
- er een noindex-instelling op de pagina staat.
In Google Search Console zie je dit terug als de melding 'Gecrawld, momenteel niet geïndexeerd'. Verbeter dan de inhoud en controleer je instellingen.
Hoe regel ik in WordPress wat Google wel en niet crawlt?
- Ga naar Instellingen en dan Lezen. Zorg dat 'Zoekmachines ontmoedigen deze site te indexeren' uit staat zodra je site live is. Dit vinkje wordt vaak vergeten na de bouw.
- Met Yoast SEO of Rank Math pas je het robots.txt-bestand aan. Daarin staat welke delen crawlers mogen bezoeken.
- Wil je een pagina uit de zoekresultaten houden, zet hem dan op noindex in diezelfde plugin.
Let op: blokkeer zo'n pagina niet ook in robots.txt. Dan kan Google de noindex niet lezen en kan de pagina toch in de resultaten verschijnen.
Hoe zie ik of Google mijn site zonder problemen crawlt?
Dat controleer je in Google Search Console:
- Het rapport Pagina's laat zien welke pagina's niet geïndexeerd zijn en waarom.
- Onder Instellingen vind je Crawlstatistieken, met hoe vaak Google langskomt en welke fouten hij tegenkomt.
- Met URL-inspectie test je één specifieke pagina.
Veelvoorkomende problemen zijn kapotte links (404-fouten), serverfouten en pagina's die per ongeluk in robots.txt geblokkeerd zijn. Kapotte links los je in WordPress op met de plugin Redirection, die oude adressen doorstuurt naar de juiste pagina.
