Robots meta tag
Ook wel meta robots
Wat is een robots meta tag?
Een robots meta tag is een instructie in de paginacode die zoekmachines vertelt wat ze met die pagina mogen doen. Bijvoorbeeld of de pagina in de zoekresultaten mag verschijnen (noindex) en of links gevolgd mogen worden (nofollow).
Veelgestelde vragen over robots meta tag
Hoe zet ik een pagina op noindex in WordPress?
Met Yoast SEO of Rank Math regel je dit per pagina, zonder dat je code hoeft aan te passen:
- Open de pagina of het bericht in de editor.
- In Yoast SEO: open in het Yoast-blok het onderdeel "Geavanceerd" en kies bij "Toestaan dat zoekmachines dit bericht tonen in zoekresultaten?" voor "Nee".
- In Rank Math: open de Rank Math-zijbalk, ga naar het tabblad "Geavanceerd" en vink "No Index" aan.
- Klik op "Bijwerken" om op te slaan.
Wil je een hele groep pagina's uitsluiten, zoals tagpagina's? Dat stel je in bij de algemene instellingen van de plugin, per inhoudstype of taxonomie.
Kan ik een pagina niet gewoon blokkeren in robots.txt?
Nee, niet als je wilt dat de pagina uit de zoekresultaten verdwijnt. Dit is een veelgemaakte fout. Robots.txt vertelt zoekmachines dat ze een pagina niet mogen crawlen, dus niet mogen bezoeken en lezen. Daardoor ziet Google de noindex-tag op die pagina ook niet.
Het gevolg: linken andere sites naar die pagina, dan kan de URL toch in Google verschijnen, vaak zonder beschrijving. Wil je een pagina uit de resultaten halen, laat crawlen dan toe en gebruik een noindex-tag. Robots.txt is vooral bedoeld om te sturen welke delen van je site zoekmachines bezoeken, niet om pagina's uit de index te houden.
Hoe controleer ik of een pagina per ongeluk op noindex staat?
Dat kun je op een paar manieren snel nagaan:
- Google Search Console: plak de URL in de zoekbalk bovenaan (URL-inspectie). Je ziet dan of indexering is toegestaan.
- In Search Console onder "Pagina's" vind je de melding "Uitgesloten door tag noindex" met een lijst van alle betrokken pagina's.
- Open de pagina in je browser, druk op Ctrl+U (Cmd+Option+U op een Mac) en zoek op "noindex" in de broncode.
Vind je niets in de broncode, terwijl Search Console wel noindex meldt? Dan staat de instructie mogelijk in de serverheader, de zogeheten X-Robots-Tag. Vraag je hostingpartij of webbouwer dan om mee te kijken.
Hoe lang duurt het voordat Google een noindex-pagina verwijdert?
Dat hangt af van wanneer Google de pagina opnieuw bezoekt. Pas dan ziet Google de noindex-tag en haalt de pagina uit de resultaten. Pagina's die vaak worden bezocht en veel links krijgen, worden meestal sneller opnieuw gecrawld dan pagina's diep in je site.
Zo versnel je het:
- Gebruik in Google Search Console de URL-inspectie en klik op "Indexering aanvragen".
- Is het dringend, bijvoorbeeld bij gevoelige informatie? Gebruik dan de tool "Verwijderingen" in Search Console. Die verbergt de pagina tijdelijk, terwijl de noindex-tag zorgt dat ze ook daarna wegblijft.
Waarom staat mijn hele WordPress-site ineens niet meer in Google?
Vaak komt dat door één vinkje in WordPress. Onder Instellingen en dan Lezen staat de optie "Zoekmachines ontmoedigen deze site te indexeren". Staat die aan, dan krijgt je hele site een noindex. Dit vinkje wordt regelmatig vergeten na de bouw of na het overzetten van een testomgeving.
- Zet het vinkje uit en sla op.
- Controleer in je SEO-plugin of er geen inhoudstypen, zoals pagina's of berichten, op noindex staan.
- Vraag in Google Search Console indexering aan voor je homepage en belangrijkste pagina's.
- Dien je sitemap opnieuw in via Search Console.
