Als je het wel eens hebt meegemaakt weet je precies hoe het voelt. Je ziet de organische weergaven in Google Search Console kelderen en je gemiddelde positie daalt nog sneller. In lichtelijke paniek ga je snel alles na om te ontdekken hoe dit wordt veroorzaakt. Totdat je het beruchte WordPress noindex vinkje tegenkomt…
Troost je met het feit dat het vaker gebeurt. Zelfs bij de grootste webbureau’s worden fouten gemaakt met het beruchte vinkje Zoekmachines ontmoedigen om deze site te indexeren. Testomgevingen worden vaak online gezet met het vinkje aangezet, om ervoor te zorgen dat ze niet in de zoekresultaten opduiken. Maar de testomgeving wordt vaak gekopieerd naar de liveomgeving, waarbij het vinkje nogal eens wordt vergeten.
Het (per ongeluk) aan laten staan van dit vinkje kan grote gevolgen hebben, zeker wanneer er niets aan wordt gedaan. Omdat wij dit zelf ook wel eens hebben meegemaakt helpen we je op weg naar een zo goed mogelijk herstel.
Het beruchte vinkje in WordPress, te vinden onder Instellingen -> Lezen
Wat is een noindex tag?
Voordat we dieper ingaan op datgene wat er daadwerkelijk mis kan gaan is het goed om te begrijpen wat een noindex tag is. Het is namelijk zo dat je tegen crawlers van o.a. een zoekmachine als Google kunt vertellen of een pagina geïndexeerd moet worden in de zoekresultaten of juist niet. Soms wil je namelijk dat bepaalde pagina’s binnen je website niet in de zoekresultaten terecht komen. Denk aan een beheer- of intranetomgeving, gevoelige informatie óf overbodige pagina’s. Binnen de website van Stormachtig worden bijvoorbeeld de portfolio artikelen niet in de zoekresultaten geïndexeerd. Dat is heel bewust, omdat we niet willen dat wij vindbaar worden op de merknamen van onze klanten.
Om een crawler te vertellen of een pagina geïndexeerd moet worden kun je een meta-tag toevoegen in de broncode. Deze meta-tag heet robots en ziet er normaal gesproken zo uit:
<meta name="robots" content="index, follow"/>
De meta robots bevat nu index en verteld een crawler dat de pagina geïndexeerd mag worden. Door de tag te veranderen naar noindex zeg je hiermee het omgekeerde: zorg ervoor dat deze pagina niet wordt geïndexeerd.
Hoe je een noindex fout kunt oplossen
Overkomt het jou dus dat je per ongeluk een WordPress noindex toepast op je hele website? Dan kun je onderstaande stappen volgen om eventuele gevolgen zo snel mogelijk op te lossen.
Stap 1: zet het vinkje uit
Dit is geen hogere wiskunde, maar wel essentieel. Ga naar Instellingen -> Lezen binnen je WordPress beheeromgeving en zet het vinkje achter Zoekmachine zichtbaarheid uit. Klik vervolgens op Wijzigingen opslaan. Ga voor de zekerheid naar een willekeurige pagina toe die niet meer is geïndexeerd en gebruik paginabron inspecteren om te kijken of de meta-tag robots ook daadwerkelijk op index staat.
Voor deze pagina staat de meta-tag robots op index, waardoor deze weer geïndexeerd kan worden
Stap 2: cache legen
Zorg ervoor dat alle opgeslagen cache wordt geleegd, zodat je 100% zeker weet dat de tag overal uit de broncode is gehaald. Sommige WordPress websites hebben hele hardnekkige cache die tot een X aantal uur ervoor zorgt dat de broncode niet wordt aangepast. Door de cache te legen weet je zeker dat de noindex tag overal is verwijderd.
Stap 3: XML sitemap opnieuw indienen
Om ervoor te zorgen dat de robots van Google je website zo snel mogelijk opnieuw gaan crawlen kun je het beste je XML sitemap opnieuw indienen in Google Search Console. Ga hiervoor naar Search Console en klik onder Index op Sitemaps. Heb je de sitemap al een keer geüpload? Dan kun je een submap indienen. In plaats van één /sitemap.xml kun je dus ook de /post-sitemap.xml, /page-sitemap.xml, etc. opnieuw indienen.
Naast de ‘normale’ sitemap.xml kun je ook submappen indienen
Stap 4: belangrijkste pagina’s handmatig fetchen
Je kunt handmatig fetchen gebruiken om de belangrijkste pagina’s sneller te laten indexeren. Let wel op: hier zit een maximum van 50 URL’s per dag op. Wees dus kritisch en kies de 50 pagina’s waar het meeste organische verkeer op binnenkomt.
Stap 5: interne links toevoegen
Door interne links toe te voegen naar de belangrijkste pagina’s is de kans ook aanwezig dat deze sneller worden gevolgd én dus de pagina zullen bereiken en indexeren. Het is overigens wel zo dat een interne linkstructuur sowieso aan te raden is om hoger in Google te komen, dus in theorie zou je deze stap kunnen overslaan als de SEO van je website op orde is.
Het resultaat en herstel
Kom je er op tijd achter? Dan zal het herstel zich snel inzetten en kun je de schade grotendeels beperken. Duurt het langer (lees: minimaal 4 weken) voordat je erachter komt? Dan kan het ook veel langer duren voordat je weer herstel gaat zien. Kortom, hoe sneller je tot actie overgaat hoe beter.
Zorg ervoor dat je bij een nieuwe WordPress website of redesign altijd nog een keer controleert of er geen noindex tag in de paginabron staat. Het kan je een hoop leed besparen. Gaat het onverhoopt toch mis? Volg dan bovenstaande stappen en hopelijk behoud je de organische posities en het binnenkomende verkeer zoveel mogelijk.
Bron: Moz.com (Accidental Noindexation Recovery Strategy and Results, 28 september 2011)
