AI-crawler
Ook wel AI-bot
Wat is een AI-crawler?
Een AI-crawler is een bot die websites leest voor AI. Hij verzamelt teksten om AI-modellen te trainen of om actuele antwoorden te geven in AI-zoekmachines en chatbots.
Veelgestelde vragen over AI-crawler
Hoe blokkeer ik AI-crawlers op mijn WordPress-website?
Je blokkeert AI-crawlers via je robots.txt, een tekstbestand dat bots vertelt welke delen van je site ze mogen lezen. In WordPress pas je dat bestand makkelijk aan met een SEO-plugin:
- In Yoast SEO ga je naar Yoast SEO, Hulpmiddelen, Bestandsbewerker.
- In Rank Math ga je naar Algemene instellingen, robots.txt bewerken.
- Voeg per bot twee regels toe, bijvoorbeeld: User-agent: GPTBot en daaronder Disallow: /
- Sla op en controleer het resultaat via jouwdomein.nl/robots.txt.
Herhaal dit voor elke bot die je wilt weren, zoals ClaudeBot of CCBot.
Moet ik AI-crawlers blokkeren of juist toelaten?
Dat hangt af van je doel. Wil je gevonden worden in ChatGPT, Perplexity of andere AI-zoekmachines, laat dan in elk geval de zoekbots toe. Wil je niet dat je teksten gebruikt worden om modellen te trainen, blokkeer dan alleen de trainingsbots.
- Trainingsbots: bijvoorbeeld GPTBot (OpenAI), ClaudeBot (Anthropic) en CCBot (Common Crawl).
- Zoekbots: bijvoorbeeld OAI-SearchBot (ChatGPT-zoekfunctie) en PerplexityBot.
Voor de meeste mkb-bedrijven weegt zichtbaarheid in AI-antwoorden zwaarder dan de bescherming van algemene teksten. Heb je unieke, betaalde content, dan kan blokkeren juist verstandig zijn.
Verdwijn ik uit Google als ik AI-bots blokkeer?
Nee, zolang je Googlebot niet blokkeert. Veel ondernemers denken dat het blokkeren van Google-Extended hun vindbaarheid schaadt, maar dat klopt niet. Google-Extended is geen aparte crawler, maar een instructie waarmee je aangeeft dat Google je content niet mag gebruiken voor het trainen van Gemini. Je normale posities in Google blijven gewoon staan.
Let wel op het omgekeerde misverstand: met Google-Extended blokkeer je niet dat je site in de AI-overzichten van Google verschijnt. Die gebruiken de gewone Googlebot. Wil je daar helemaal uit, dan raak je ook je gewone zoekresultaten kwijt.
Hoe zie ik of AI-crawlers mijn website bezoeken?
Je ziet dat in de serverlogs, de bestanden waarin je server elk bezoek bijhoudt. Google Analytics toont deze bots meestal niet, omdat ze geen JavaScript uitvoeren.
- Open de toegangslogs in het controlepaneel van je hosting, bijvoorbeeld cPanel of DirectAdmin.
- Zoek op namen als GPTBot, ClaudeBot, PerplexityBot of OAI-SearchBot.
- Gebruik je Wordfence, kijk dan bij Live Traffic welke bots langskomen.
- Werk je met Cloudflare, dan krijg je daar een overzicht van AI-crawlers per dag.
Zo zie je welke bots komen, hoe vaak en welke pagina's ze lezen.
Houden AI-crawlers zich altijd aan mijn robots.txt?
Nee, robots.txt is een verzoek, geen slot op de deur. De bekende bots van grote partijen zoals OpenAI, Anthropic en Google zeggen zich eraan te houden, maar minder bekende of kwaadwillende bots negeren het soms. Ook duurt het vaak even voordat een bot je nieuwe regels oppikt.
Wil je bots echt tegenhouden, blokkeer ze dan op serverniveau:
- Gebruik een firewall zoals Cloudflare, waar je AI-crawlers met één instelling kunt blokkeren.
- Of stel in Wordfence een blokkering in op basis van de naam van de bot (user agent).
Controleer daarna in je logs of de blokkade werkt.
