1

Menu

GPTBot blokkeren? Voorkom dat ChatGPT informatie van jouw website gebruikt!

OpenAI heeft een eigen web crawler met de naam GPTBot. Deze bot bezoekt internetpagina’s en consumeert informatie. Deze informatie wordt gebruikt om taalmodellen – zoals GPT 4 – slimmer te maken.

Heb jij een website en wil je niet dat deze GPTBot informatie ‘steelt’ van je website? En wil je voorkomen dat jouw informatie straks vindbaar is via ChatGPT? Dan kun je de GPTBot blokkeren. Dit doe je in het robots.txt-bestand. In robots.txt staat welke pagina’s crawlers van zoekmachines mogen bekijken en welke pagina’s niet opgenomen mogen worden. Er zijn plugins beschikbaar om een robots.txt-bestand te maken (zoals Yoast SEO), maar je kunt ook old school een bestandje toevoegen of aanpassen op je server. Wil je controleren of je al een robots.txt-bestand hebt? Ga dan naar jouwdomein.nl/robots.txt.

Voeg de onderstaande regel toe aan het robots.txt-bestand om GPTBot geen toegang te geven tot je website:

User-agent: GPTBot
Disallow: /

Het schuine streepje betekent dat GPTBot geen toegang heeft tot de hele website. Wil je bepaalde mappen wel of niet beschikbaar maken, dan kan dat als volgt:

User-agent: GPTBot
Disallow: /geen-toegang/
Allow: /geen-toegang/wel-toegang/

GPTBot heeft nu wel toegang tot de hoofdmap (www.jouwdomein.nl), maar niet tot de map /geen-toegang/ (bijv. www.jouwdomein.nl/geen-toegang/pagina.html) en alle mappen die eronder vallen. Allow kun je dan gebruiken om een uitzondering te maken. In bovenstaand geval heeft de crawler wel toegang tot /geen-toegang/wel-toegang/ (ook al staat /geen-toegang/ op de blacklist).

Een nog hardere aanpak is het blokkeren van de IP-adressen van GPTBot. Op dit moment zijn dit de IP-adressen die GPTBot gebruikt, maar de kans is groot dat dit er in de toekomst meer worden:

20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28

Controleer deze pagina om alle IP-adressen in te zien.

Is het slim om GPTBot te blokkeren?

In sommige gevallen wel. Als er privacygevoelige informatie op jouw website staat, dan kan het verstandig zijn om GPTBot te blokkeren. We raden sowieso aan om informatie over medewerkers zoveel mogelijk af te schermen. Dit geldt bijvoorbeeld ook voor systemen achter de website, zoals het beheergedeelte van WordPress (vaak /wp-admin).

Staan er veel blogs en producten op je website? Dan kan het weer interessant zijn om de website ‘open’ te houden voor GPTBot. Zo wordt GPT 4 (of 5, 6, etc) alsmaar beter en wie weet verwijst de AI in de toekomst naar jouw website als iemand zoekt naar jouw product of dienst.

Populaire berichten

Heb je een vraag?
Heb je een vraag of heb je hulp nodig? Onze collega Tim Kraaijvanger staat voor je klaar!
Naam(Vereist)
Dit veld is bedoeld voor validatiedoeleinden en moet niet worden gewijzigd.

Misschien vind je dit ook interessant...

De 26 beste (gratis) SEO-tools van 2024
Ga je actief aan de slag met zoekmachineoptimalisatie, dan heb je natuurlijk goed gereedschap nodig. ...
Hoger in Google komen met je website? De 18 allerbeste tips voor 2024!
Je vindt dat je die eerste plek op een bepaalde zoekterm verdient, maar op dit ...
Online marketing: SEO trends 2024
Wil jij jouw online zichtbaarheid vergroten en hoger in de Google zoekresultaten komen? Dan is ...

Stel een vraag

Stel je vraag via onderstaande formulier. We proberen je bericht zo snel mogelijk te beantwoorden!

Naam(Vereist)
Dit veld is bedoeld voor validatiedoeleinden en moet niet worden gewijzigd.