Kennisbank · Techniek
Blokkeert je website AI? Zo check je het
Kan ChatGPT je site niet lezen, dan noemt hij een ander. Vaak zit de blokkade niet in je eigen keuze, maar in een standaardinstelling van je hoster, een plugin of Cloudflare. In vijf minuten weet je het.
Door André van EssenBijgewerkt op Waarom dit steeds vaker misgaat
Websites worden druk bezocht door robots die teksten verzamelen voor AI. Veel hosters, beveiligingsplugins en diensten als Cloudflare blokkeren die robots daarom standaard of met één vinkje. Cloudflare doet dat sinds 2025 bij nieuwe domeinen al standaard en heeft die standaard in 2026 verder aangescherpt.
Begrijpelijk, maar het heeft een bijwerking: soms worden ook de robots geblokkeerd die AI-diensten gebruiken om live antwoord te geven. Dan kan ChatGPT je site niet openen op het moment dat iemand naar jouw soort bedrijf vraagt.
Drie soorten AI-robots
Het helpt om te weten dat de grote AI-bedrijven verschillende robots gebruiken, elk met een eigen doel. Je kunt ze per robot toelaten of weren.
- Training: verzamelt teksten om AI-modellen te trainen. Blokkeren mag; je wordt daardoor niet minder vaak gevonden in live antwoorden.
- Zoeken: bouwt de zoekindex waar een AI-dienst zijn antwoorden uit haalt. Blokkeer je deze, dan word je in die dienst nauwelijks gevonden.
- Live ophalen: opent je pagina op het moment dat een gebruiker iets vraagt of een link deelt.
| Dienst | Training | Zoeken | Live ophalen |
|---|---|---|---|
| ChatGPT (OpenAI) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Claude (Anthropic) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | – | PerplexityBot | Perplexity-User |
| Gemini (Google) | Google-Extended* | Googlebot | – |
| Copilot (Microsoft) | – | Bingbot | – |
| Apple Intelligence | Applebot-Extended* | Applebot | – |
* Geen eigen robot, maar een naam in robots.txt waarmee je aangeeft of je teksten voor AI-training gebruikt mogen worden. Googlebot en Applebot blijven je site dan gewoon bezoeken. Stand van ; de bedrijven publiceren hun actuele lijst op hun eigen sites.
Zo check je het in vijf minuten
Open je robots.txt
Ga in je browser naar
jouwbedrijf.nl/robots.txt. Zoek naar de namen uit de tabel, en naarUser-agent: *met daaronderDisallow: /. Dat laatste blokkeert álle robots, ook Google.Kijk bij Cloudflare, als je dat gebruikt
Zit je site achter Cloudflare, kijk dan in het dashboard bij de instellingen voor bots en AI-crawlers. Daar staat of AI-robots geblokkeerd worden, los van je robots.txt. Cloudflare kan ook zelf regels aan je robots.txt toevoegen.
Vraag het je hoster of webbouwer
Sommige hosters en beveiligingsplugins blokkeren AI-robots op serverniveau. Dat zie je niet in robots.txt. Een korte vraag aan je hoster of webbouwer is genoeg: "Blokkeren jullie AI-crawlers zoals GPTBot, OAI-SearchBot of ClaudeBot?"
Test of het werkt
Vraag ChatGPT of Perplexity iets specifieks over een pagina op je site, met de link erbij. Krijg je een antwoord over de inhoud, dan kan de dienst je site lezen. Of doe de gratis check hieronder; die test het voor je.
Een verstandige robots.txt
Wil je gevonden worden in AI-antwoorden, maar niet dat je teksten gebruikt worden voor training? Dan is dit een goed vertrekpunt. Pas het sitemapadres aan.
# Zoekmachines en AI-diensten die live zoeken: welkom
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Wil je niet dat je teksten gebruikt worden om AI-modellen te trainen? (optioneel)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
# Alle andere robots, waaronder Googlebot en Bingbot
User-agent: *
Allow: /
Sitemap: https://www.jouwbedrijf.nl/sitemap.xmlHet blok voor training is een keuze. Laat je het weg, dan mag alles. Robots.txt is een afspraak: de grote AI-bedrijven houden zich eraan, kwaadwillende scrapers niet. Daarvoor heb je bescherming bij je hoster of Cloudflare nodig.
Let op bij instellingen per categorie. Bij sommige diensten blokkeer je hele categorieën tegelijk, zoals "AI-training". Robots die voor meerdere doelen crawlen, vallen dan soms onder de strengste regel. Controleer na zo'n wijziging altijd of Googlebot en Bingbot je site nog kunnen lezen, bijvoorbeeld met de URL-inspectie in Search Console.
Vragen
Is het slim om AI-training te blokkeren?
Dat is een eigen keuze. Voor gevonden worden in live antwoorden maakt het weinig uit; die gebruiken de zoek- en ophaalrobots. Wil je dat je teksten niet in toekomstige modellen terechtkomen, blokkeer dan alleen de trainingsrobots.
Mijn webbouwer zegt dat alles openstaat. Klopt dat?
Vaak wel voor robots.txt, maar blokkades zitten ook bij de hoster, in een beveiligingsplugin of bij Cloudflare. Laat het testen: een AI-dienst die je pagina kan samenvatten, kan hem lezen.
Wordt mijn site trager als ik AI-robots toelaat?
Bij een normale bedrijfssite merk je daar niets van. Bij grote webshops kan het druk zijn; dan kun je de trainingsrobots weren en de zoekrobots toelaten.
Verder lezen
Bijgewerkt op 1 november 2026. Klopt er iets niet meer? Mail het naar [email protected].