AI-crawler

Wat is het verschil tussen een training-crawler en een retrieval-crawler?

Het onderscheid tussen een training-crawler en een retrieval-crawler bepaalt of je content bijdraagt aan een toekomstig AI-model of direct wordt gebruikt voor een actueel antwoord. Een training-crawler, zoals GPTBot of ClaudeBot, verzamelt content om AI-modellen mee te trainen: die content beïnvloedt pas een toekomstige versie van het model. Een retrieval-crawler, zoals OAI-SearchBot, Claude-SearchBot of PerplexityBot, haalt een pagina op om een actueel antwoord samen te stellen, vaak met directe bronvermelding aan de gebruiker. Voor zichtbaarheid binnen GEO (Generative Engine Optimization, het optimaliseren van content voor zichtbaarheid in AI-antwoorden) wil je retrieval-crawlers meestal toelaten, want die leveren citaties op; training-crawlers kun je selectiever blokkeren als je dat wilt.

Onderstaande tabel zet beide typen naast elkaar.

Wat is het verschil tussen een AI-crawler en Googlebot?

Googlebot bouwt de klassieke zoekindex voor Google Search, terwijl een AI-crawler een AI-systeem voedt, voor training of voor een AI-gegenereerd antwoord. Google-Extended is het aparte token waarmee je specifiek Google's AI-training voor Gemini en AI Overviews aanstuurt. Google bevestigt in zijn eigen documentatie dat het blokkeren van Google-Extended geen enkele invloed heeft op je gewone Google-rankings of je opname in de zoekindex: het raakt uitsluitend of je content wordt gebruikt om Google's AI-modellen te trainen.

Welke AI-crawlers zijn er?

De belangrijkste AI-aanbieders werken elk met meerdere, apart aan te sturen bots per doel:

• OpenAI: GPTBot (training), OAI-SearchBot (zoeken), ChatGPT-User (gebruikersvraag). OpenAI verwijderde op 9 december 2025 de robots.txt-naleving voor ChatGPT-User uit zijn documentatie, met als reden: "Because these actions are initiated by a user, robots.txt rules may not apply."
• Anthropic: ClaudeBot (training), Claude-SearchBot (zoeken), Claude-User (gebruikersvraag). Anthropic werkte deze indeling op 20 februari 2026 verder uit in zijn documentatie, met per bot een expliciete uitleg van wat blokkeren betekent; alle drie bots respecteren daarbij wel robots.txt.
• Perplexity: PerplexityBot (zoeken), Perplexity-User (gebruikersvraag, negeert robots.txt doorgaans).
• Google: Google-Extended (training voor Gemini en AI Overviews, geen eigen HTTP-verkeer).

Elke bot identificeert zich met een eigen user-agent-string in je serverlogs, dus je kunt ze afzonderlijk herkennen en aansturen. Let op: de namen verschuiven. Anthropic gebruikte eerder de verouderde tokens anthropic-ai en Claude-Web; veel robots.txt-blocklists leunen nog op die achterhaalde namen. Uit ons eigen onderzoek naar AI-crawlers en robots.txt onder de 500 grootste Nederlandse websites (peildatum 17 juni 2026) blokkeert 20,4% minstens één AI-crawler, en juist trainingsbots zoals GPTBot worden vaker geblokkeerd dan de zoekindexbots die je AI-zichtbaarheid bepalen.

Hoe blokkeer of beheer je AI-crawlers?

Je stuurt AI-crawlers per user-agent aan via robots.txt, met een aparte regel voor elke bot die je wilt toelaten of blokkeren. Een belangrijke nuance: robots.txt is een instructie, geen technische handhaving. OpenAI en Perplexity geven zelf aan dat de regels bij hun user-initiated fetchers (ChatGPT-User en Perplexity-User) mogelijk niet gelden, omdat een gebruiker de actie start; Anthropic's vergelijkbare Claude-User respecteert robots.txt juist wel. Wil je een bot die zich niet aan robots.txt houdt echt tegenhouden, dan werkt alleen blokkeren op serverniveau, bijvoorbeeld via een WAF (web application firewall) of rate limiting.

Voor de meeste publieke marketingsites is alles blokkeren geen goed idee: dan verdwijn je uit AI-antwoorden zonder dat je iets waardevols beschermt. Blokkeer selectief, bijvoorbeeld gevoelige of betaalde paden zoals /login of /checkout, en laat je publieke content open zodat AI-systemen je kunnen citeren. Wil je weten hoe je zichtbaar wordt in AI-antwoorden? Bekijk onze GEO-dienst.