Gratis tool
AI-robots checker
Plak je robots.txt en zie binnen een paar seconden welke AI-crawlers zoals GPTBot, ClaudeBot en Google-Extended je nu toestaat of blokkeert. Gratis, zonder account.
Plak je robots.txt
Plak hier de inhoud van jouwdomein.nl/robots.txt. De analyse gebeurt direct in je browser, er wordt niets verstuurd of opgeslagen.
Geen robots.txt bij de hand?
Maak er in een paar klikken een met onze robots.txt generator.
Resultaat
Je staat 9 van de 11 AI-crawlers toe
2 AI-crawlers zijn geblokkeerd. Die nemen je content niet mee in hun antwoorden.
- GeblokkeerdGPTBot (OpenAI, ChatGPT-training)Verzamelt content om de modellen van ChatGPT te trainen.
- ToegestaanOAI-SearchBot (OpenAI, ChatGPT Search)Indexeert je site voor de zoekfunctie in ChatGPT.
- ToegestaanChatGPT-User (OpenAI, browsing)Haalt je pagina live op wanneer een gebruiker er in ChatGPT naar vraagt.
- ToegestaanClaudeBot (Anthropic, Claude)Crawlt je site voor de AI-assistent Claude van Anthropic.
- ToegestaanClaude-Web (Anthropic)Oudere Anthropic-crawler die content voor Claude ophaalt.
- ToegestaanGoogle-Extended (Google Gemini)Bepaalt of je content gebruikt mag worden voor Gemini en Google AI.
- ToegestaanPerplexityBot (Perplexity)Indexeert je site voor de antwoordmachine Perplexity.
- ToegestaanApplebot-Extended (Apple Intelligence)Bepaalt of Apple je content mag gebruiken voor Apple Intelligence.
- GeblokkeerdCCBot (Common Crawl, gebruikt voor AI-training)Open dataset die door veel AI-modellen als trainingsbron wordt gebruikt.
- ToegestaanBytespider (ByteDance/TikTok)Crawler van ByteDance, het moederbedrijf van TikTok.
- ToegestaanAmazonbot (Amazon)Crawlt je site onder andere voor de AI-diensten van Amazon.
Wil je gevonden worden door AI?
Voor je AI-zichtbaarheid (GEO) wil je deze crawlers meestal juist toestaan. Blokkeer je ze, dan blijf je uit de antwoorden van ChatGPT, Claude, Gemini en Perplexity. Wil je je robots.txt aanpassen of opnieuw opbouwen? Gebruik de robots.txt generator.
Wat is een AI-crawler en waarom is het belangrijk?
Een AI-crawler is een geautomatiseerde bot van een AI-bedrijf die websites bezoekt en uitleest, zoals GPTBot van OpenAI, ClaudeBot van Anthropic, Google-Extended voor Gemini en PerplexityBot. Ze bepalen of jouw content terechtkomt in AI-antwoorden. Laat je ze toe, dan kun je geciteerd worden. Blokkeer je ze in je robots.txt, dan haal je jezelf uit die antwoorden.
Wat doet je robots.txt met AI-crawlers?
Je robots.txt is een klein tekstbestand in de hoofdmap van je website dat bots vertelt welke pagina's ze wel of niet mogen bezoeken. Naast de bekende zoekmachines lezen ook AI-crawlers dit bestand uit. Denk aan GPTBot van OpenAI, ClaudeBot van Anthropic, Google-Extended voor Gemini en PerplexityBot. Met een regel als Disallow: / sluit je een bot volledig buiten.
Steeds meer mensen zoeken niet meer via Google, maar stellen hun vraag direct aan ChatGPT, Claude, Gemini of Perplexity. Wil je dat jouw bedrijf in die antwoorden verschijnt, dan moeten de bijbehorende crawlers je site mogen bekijken. Dat is de kern van AI-zichtbaarheid, ook wel GEO genoemd. Blokkeer je deze bots, dan haal je jezelf uit de antwoorden. Met deze checker zie je in een oogopslag of je per ongeluk crawlers buitensluit die je juist binnen wilt laten.
Veelgestelde vragen
Wat is een AI-crawler?
Een AI-crawler is een geautomatiseerde bot van een AI-bedrijf die websites bezoekt en uitleest. Voorbeelden zijn GPTBot van OpenAI, ClaudeBot van Anthropic, Google-Extended voor Gemini en PerplexityBot. Ze gebruiken je content om modellen te trainen of om vragen van gebruikers te beantwoorden met actuele informatie van je site.
Hoe vind ik mijn robots.txt?
Je robots.txt staat in de hoofdmap van je website. Typ in je browser jouwdomein.nl/robots.txt, dus je domein gevolgd door /robots.txt. Kopieer de volledige inhoud en plak die in deze tool. Krijg je een 404 of een lege pagina, dan heb je waarschijnlijk nog geen robots.txt en staat standaard alles toe.
Moet ik AI-bots toestaan of blokkeren?
Voor de meeste bedrijven is toestaan de slimste keuze. Steeds meer mensen zoeken via ChatGPT, Claude, Gemini en Perplexity. Als je die crawlers blokkeert, kan jouw bedrijf niet in hun antwoorden verschijnen. Blokkeren is vooral logisch als je content strikt privé moet blijven of als je principieel niet wilt dat je teksten voor AI-training worden gebruikt.
Wat is het verschil tussen GPTBot en ChatGPT-User?
GPTBot verzamelt content op grote schaal om de modellen van OpenAI te trainen. ChatGPT-User haalt een pagina juist live op het moment zelf op, namelijk wanneer een gebruiker in ChatGPT iets vraagt waarvoor jouw site relevant is. Je kunt ze los van elkaar toestaan of blokkeren in je robots.txt.
Hoe weet deze tool of een bot geblokkeerd is?
De tool leest je robots.txt en kijkt per AI-crawler of er een eigen regelgroep voor die bot bestaat met Disallow: / (een blokkade van je hele site). Heeft een bot geen eigen groep, dan geldt de algemene groep met User-agent: *. Staat daar Disallow: /, dan is de bot geblokkeerd. In alle andere gevallen behandelt de tool de bot als toegestaan.
Waarom is een AI-crawler belangrijk voor mijn vindbaarheid?
AI-crawlers bepalen of jouw site terechtkomt in de antwoorden van ChatGPT, Claude, Gemini en Perplexity. Laat je ze toe, dan kan je content geciteerd worden wanneer iemand een relevante vraag stelt. Blokkeer je ze, dan haal je jezelf uit die antwoorden. Daarom is AI-crawlertoegang een fundament van AI-zichtbaarheid en GEO.
Hoe pas ik mijn robots.txt aan voor AI-crawlers?
Voeg per bot of via User-agent: * een regelgroep toe in je robots.txt. Wil je een crawler toestaan, gebruik dan Disallow: (leeg) of Allow: /. Wil je blokkeren, zet dan Disallow: / onder de juiste User-agent. Test je aanpassing daarna opnieuw met deze checker om te bevestigen dat de juiste bots binnen of buiten staan.
Is deze tool gratis?
Ja. De AI-robots checker is volledig gratis en werkt zonder account. De analyse gebeurt volledig in je eigen browser, je robots.txt wordt nergens naartoe verstuurd of opgeslagen.
Gerelateerde tools
Wil je je robots.txt herschrijven of breder controleren? Stel een correcte robots.txt op met de robots.txt-generator, bekijk hoe AI-klaar je hele site is met de AI website check, en help AI je content begrijpen met een llms.txt-generator. Liever een complete aanpak? Bekijk onze GEO-dienstverlening.
Je crawlers staan goed. En nu?
Gevonden worden in Google én AI
AI-crawlers toelaten is een goede eerste stap, maar nog geen strategie. Wij helpen je structureel zichtbaar en geciteerd te worden in ChatGPT, Claude, Gemini en Google AI Overviews.