Begrip
robots.txt
Robots.txt vertelt crawlers welke delen van je site ze mogen bezoeken. Ontdek de werking, de grootste mythe, en hoe je AI-crawlers blokkeert.
SEO-, GEO- en AI-specialist · Bijgewerkt: 10 juli 2026 · Leestijd: 3 min
Wat is robots.txt?
Robots.txt is een tekstbestand in de root van een website (bijvoorbeeld jouwsite.nl/robots.txt) dat webcrawlers (programma's die websites automatisch doorzoeken, zoals die van Google) vertelt welke delen van de site ze wel en niet mogen bezoeken. Een crawler haalt dit bestand altijd eerst op, voordat hij de rest van de site bezoekt.
Kernpunten
- Robots.txt is een tekstbestand in de root van je website dat webcrawlers vertelt welke delen van de site ze wel en niet mogen bezoeken.
- De grootste mythe: robots.txt regelt crawlen, niet indexeren; een geblokkeerde pagina kan alsnog in Google verschijnen als andere sites ernaar linken.
- Sinds september 2022 is het Robots Exclusion Protocol een officiële internetstandaard (RFC 9309).
- Robots.txt is hét sturingsinstrument voor AI-zichtbaarheid: je bepaalt ermee of AI-crawlers zoals GPTBot je content mogen gebruiken.
- Robots.txt is geen beveiliging: het bestand is openbaar leesbaar en kwaadwillende bots negeren de regels.
Het bestand volgt het Robots Exclusion Protocol, in 1994 voorgesteld door Martijn Koster. Sinds september 2022 is het een officiële internetstandaard (RFC 9309), nadat Google het in 2019 bij de IETF (de internationale internetstandaardenorganisatie) had ingediend.
Hoe werkt een robots.txt-bestand?
Een robots.txt bestaat uit regels, gegroepeerd per user-agent (de naam waarmee een crawler zich identificeert). De belangrijkste directives (instructies) zijn:
- User-agent: voor welke crawler de regels gelden; een sterretje betekent alle crawlers.
- Disallow: welk pad niet gecrawld mag worden.
- Allow: een uitzondering binnen een geblokkeerd pad.
- Sitemap: verwijst naar de locatie van je XML-sitemap.
Google en Bing ondersteunen ook wildcards. Een crawl-delay-regel (hoe lang een crawler moet wachten tussen verzoeken) wordt door Google genegeerd, al respecteren andere zoekmachines zoals Bing die wel.
Voorkomt robots.txt dat een pagina in Google verschijnt?
Nee, en dit is de meest verkeerd begrepen eigenschap van robots.txt: het bestand regelt crawlen, niet indexeren. Een pagina die je met disallow blokkeert, kan alsnog in Google verschijnen als andere sites ernaar linken, dan toont Google alleen de URL zonder omschrijving.
Wil je een pagina echt uit de index houden, gebruik dan een noindex-instructie op de pagina zelf, en zorg dat die pagina wél gecrawld mag worden, anders ziet Google die instructie nooit. Google ondersteunt geen aparte noindex-regel binnen robots.txt zelf.
Hoe blokkeer je AI-crawlers met robots.txt?
Steeds meer sites blokkeren AI-crawlers via robots.txt, zoals GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended en CCBot. Uit ons eigen onderzoek naar 426 Nederlandse sites blijkt dat robots.txt vooral configuratie weerspiegelt, niet intentie: verouderde crawler-namen worden vaker geblokkeerd dan actuele, en naleving blijft vrijwillig.
Dit maakt robots.txt hét sturingsinstrument voor AI-zichtbaarheid: of je AI-crawlers toelaat of blokkeert, bepaalt of je content terechtkomt in AI-antwoorden en trainingsdata, een kernonderdeel van GEO. Zie ook het verschil met llms.txt, dat AI-systemen juist actief naar je beste content wijst in plaats van iets te blokkeren.
Wat moet je vermijden bij het gebruik van robots.txt?
Blokkeer nooit CSS- of JavaScript-bestanden: dan kan Google je pagina niet correct renderen, wat je rankings schaadt. Gebruik het bestand om crawlbudget (het aantal pagina's dat een zoekmachine per bezoek crawlt) te sparen door onbelangrijke pagina's uit te sluiten, zoals interne zoekresultaten of filter-URL's, en verwijs er altijd naar je sitemap in.
Overweeg je jouw robots.txt-configuratie te laten controleren, ook voor AI-crawlers? Bekijk ons eigen onderzoek naar robots.txt-gebruik bij Nederlandse sites.
Gratis vindbaarheidscheck
Weet jij hoe zichtbaar je bent in Google en AI?
In 30 minuten check ik je huidige vindbaarheid in Google, ChatGPT en Claude. Je krijgt direct inzicht in waar je nu staat, waar de kansen liggen en wat als eerste impact maakt. Geen verplichtingen.
- Gesprek van 30 minuten, vrijblijvend
- Check van je vindbaarheid in Google en AI
- De drie kansen met de meeste impact
- Eerlijk advies of mijn aanpak bij je past
Veelgestelde vragen over robots.txt
Waar staat het robots.txt-bestand?
Het robots.txt-bestand hoort altijd in de root van je hoofddomein, bijvoorbeeld jouwsite.nl/robots.txt, niet in een submap. Crawlers zoeken standaard op die exacte locatie; staat het bestand ergens anders, dan wordt het simpelweg niet gevonden en genegeerd.
Wat is het verschil tussen robots.txt en noindex?
Robots.txt bepaalt of een crawler een pagina mag bezoeken (crawlen). Noindex is een aparte instructie op de pagina zelf die bepaalt of die pagina in de zoekresultaten mag verschijnen (indexeren). Voor noindex moet een pagina juist wél crawlbaar blijven, anders ziet de crawler de instructie nooit.
Wat zijn veelgemaakte fouten met robots.txt?
De grootste fout is een verkeerd geplaatste "disallow: /", die per ongeluk de hele site blokkeert. Andere veelgemaakte fouten zijn het blokkeren van CSS- of JavaScript-bestanden, en het bestand gebruiken alsof het pagina's echt uit Google houdt. Test wijzigingen altijd via Google Search Console voordat je ze live zet.
Is robots.txt een beveiligingsmaatregel?
Nee, robots.txt is geen beveiliging. Het bestand is openbaar leesbaar voor iedereen, en kwaadwillende bots negeren de regels sowieso. Zet er daarom nooit gevoelige of geheime paden in, want dat werkt eerder averechts: je wijst aanvallers juist de weg. Gebruik voor echte beveiliging wachtwoordbeveiliging of serverinstellingen.
Geschreven door
Matt TimmermansSEO-, GEO- en AI-specialist
Matt Timmermans is oprichter van Timmermans Media en gespecialiseerd in SEO, GEO en AI-zichtbaarheid. Sinds 2018 helpt hij bedrijven beter gevonden te worden door zowel Google als AI-zoekmachines. Als AI-expert heeft hij ruime ervaring met AI-automatisering en het bouwen van applicaties met AI.
Wil je meer weten?
Gerelateerde begrippen
Crawler (webcrawler)
Een crawler doorzoekt websites voor zoekmachines en AI. Ontdek hoe crawlen werkt, het verschil met indexeren, en hoe je crawlers aanstuurt.
Lees uitleg→Indexeren
Indexeren is het opnemen van een pagina in de zoekindex. Ontdek het verschil met crawlen en ranken, en waarom robots.txt indexeren niet voorkomt.
Lees uitleg→llms.txt
llms.txt is een voorgesteld bestand voor AI-systemen. Ontdek het verschil met robots.txt en of AI het daadwerkelijk gebruikt.
Lees uitleg→