Begrip
robots.txt
robots.txt is een bestand dat crawlers van zoekmachines en AI-systemen vertelt welke delen van je website ze wel of niet mogen bezoeken.
SEO-, GEO- en AI-specialist · Leestijd: 1 min
robots.txt is een tekstbestand in de root van je website dat crawlers van zoekmachines en AI-systemen instructies geeft over welke delen van je site ze wel of niet mogen bezoeken. Het stuurt crawlgedrag, maar is geen garantie dat een pagina niet wordt geïndexeerd. Met de opkomst van AI-crawlers is robots.txt relevanter geworden: je bepaalt er deels mee welke bots je content mogen gebruiken.
Geschreven door
Matt TimmermansSEO-, GEO- en AI-specialist
Matt Timmermans is oprichter van Timmermans Media en gespecialiseerd in SEO, GEO en AI-zichtbaarheid. Sinds 2018 helpt hij bedrijven beter gevonden te worden door zowel Google als AI-zoekmachines. Als AI-expert heeft hij ruime ervaring met AI-automatisering en het bouwen van applicaties met AI.
Wil je meer weten?
Gerelateerde begrippen
Crawler (bot)
Geautomatiseerde software die het web afspeurt en pagina's ophaalt, bijvoorbeeld om ze te indexeren voor een zoekmachine of een AI-model te trainen.
Lees uitleg→Indexering
Indexering is het proces waarbij een zoekmachine gecrawlde pagina's analyseert, begrijpt en opslaat in haar index, zodat ze kunnen verschijnen in de zoekresultaten.
Lees uitleg→Sitestructuur
Sitestructuur is de manier waarop pagina's op je website zijn geordend en gelinkt. Ontdek waarom het cruciaal is voor SEO en hoe je het verbetert.
Lees uitleg→