Gratis tool
robots.txt generator
Maak in een paar minuten een geldig robots.txt-bestand. Beantwoord een paar simpele vragen in gewone taal, geen technische kennis nodig. Gratis, zonder account.
Beantwoord een paar korte vragen. Je hoeft niets technisch te weten. Wij maken het bestand voor je.
Vrijwel altijd is dit het geval. Kies alleen "nee" als je site nog in aanbouw is of helemaal privé moet blijven.
Vink aan wat van toepassing is. Twijfel je? Laat alles dan gerust leeg, dat kan prima.
+ Zelf een map of pagina toevoegen
Eén map of pagina per regel. Wij zetten er automatisch een / voor als die ontbreekt.
Denk aan ChatGPT, Claude en Perplexity. Toestaan vergroot de kans dat jouw bedrijf in hun antwoorden wordt genoemd.
Hiermee wijzen we Google naar je sitemap, de inhoudsopgave van je site. Laat leeg als je geen sitemap hebt.
Jouw robots.txt
User-agent: * Disallow: Sitemap: https://jouwdomein.nl/sitemap.xml
Wat doe je hiermee?
- Klik op Download (of Kopieer).
- Plaats het bestand in de hoofdmap van je website, zodat het staat op jouwdomein.nl/robots.txt.
- Klaar. Zoekmachines lezen het automatisch uit.
Wat is een robots.txt-bestand?
Een robots.txt-bestand is een tekstbestand in de root van je website dat crawlers vertelt welke delen ze wel of niet mogen bezoeken. Zoekmachines zoals Google en AI-bots lezen het voordat ze je site crawlen. Zo stuur je het crawlbudget naar je belangrijkste pagina's en houd je beheerpagina's buiten de index.
Wat doet een robots.txt en waarom heb je het nodig?
robots.txt is de eerste plek waar crawlers kijken voordat ze je website bezoeken. Met een paar regels bepaal je welke delen ze wel en niet mogen crawlen. Zo houd je bijvoorbeeld beheerpagina's, filters of winkelmandjes buiten de zoekresultaten en stuur je het crawlbudget naar de pagina's die er wel toe doen.
Een verkeerd geplaatste regel kan per ongeluk je hele site blokkeren, dus precisie is belangrijk. Deze tool bouwt een correct opgemaakt bestand op, inclusief je sitemap en eventuele AI-crawlerregels. Plaats het in de root van je website en controleer het daarna in Google Search Console.
Veelgestelde vragen
Wat is een robots.txt-bestand?
robots.txt is een tekstbestand in de root van je website dat crawlers vertelt welke delen ze wel of niet mogen bezoeken. Zoekmachines zoals Google lezen het bestand voordat ze je site crawlen.
Hoe maak ik zelf een robots.txt-bestand?
Met deze generator beantwoord je een paar vragen in gewone taal: welke crawlers je toelaat, welke mappen je afschermt en waar je sitemap staat. De tool zet je antwoorden om in een correct opgemaakt robots.txt-bestand dat je kopieert en in de root van je domein plaatst. Programmeerkennis is niet nodig.
Waar plaats ik het robots.txt-bestand?
In de hoofdmap van je domein, zodat het bereikbaar is op jouwdomein.nl/robots.txt. Het moet exact daar staan, submappen worden niet gelezen.
Blokkeert robots.txt mijn pagina's echt uit Google?
Niet helemaal. robots.txt voorkomt crawlen, maar een geblokkeerde pagina kan alsnog in de index komen via externe links. Wil je een pagina echt uit de zoekresultaten houden, gebruik dan een noindex-tag of een wachtwoord.
Moet ik mijn sitemap in robots.txt zetten?
Het is aan te raden. Een Sitemap-regel helpt zoekmachines je belangrijkste URL's sneller te vinden. Je kunt meerdere sitemaps toevoegen, elk op een eigen regel.
Moet ik AI-crawlers zoals GPTBot blokkeren?
Dat hangt van je doel af. Wil je zichtbaar zijn in ChatGPT, Claude, Perplexity en Google AI Overviews, laat ze dan toe. Wil je juist niet dat je content voor AI-training of -antwoorden wordt gebruikt, dan kun je ze hier blokkeren.
Wat betekent Crawl-delay?
Crawl-delay vraagt crawlers om een aantal seconden te wachten tussen verzoeken, handig bij een zwakke server. Let op: Google negeert deze regel. Voor Google stel je de crawlsnelheid in via Search Console.
Gerelateerde tools
Heb je je robots.txt gemaakt? Combineer hem met deze gratis tools om je crawl- en AI-zichtbaarheid verder op orde te brengen:
- AI-robots checker controleert of AI-crawlers zoals GPTBot je site echt mogen bezoeken.
- llms.txt generator helpt AI-modellen je belangrijkste pagina's te begrijpen.
- SEO quickscan geeft een snel overzicht van de technische staat van je site.
Wil je je crawlbudget en techniek structureel laten verbeteren? Bekijk onze SEO-dienstverlening.
Techniek op orde. En de rest?
Word beter gevonden in Google en AI
Een goede robots.txt is technisch fundament. Wij helpen je structureel hoger te ranken in Google en zichtbaar te worden in ChatGPT, Claude, Gemini en Google AI Overviews.