Begrip
Crawler (bot)
Geautomatiseerde software die het web afspeurt en pagina's ophaalt, bijvoorbeeld om ze te indexeren voor een zoekmachine of een AI-model te trainen.
Een crawler, ook wel bot of spider genoemd, is een programma dat automatisch webpagina's bezoekt en de inhoud ophaalt. Zoekmachines gebruiken crawlers zoals Googlebot om het web in kaart te brengen en pagina's te indexeren. AI-bedrijven gebruiken crawlers zoals GPTBot en ClaudeBot om data te verzamelen voor het trainen van of het beantwoorden via hun modellen.
Met het bestand robots.txt geef je crawlers instructies: welke bots welke delen van je site mogen bezoeken. Dat is relevant geworden nu AI-crawlers content gebruiken voor antwoorden. Wie gevonden wil worden in AI, moet de juiste bots juist toelaten in plaats van blokkeren.
Aan de slag
Gerelateerd
Gerelateerde begrippen
llms.txt
Een bestand op je website dat AI-systemen in heldere taal vertelt wat je site aanbiedt en welke content het belangrijkst is.
Lees uitleg→GEO (Generative Engine Optimization)
Het optimaliseren van je content en website zodat generatieve AI-engines zoals ChatGPT, Gemini en Perplexity je noemen en citeren in hun antwoorden.
Lees uitleg→AI Overviews
De door AI gegenereerde samenvattingen die Google bovenaan de zoekresultaten toont, met links naar de bronnen die het antwoord onderbouwen.
Lees uitleg→
Klaar om te groeien?
Wordt jouw bedrijf al aanbevolen door AI?
De verschuiving van SEO naar GEO is nu aan het gebeuren. Hoe eerder je hierop inspeelt, hoe groter je voorsprong. Plan een gesprek en we bespreken hoe jouw bedrijf vindbaar blijft. In Google én in AI.