Crawler (webcrawler)

De World Wide Web Wanderer wordt algemeen gezien als de eerste webcrawler, gebouwd in juni 1993 door Matthew Gray aan het MIT om de grootte van het toen nog piepkleine web te meten. Het concept crawler bestaat dus al vrijwel net zo lang als het web zelf.

Hoe werkt een crawler?

Een crawler start bij een lijst bekende URL's, haalt de pagina op, leest de inhoud en de HTML-structuur uit, en volgt vervolgens elke link op die pagina naar een volgende, nog onbekende pagina. Dit proces herhaalt zich continu: elke nieuw gevonden link levert weer nieuwe pagina's op om te bezoeken.

Wat een crawler daarbij aantreft, stuurt hij terug naar de zoekmachine, die de gegevens verwerkt en opslaat in een index (een enorme database van bekende pagina's). Pas na deze stap kan een pagina in de zoekresultaten verschijnen. Publiceer je een nieuwe pagina zonder dat er ergens naartoe gelinkt wordt, dan kan het weken duren voordat een crawler die toevallig tegenkomt, of hij vindt hem nooit.

Welke crawlers ken je?

De bekendste crawlers zijn:

• Googlebot: de crawler van Google, met aparte varianten voor desktop en mobiel.
• Bingbot: de crawler van Microsoft's zoekmachine Bing.
• AI-crawlers: zoals GPTBot (OpenAI), ClaudeBot (Anthropic) en Google-Extended, die content ophalen voor het trainen van AI-modellen of voor realtime AI-antwoorden.
• SEO-tool-crawlers: zoals AhrefsBot en SemrushBot, die websites scannen voor SEO-analysetools.

Elke crawler identificeert zich met een eigen user-agent (een herkenbare naam waarmee hij zich bekendmaakt aan een website).

Wat zijn AI-crawlers?

AI-crawlers zijn crawlers van AI-bedrijven zoals OpenAI, Anthropic, Google en Perplexity. Ze vallen grofweg in drie typen uiteen: trainingsbots (verzamelen tekst om AI-modellen te trainen), zoekindexbots (bouwen de index waaruit een AI-assistent live citeert) en live-fetch-bots (halen een pagina op op het moment van de vraag). Dat onderscheid is belangrijk, want het bepaalt wat het blokkeren van zo'n bot je kost: een trainingsbot blokkeren raakt je AI-zichtbaarheid niet, een zoekindexbot of live-fetch-bot blokkeren wel.

Wil je citeerbaar blijven in AI-antwoorden, laat dan in elk geval de zoekindexbots en live-fetch-bots toe. Met onze gratis AI-robots checker zie je in een paar seconden welke AI-crawlers jouw robots.txt nu toelaat of blokkeert.

Wat is het verschil tussen crawlen en indexeren?

Crawlen is het bezoeken en uitlezen van een pagina. Indexeren is de stap daarna: het daadwerkelijk opslaan van die pagina in de doorzoekbare database van de zoekmachine. Een pagina kan gecrawld worden zonder ooit geïndexeerd te raken, bijvoorbeeld als de content te dun is, als er een duplicate-content-probleem speelt, of als een noindex-instructie dat expliciet verbiedt. Andersom kan een pagina soms zelfs zonder volledige crawl toch als URL in de resultaten verschijnen, wanneer andere sites ernaar linken.

Hoe stuur je crawlers aan op je website?

Met een robots.txt-bestand geef je crawlers instructies over welke delen van je site ze wel en niet mogen bezoeken. Een sitemap helpt crawlers juist om je belangrijkste pagina's sneller te vinden. Ook je interne linkstructuur speelt mee: pagina's zonder enige interne link zijn voor een crawler lastig te ontdekken.

Wil je weten hoe crawlers, inclusief AI-crawlers, met jouw website omgaan? Bekijk ons eigen onderzoek naar crawlergedrag bij Nederlandse sites.