LLM (Large Language Model)

LLM staat hier voor large language model, niet voor de juridische titel Master of Laws. LLM's zijn de kerntechnologie achter chatbots zoals ChatGPT, en steeds vaker ook achter zoekmachines, klantenservicetools en schrijfassistenten.

Hoe werkt een LLM?

Een LLM is gebouwd op de transformer-architectuur, geïntroduceerd in 2017 door Vaswani en collega's in het paper "Attention Is All You Need". Het kernmechanisme is self-attention: bij het verwerken van een woord weegt het model tegelijk alle andere woorden in de context mee, ongeacht hun onderlinge afstand in de zin.

Daardoor begrijpt het model bijvoorbeeld dat "hij" in de zin "Jan gaf zijn boek aan Pieter, hij was blij" naar Pieter verwijst, en niet naar Jan. Het model werkt niet met ruwe tekst maar met tokens (woorden of woorddelen), en voorspelt stap voor stap het meest waarschijnlijke volgende token, gebaseerd op alle voorgaande tokens.

Hoeveel tekst een model tegelijk kan meewegen, heet het context window (het aantal tokens dat het model in één keer "onthoudt" tijdens een gesprek of taak). Een groter context window betekent dat een model bijvoorbeeld een heel document of een lang gesprek in zijn geheel kan overzien, in plaats van alleen de laatste paar zinnen.

Wat betekent "large"? Parameters en schaal

Het woord "large" slaat op de enorme schaal van het model. Een LLM bestaat uit een neuraal netwerk met parameters: instelbare waarden die tijdens de training worden aangepast en samen de opgedane kennis van het model vertegenwoordigen. Hoe meer parameters, hoe complexer de verbanden die een model in potentie kan leren.

Sinds GPT-4 maken OpenAI, Anthropic en Google het exacte aantal parameters van hun modellen niet meer openbaar, onder meer om concurrentiegevoelige redenen.

Hoe wordt een LLM getraind?

Een LLM doorloopt twee hoofdfases. Pretraining: het model leert op enorme tekstcorpora, zoals boeken, websites en artikelen, door telkens het volgende token te voorspellen. Dit levert een basismodel op met brede taalkennis, maar nog zonder gericht gedrag.

Fine-tuning: het model wordt daarna bijgestuurd om instructies te volgen en zich als behulpzame assistent te gedragen, vaak met RLHF (reinforcement learning from human feedback), waarbij menselijke beoordelaars antwoorden rangschikken op kwaliteit en het model daarvan leert. GPT staat overigens voor Generative Pre-trained Transformer, een directe verwijzing naar deze eerste trainingsfase. Zonder fine-tuning zou een model wel grammaticaal correcte tekst produceren, maar niet consistent doen wat een gebruiker daadwerkelijk vraagt.

Welke verschillende LLM's zijn er?

De bekendste large language models zijn:

Sommige LLM's draai je lokaal op eigen hardware (een "local LLM"), maar de meeste gebruik je via een webinterface of API van de aanbieder. Bedrijven kiezen soms bewust voor een open-source model zoals Llama, juist omdat ze dan volledige controle houden over hun data, in plaats van die te delen met een externe aanbieder.

Wat is het verschil tussen een LLM en generatieve AI?

Een LLM is een specifiek type generatieve AI, gericht op taal. Generatieve AI is de bredere categorie, die naast tekst ook beeld, audio en video omvat, via andere modeltypes zoals diffusiemodellen. Kort gezegd: elke LLM is generatieve AI, maar niet elke vorm van generatieve AI is een LLM.

Wat betekent dit voor jouw AI-vindbaarheid?

LLM's zijn de motor onder de AI-engines waarin je klanten gevonden willen worden: ChatGPT draait op GPT, Gemini op Google's eigen modellen, Perplexity deels op eigen modellen. Begrijpen dat een LLM voorspelt in plaats van feiten opzoekt, verklaart meteen waarom GEO anders werkt dan klassieke SEO, en waarom AI-hallucinaties ontstaan: het model gokt woord voor woord naar het meest waarschijnlijke antwoord, ook als het de feiten niet paraat heeft. Wie begrijpt hoe een LLM tot zijn antwoorden komt, begrijpt meteen ook het speelveld waarop een merk vindbaar en citeerbaar moet worden.

Wil je weten hoe je merk overkomt bij de LLM's achter de grote AI-engines? Bekijk onze GEO-dienst.