Waarom een taalmodel nooit twee keer hetzelfde antwoord geeft
Gepubliceerd op 24-10-2026
Stel je vraagt een taalmodel om een samenvatting van een document. Je bent tevreden met het resultaat. Morgen vraag je het opnieuw — en je krijgt iets anders. Niet dramatisch anders, maar anders. Dat is geen storing. Dat is hoe taalmodellen werken.
Voor wie AI inbouwt in een applicatie of werkproces is dit één van de eerste dingen waar je tegenaan loopt: de output is niet deterministisch. Je kunt hem niet pinnen. En dat heeft gevolgen voor hoe je test, hoe je betrouwbaarheid definieert, en welke taken je aan een taalmodel overlaat.
Hoe non-determinisme werkt (zonder academisch college)
Een taalmodel genereert tekst woord voor woord — of preciezer: token voor token. Bij elke stap berekent het model een kansverdeling over alle mogelijke volgende tokens. Soms is één token duidelijk het meest waarschijnlijk. Vaker zijn er meerdere plausibele opties.
Wat de AI kiest is niet puur het meest waarschijnlijke antwoord, maar een steekproef uit die verdeling. Dat sampling-proces is van nature willekeurig. Elke run is een nieuwe loting.
De rol van temperatuur
De parameter die bepaalt hoe "breed" die kansverdeling is, heet temperatuur. Een hoge temperatuur maakt de verdeling platter: meer tokens krijgen een vergelijkbare kans, waardoor de output gevarieerder (en creatiever, maar ook onvoorspelbaarder) wordt. Een lage temperatuur maakt de verdeling steiler: het model kiest bijna altijd het meest waarschijnlijke token.
Bij temperatuur 0 — het minimum — doet het model in principe steeds dezelfde keuze. In de praktijk geldt dit als "zo deterministisch als het wordt". Maar zelfs dan zijn er kanttekeningen:
- Floating point-afronding op GPU's kan per hardware-setup licht verschillen, wat in zeldzame gevallen tot andere keuzes leidt.
- Batchgrootte en infrastructuur kunnen de volgorde van bewerkingen beïnvloeden.
- Modelupdates van de aanbieder veranderen het model zelf — en daarmee de output, ook bij dezelfde prompt en temperatuur 0.
Kortom: temperatuur 0 brengt je dicht bij reproduceerbaarheid, maar het is geen garantie. Zeker niet over een langere periode.
Wat non-determinisme betekent in de praktijk
Dit klinkt misschien als een technische randnoot. Maar als je AI inbouwt in iets wat structureel moet werken — een pipeline, een klanttool, een intern proces — raakt het je direct.
Testen wordt anders
Bij traditionele software test je een functie: input X geeft altijd output Y. Bij een taalmodel geeft input X output Y₁, Y₂, Y₃... afhankelijk van de run. Een test die één keer slaagt, slaat niet per se altijd.
Dat betekent dat je teststrategieën aanpast:
- Evalueer op meerdere runs, niet op één antwoord. Is de output in 9 van de 10 gevallen bruikbaar? Dan is dat je maatstaf.
- Gebruik beoordelingscriteria die robuust zijn voor variatie: niet "is dit exact zin X?", maar "bevat dit antwoord element A en B, ontbreekt element C?"
- Overweeg een tweede taalmodel als evaluator — dat schaalt beter dan handmatig beoordelen.
Reproduceerbaarheid is relatief
Als een gebruiker een fout rapporteert ("de AI gaf een vreemde output"), kun je dat in veel gevallen niet exact reproduceren. De prompt, de temperatuur en het model zijn nodig — maar zelfs dan kan de output anders zijn.
Praktisch gevolg: log je inputs én outputs als reproduceerbaarheid belangrijk is. Zonder log heb je geen uitgangspunt om te debuggen. Dit is in consumentenapplicaties anders dan bij API-gebruik: via de API heb je meer controle over parameters.
Classificatie en extractie zijn gevoeliger dan generatie
Niet alle taken zijn even kwetsbaar voor variatie. Er is een bruikbaar onderscheid:
Gesloten taken — classificeren, gestructureerde data extraheren, een ja/nee-oordeel vellen — hebben één correct antwoord. Hier is variatie een probleem. Als de AI een factuur de ene keer als "betaald" en de andere keer als "openstaand" classificeert, heb je een betrouwbaarheidsprobleem.
Open taken — samenvatten, herschrijven, ideeën genereren, een toon aanpassen — hebben meerdere acceptabele antwoorden. Hier is variatie vaak prima, of zelfs gewenst.
Wanneer wil je variatie — en wanneer niet?
Dit is de vraag die de meeste praktische keuzes stuurt.
Variatie is gewenst bij:
- Creatieve taken: brainstormen, alternatieve formuleringen, campagne-ideeën
- Verkennend gebruik: de AI als denkpartner die meerdere invalshoeken geeft
- Situaties waar herhaling vervelend is, zoals gegenereerde berichten aan gebruikers
Variatie wil je beperken bij:
- Extractie: namen, bedragen, datums, statussen uit documenten halen
- Classificatie: categorie toewijzen aan een tekst, sentiment beoordelen
- Gestructureerde output: JSON, tabellen, formulieren invullen
- Consistente gebruikerservaring: als dezelfde vraag altijd een vergelijkbaar antwoord moet opleveren
- Compliance en auditing: situaties waar je wilt kunnen aantonen wat het model heeft geproduceerd
Praktische manieren om variatie te beperken
Als je in het "niet willen"-kamp zit, heb je een paar hefbomen.
1. Verlaag de temperatuur
Dit is de meest directe ingreep. De meeste API's laten je temperatuur instellen tussen 0 en 1 (of soms 2). Voor extractie- en classificatietaken zet je hem zo laag mogelijk — in de praktijk op 0 of 0,1.
2. Dwing een strak uitvoerformaat af
Hoe specifieker je aangeeft hoe de output eruit moet zien, hoe minder ruimte er is voor variatie. Vraag om JSON met een exact schema. Definieer de toegestane waarden voor een classificatietaak. Zeg letterlijk: "antwoord uitsluitend met één van de volgende waarden: A, B of C."
Veel modellen ondersteunen tegenwoordig structured outputs of function calling via de API — een mechanisme waarbij de output verplicht aan een schema voldoet. Dat is betrouwbaarder dan hopen dat het model het formaat volgt op basis van een instructie in de prompt.
3. Evalueer op meerdere runs
Als je één run als maatstaf neemt, meet je een steekproef. Als je vijf of tien runs neemt en kijkt hoeveel procent bruikbare output oplevert, meet je iets wat lijkt op betrouwbaarheid. Dit kost meer in rekentijd en kosten, maar het geeft een realistischer beeld — en het is de manier waarop je AI-kwaliteit eerlijk kunt vergelijken.
4. Wees consistent in je prompt
Non-determinisme zit in het model, maar promptvariatie vergroot het effect. Als je prompt elke keer licht anders is (in volgorde, woordkeus, context), stapel je variatie op variatie. Gebruik vaste prompt-templates voor geautomatiseerde taken.
Veelgestelde vragen
Is dit een bug die ooit wordt opgelost?
Nee. Het is een fundamenteel gevolg van hoe sampling werkt. Je kunt het reduceren, maar niet wegnemen. Wie belooft dat zijn model "altijd" hetzelfde antwoord geeft, vertelt niet het hele verhaal.
Maakt het uit welk model ik gebruik?
Ja en nee. De mate van variatie verschilt per model en per taak, maar non-determinisme zit in alle gangbare taalmodellen. Kleinere modellen zijn soms consistenter op eenvoudige taken — maar ook minder capabel. Er is geen model dat het probleem voor je oplost.
Ik heb temperatuur 0 ingesteld en toch krijg ik soms andere output. Hoe kan dat?
Zoals hierboven staat: floating point-afronding, infrastructure-variatie en modelupdates kunnen ook bij temperatuur 0 kleine verschillen veroorzaken. Bovendien geldt: als het model via een API wordt aangeboden, bepaalt de aanbieder wanneer er een update uitrolt. Je hebt niet altijd zicht op wanneer het onderliggende model is gewijzigd.
Moet ik dan altijd op meerdere runs evalueren?
Niet altijd. Voor exploratief gebruik of creatieve taken is één run prima. Voor geautomatiseerde processen die structureel moeten draaien — of waar fouten consequenties hebben — is meerdere runs evalueren de verantwoorde keuze.
Samengevat
Non-determinisme is geen fout in AI — het is een eigenschap. Voor creatief en verkennend gebruik is het een voordeel. Voor extractie, classificatie en geautomatiseerde pipelines is het een risico dat je actief moet managen.
De drie maatregelen die het meeste uithalen: lage temperatuur, strak uitvoerformaat, en evalueren over meerdere runs. Dat is geen perfecte oplossing, maar het is het eerlijke antwoord op een fundamenteel kenmerk.
In mijn eerdere artikel over AI-output controleren zonder vakkennis stond dit kort: één antwoord is nooit definitief bewijs. Dit is waarom.
Non-determinisme raakt ook de manier waarop je context meegeeft en je werkproces inricht. Hoe je dat aanpakt lees je in Betere AI-output door context: geef een taalmodel wat het nodig heeft. En als je nog bepaalt of je AI lokaal of via de cloud wilt draaien — ook een keuze die reproduceerbaarheid beïnvloedt — lees dan eerst: Lokale LLM of cloud: wat gebeurt er met jouw data?.
Bouw je iets met een taalmodel en loop je aan tegen variatie in de output? Of wil je weten hoe je een AI-taak zo inricht dat de betrouwbaarheid haalbaar is? Plan een gratis intake en we kijken samen naar jouw situatie.