S08E72 - Thinking mode uitgelegd: wat het model echt doet

Veel AI-tools hebben een "thinking mode" die suggereert dat het model nadenkt, maar wat er werkelijk gebeurt is rekenwerk met extra tussenstappen. Het probleem is dat een overtuigende redenering geen bewijs is dat het antwoord klopt — het model wordt alleen beloond voor het eindresultaat, niet voor eerlijke tussenstappen. Thinking mode loont bij meerstapsproblemen, zoals een leveranciersvergelijking met gewogen criteria, maar niet bij eenvoudige taken als een e-mail herschrijven.

Die instelling standaard hoog zetten kost tijd en geld zonder dat er altijd betere resultaten tegenover staan. Bekijk morgen de drie AI-taken die je het vaakst uitvoert en bepaal voor elk of het een meerstapsprobleem is — dat zijn vijf minuten werk die je direct minder kosten en betrouwbaardere resultaten opleveren.

Onderwerpen

• Wat er technisch gebeurt bij thinking mode: taalmodellen rekenen en voorspellen woorden, geen daadwerkelijk denkproces
• Het instellen van rekenbudget: wanneer laag, gemiddeld of hoog effort loont en wat de kostenbesparing oplevert
• Waarom overtuigende redeneringen geen bewijs zijn: tussenstappen worden niet gecontroleerd tijdens training en vorm staat los van juistheid
• Praktische toepassing: onderscheid maken tussen meerstapsproblemen en enkelvoudige taken om thinking mode effectief in te zetten

Links

• Podcast: AIToday Live
• Blog: Sebastian Raschka, 'Controlling Reasoning Effort in LLMs: How LLMs Learn Low-, Medium-, and High-Effort Reasoning Modes'. Ahead of AI, 18 juli 2026.

Genoemde entiteiten: ChatGPT - Gemini - Claude

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:02,240 --> 00:00:06,000
Leuk dat je weer luistert naar een korte aflevering van AIToday Live.

2
00:00:06,000 --> 00:00:09,120
Mijn naam, Joop Snijder, Head of AI bij Info Support.

3
00:00:09,120 --> 00:00:16,160
En we gaan het vandaag hebben waarom thinking mode een misleidend woord is wat het eigenlijk ook doet.

4
00:00:16,399 --> 00:00:25,439
Want je stelt een AI-model een lastige vraag en in plaats van meteen te antwoorden, krijg je dan de melding: het model is aan het denken.

5
00:00:25,440 --> 00:00:28,719
Thinking, denkmodus staat het dus.

6
00:00:28,719 --> 00:00:32,000
En dat vind ik echt een ontzettend irritante term.

7
00:00:32,240 --> 00:00:34,560
Daarom wil ik het vandaag over hebben.

8
00:00:34,799 --> 00:00:40,960
Want het lijkt alsof ergens een brein even achterover leunt en jouw probleem overweegt.

9
00:00:41,280 --> 00:00:43,680
En dat woord denken, dat klopt niet.

10
00:00:43,680 --> 00:00:45,279
Een taalmodel denkt niet.

11
00:00:45,279 --> 00:00:46,240
Het rekent.

12
00:00:46,399 --> 00:00:53,360
Het verschil tussen die twee bepaalt hoe je deze functie uiteindelijk het beste inzet en wanneer je haar beter uit kunt laten.

13
00:00:53,680 --> 00:00:56,159
En ook let op wie dat woord kiest.

14
00:00:56,159 --> 00:00:57,439
Niet jij, niet ik.

15
00:00:57,439 --> 00:01:01,359
Het zijn de leveranciers van de modellen die er menselijke taal op plakken.

16
00:01:01,359 --> 00:01:05,999
Denken, nadenken, redeneren dat praat natuurlijk makkelijk.

17
00:01:06,000 --> 00:01:12,319
Maar het is misleidend en het wakkert onze fantasie aan over wat er in zo'n machine gebeurt.

18
00:01:12,320 --> 00:01:17,519
Zo'n woord stuurt je verwachting en in dit geval is dat wel de verkeerde kant op.

19
00:01:17,679 --> 00:01:23,519
Wie gelooft dat er wordt nagedacht, gaat de uitkomst vertrouwen als de mening van een deskundige.

20
00:01:23,520 --> 00:01:27,439
Dat is precies de fout die ik hier vandaag help voorkomen.

21
00:01:27,759 --> 00:01:29,920
Want wat gebeurt er dan echt?

22
00:01:29,920 --> 00:01:33,920
Het taalmodel werkt door steeds het volgende woord te voorspellen.

23
00:01:33,919 --> 00:01:40,239
Superkrachtig, dus woord voor woord op basis van kansen die het het meest heeft opgepikt uit enorme hoeveelheden tekst.

24
00:01:40,399 --> 00:01:45,519
Elk woord dat het teruggeeft is de uitkomst van een gigantische som.

25
00:01:45,760 --> 00:01:50,959
Geen begrip, geen bedoeling, alleen rekenwerk dat verrassend goed is geworden in gokken wat er volgt.

26
00:01:50,960 --> 00:01:53,439
En wat is die thinking mode dan.

27
00:01:54,079 --> 00:01:59,920
Voordat het model zijn eindantwoord geeft, schrijft het eerst een reeks tussenstappen op.

28
00:01:59,920 --> 00:02:02,640
Zie je het als een soort kladblaadje.

29
00:02:02,639 --> 00:02:05,359
Het noteert eerst dit dan dat.

30
00:02:05,359 --> 00:02:08,319
Dus het antwoord is waarschijnlijk zus.

31
00:02:08,719 --> 00:02:13,520
Die tussenzinnen zijn geen inkijkje in een innerlijke gedachte ofzo.

32
00:02:13,840 --> 00:02:17,439
Het is extra tekst die het model produceert.

33
00:02:17,439 --> 00:02:21,439
En precies die extra tekst, dat is de truc.

34
00:02:21,439 --> 00:02:22,960
Want waarom helpt dat?

35
00:02:23,280 --> 00:02:27,120
Elk woord kost het model een vast beetje rekenwerk.

36
00:02:27,120 --> 00:02:32,400
Een moeilijk probleem, heeft soms meer rekenwerk nodig dan in één keer past.

37
00:02:32,560 --> 00:02:38,880
Wanneer het model eerst stappen uitschrijft, geeft het zichzelf in die zin meer ruimte om te rekenen.

38
00:02:38,879 --> 00:02:44,319
En elke stap die het opschrijft, wordt onderdeel van wat het weer inleest voor de volgende stap.

39
00:02:44,319 --> 00:02:48,000
En zo bouwt het voort op zijn eigen aantekeningen.

40
00:02:48,000 --> 00:02:56,799
Het gesprek met zichzelf is dus geen overpeinzing, maar een manier om de berekening over meer stappen uit te smeren.

41
00:02:57,680 --> 00:02:59,599
Laten we kijken naar dat kladblaadje.

42
00:02:59,680 --> 00:03:04,640
Want stel, iemand vraagt jou nu om 17 keer 24 uit het hoofd te doen.

43
00:03:04,639 --> 00:03:05,920
Meteen zonder pen.

44
00:03:06,400 --> 00:03:12,480
Grote kans dat je dat niet meteen zo allemaal voor je hebt.

45
00:03:12,480 --> 00:03:18,879
Maar geef diezelfde persoon en ik geef jou een kladblaadje en dan lukt het bijna wel altijd.

46
00:03:19,039 --> 00:03:28,879
Niet omdat het blaadje iemand slimmer maakt, maar omdat je de som in stukjes kunt hakken en tussenstappen kunt vastleggen.

47
00:03:29,039 --> 00:03:32,800
Dus denkmodus is dat kladblaadje.

48
00:03:32,800 --> 00:03:41,200
Het model schrijft zichzelf een spoor van tussenstappen en gebruikt dat spoor om tot een beter eindantwoord te komen.

49
00:03:41,200 --> 00:03:43,120
Het brein leunt niet achterover.

50
00:03:44,959 --> 00:03:51,679
Er wordt er eigenlijk gewoon langer en meer gerekend met de tussenresultaten en die worden netjes uitgeschreven.

51
00:03:51,680 --> 00:03:57,360
Let op wat dit betekent: het kladblaadje verandert niets aan wie de som maakt.

52
00:03:57,360 --> 00:04:02,800
Een kind met een kladblaadje maakt nog steeds kinderfouten, alleen wat minder vaak.

53
00:04:02,959 --> 00:04:06,800
Het model wordt door thinking mode niet plotseling een expert.

54
00:04:06,800 --> 00:04:09,359
Het krijgt meer werkruimte, meer niet.

55
00:04:10,319 --> 00:04:20,319
Nu wordt het interessant, want je kunt namelijk het model bijsturen op hoeveel op dat kladblaadje geschreven, gerekend kan worden.

56
00:04:20,319 --> 00:04:24,240
En vrijwel elk groot model heeft daar tegenwoordig een knop voor.

57
00:04:24,240 --> 00:04:33,120
ChatGPT, Gemini, Claude, allemaal hebben dat, alleen heet het hier en daar net iets anders en heeft de één iets meer standen dan de ander.

58
00:04:33,120 --> 00:04:35,280
Maar de naam maakt uiteindelijk niet zoveel uit.

59
00:04:35,279 --> 00:04:36,720
Het idee is vaak hetzelfde.

60
00:04:36,720 --> 00:04:39,600
Je hebt een soort van laag, gemiddeld, hoog.

61
00:04:39,840 --> 00:04:43,599
Laag betekent weinig tussenstappen, snel en goedkoop.

62
00:04:43,920 --> 00:04:49,680
Hoog uiteraard betekent dan veel stappen, langzamer, duurder.

63
00:04:49,680 --> 00:04:51,840
Je stelt in feite een budget in.

64
00:04:51,840 --> 00:04:57,920
Hoeveel woorden mag het model aan zichzelf besteden voordat het jou een antwoord geeft.

65
00:04:58,159 --> 00:05:02,280
En anders dan denken, wordt het uitgedrukt in het woord effort.

66
00:04:59,840 --> 00:05:04,360
En dat effort vind ik wel een eerlijk woord.

67
00:05:04,600 --> 00:05:11,400
Want het benoemt namelijk geen innerlijke gedachten of zo, maar echt een hoeveelheid inspanning die het model mag inzetten.

68
00:05:11,399 --> 00:05:13,800
En die inspanning is gewoon te meten.

69
00:05:14,040 --> 00:05:16,120
Tijd en in tokens.

70
00:05:17,720 --> 00:05:19,480
Ja, maar meer is dus altijd beter.

71
00:05:19,480 --> 00:05:20,600
Maar zo werkt het niet.

72
00:05:20,600 --> 00:05:26,279
Meer denkstappen betekent meer rekenwerk en dus meer tijd en meer kosten.

73
00:05:26,920 --> 00:05:29,959
En de grap is, er zit ook nog een plafond aan.

74
00:05:29,960 --> 00:05:33,560
Voorbij een bepaald punt helpen extra stappen nauwelijks nog.

75
00:05:33,560 --> 00:05:38,439
En soms praat het model via dat kladblaadje zichzelf juist een fout antwoord in.

76
00:05:38,439 --> 00:05:43,960
Het schrijft dan lange, geloofwaardige redeneringen die onderweg toch aan het ontsporen zijn.

77
00:05:43,959 --> 00:05:48,519
En onderzoekers zoeken al een tijd naar de beste manier om die inspanning te sturen.

78
00:05:48,519 --> 00:06:00,200
Kun je een model met een simpele instructie zuiniger of juist grondiger laten rekenen, kun je een hard plafond op het aantal denkstappen zetten en toch een goed antwoord houden.

79
00:06:00,360 --> 00:06:02,599
Wat daaruit naar voren komt.

80
00:06:04,840 --> 00:06:07,240
Het is nu nog wat nuchter, zou je kunnen zeggen.

81
00:06:07,240 --> 00:06:11,000
Er is geen stand die overal het beste werkt.

82
00:06:11,000 --> 00:06:16,439
Voor de ene taak levert doorrekenen winst op en dan voor de andere verspilt het alleen tijd.

83
00:06:16,759 --> 00:06:19,079
En die winst die vlakt ook af.

84
00:06:19,240 --> 00:06:25,079
De sprong van laag naar gemiddeld helpt vaak meer dan de sprong van gemiddeld naar hoog effort.

85
00:06:25,079 --> 00:06:31,240
Dus die knop is dus geen kwaliteitsschuif die je zomaar naar maximaal draait.

86
00:06:31,560 --> 00:06:36,599
Het is echt een afweging, dus nauwkeurigheid aan de ene kant, snelheid en kosten aan de andere.

87
00:06:36,920 --> 00:06:38,920
Dus voor de ene vraag.

88
00:06:41,080 --> 00:06:44,840
Voor de andere loont het om het model even door te laten rekenen.
89
00:06:44,840 --> 00:06:51,079
En de kunst zit dan dus in het herkennen van het verschil en dat is werk dat jij doet, niet het model.
 89
00:06:51,720 --> 00:06:55,080
Nu komt er iets wat ik echt hoop dat je dat je onthoudt.
 90
00:06:55,079 --> 00:06:59,319
Want die tussenstappen lezen als een redenering.
 91
00:06:59,319 --> 00:07:01,959
Netjes, logisch, overtuigend.
 92
00:07:01,960 --> 00:07:07,240
Maar ze zijn geen betrouwbaar verslag van hoe het model werkelijk aan zijn antwoord kwam.
 93
00:07:07,240 --> 00:07:10,840
Het is gegenereerde tekst die de vorm van redeneren heeft.
 94
00:07:11,639 --> 00:07:13,079
Geredeneerde tekst.
 95
00:07:13,079 --> 00:07:17,320
Het is gegenereerde tekst die de vorm van redeneren heeft.
 96
00:07:17,319 --> 00:07:20,120
Geen weergave van een innerlijk proces.
 97
00:07:20,120 --> 00:07:21,480
Waar komt dat vandaan?
 98
00:07:21,480 --> 00:07:24,599
Het zit in de manier waarop het model is getraind.
 99
00:07:24,680 --> 00:07:30,920
Tijdens dat trainen krijgt het model alleen een beloning als het eindantwoord klopt.
 100
00:07:31,240 --> 00:07:34,760
En als het de afgesproken vorm aanhoudt.
 101
00:07:35,000 --> 00:07:39,560
De tussenstappen zelf worden niet nagekeken en worden dus ook niet beloond.
 102
00:07:39,560 --> 00:07:45,080
Het model leert dus stappen te schrijven die helpen om bij een goed eindantwoord uit te komen.
 103
00:07:45,079 --> 00:07:48,999
En niet stappen die eerlijk verslag doen van wat er onderweg gebeurt.
 104
00:07:49,560 --> 00:07:55,240
Het spoor is afgestemd op de uitkomst en niet op de waarheid van elke losse stap.
 105
00:07:58,120 --> 00:08:02,520
Een model kan een prachtige redenering opschrijven en er toch naast zitten.
 106
00:08:02,759 --> 00:08:07,959
Of andersom, dus via stappen die niet kloppen, toch bij het juiste antwoord uitkomen.
 107
00:08:07,959 --> 00:08:10,759
En de vorm en de juistheid staan dus los van elkaar.
 108
00:08:10,759 --> 00:08:12,280
Dat voelt misschien wat gek.
 109
00:08:12,280 --> 00:08:17,079
Want bij ons mensen nemen we juist een nette uitleg.
 110
00:08:17,319 --> 00:08:21,319
Het zien we als een teken dat iemand het snapt.
 111
00:08:21,320 --> 00:08:25,000
Bij een taalmodel gaat die aanname helaas niet op.
 112
00:08:25,319 --> 00:08:31,480
Voor jou in de praktijk betekent dat het volgende: behandel dat denkspoor dus niet als bewijs.
 113
00:08:31,480 --> 00:08:35,160
Het is een hulpmiddel voor het model, maar geen garantie voor jou.
 114
00:08:35,159 --> 00:08:44,519
Controleer de uitkomst alsof er helemaal geen stappen bij stonden en wees juist extra alert wanneer de redenering verdacht goed klinkt.
 115
00:08:45,079 --> 00:08:48,840
Overtuigingskracht en correctheid zijn twee verschillende dingen.
 116
00:08:49,960 --> 00:08:54,279
Nu is de vraag, wanneer zet je nou die denkmodus aan en op welk niveau?
 117
00:08:54,279 --> 00:08:58,840
Bij problemen die echt uit meerdere stappen bestaan.
 118
00:08:59,879 --> 00:09:04,600
Neem een analyse met een paar voorwaarden of een berekening.
 119
00:09:05,000 --> 00:09:12,120
Ik vind berekening eigenlijk helemaal niet zo handig om te doen met een taalmodel, maar een hele goede dataanalyse bijvoorbeeld.
 120
00:09:12,440 --> 00:09:16,360
Een plan waarbij stap 3 afhangt van stap één.
 121
00:09:16,440 --> 00:09:23,399
Logica die je zelf op papier zou gaan uitschrijven, daar betaalt dat extra rekenwerk zich echt terug.
 122
00:09:23,639 --> 00:09:24,360
Wanneer niet?
 123
00:09:24,360 --> 00:09:26,040
Nou ja, dan bij eenvoudige dingen.
 124
00:09:26,120 --> 00:09:29,640
Een samenvatting, iets herschrijven, snelle opzoekvraag.
 125
00:09:29,639 --> 00:09:34,439
Daar kost die thinking mode vooral extra tijd en geld zonder een beter antwoord.
 126
00:09:34,440 --> 00:09:37,720
Je betaalt dan voor een kladblaadje dat je niet nodig hebt.
 127
00:09:37,720 --> 00:09:41,799
En in organisaties telt dat best wel op in kosten.
 128
00:09:41,799 --> 00:09:49,039
Zet je standaard alles op hoog, dan lopen je rekening en je wachttijden op zonder dat er evenveel waarde tegenover staat.
 129
00:09:49,519 --> 00:09:55,520
Mijn advies is simpel: zet het standaard laag, draai je het alleen omhoog waar de vraag het verdient.
 130
00:09:55,519 --> 00:09:59,919
Behandel dat rekenbudget als een uitgave die zich ook moet verantwoorden.
 131
00:09:59,919 --> 00:10:03,040
Net als elke andere uitgave.
 132
00:10:04,960 --> 00:10:08,480
Nog even terug dan kort naar het knopje.
 133
00:10:08,480 --> 00:10:17,360
Dus thinking mode prima naam voor marketing voor die leveranciers, maar een slechte naam om het te begrijpen.
 134
00:10:17,360 --> 00:10:21,680
Er is geen brein die daadwerkelijk aan het denken is.
 135
00:10:21,679 --> 00:10:28,799
Er is een machine die wat langer rekent en ertussen de resultaten uitschrijft, zodat ze meer ruimte heeft voor moeilijke vragen.
 136
00:10:28,799 --> 00:10:41,680
Vat je het zo op als bijstelbaar rekenwerk en niet als gedachte, dan beslis je in ieder geval een stuk beter wanneer het de moeite waard is en blijf je kritisch op de uitkomst hoe overtuigende stappen ook klinken.
 137
00:10:42,000 --> 00:10:43,600
Dat was het weer.
 138
00:10:43,600 --> 00:10:49,120
Bedenk AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.
 139
00:10:52,000 --> 00:10:54,879
Leuk dat je weer luisterde naar deze korte aflevering.
 140
00:10:54,879 --> 00:10:59,279
Vergeet je niet te abonneren via je favoriete podcast app en mis je geen aflevering.
 141
00:10:59,279 --> 00:11:00,960
Tot de volgende keer.