1
00:00:02,040 --> 00:00:05,180
Hoi, leuk dat je weer luistert naar de korte aflevering van AIToday Live.
2
00:00:05,600 --> 00:00:07,600
Mijn naam is Joop Snijder, CTO bij Aigency.
3
00:00:08,580 --> 00:00:12,640
En vandaag gaan we het hebben over redeneren van taalmodellen.
4
00:00:14,260 --> 00:00:19,420
Want heb jij wel eens het gevoel gehad dat je met een geavanceerde chatbot spreekt die jou echt begrijpt?
5
00:00:19,840 --> 00:00:27,580
Die perfect lijkt aan te sluiten bij wat je bedoelt en antwoorden geeft die zo mensen klinken dat je even vergeet dat je tegen een machine praat?
6
00:00:28,320 --> 00:00:29,540
Ik snap dat gevoel heel goed.
7
00:00:30,120 --> 00:00:34,220
Want deze systemen worden steeds beter in het nabootsen van menselijke communicatie.
8
00:00:35,120 --> 00:00:43,260
Maar vandaag wil ik je meenemen in een verhaal dat misschien je perspectief op deze taalmodellen chatbots misschien zal veranderen.
9
00:00:43,780 --> 00:00:47,860
Want afgelopen week las ik twee publicaties die me echt aan het denken hebben gezet.
10
00:00:48,520 --> 00:00:55,360
Ten eerste een artikel van professor, en ik hoop dat ik het goed uitspreek, Veena Dwivedi.
11
00:00:56,210 --> 00:00:57,060
Niet heel erg makkelijk.
12
00:00:57,900 --> 00:01:05,660
aan de Brock University, waarin ze uitlegt waarom het onmogelijk is voor taalmodellen om taal echt te begrijpen.
13
00:01:06,520 --> 00:01:13,560
En daarnaast kwam er een interessant onderzoek van Apple-onderzoekers uit over de beperkingen van de nieuwste redeneermodellen.
14
00:01:14,240 --> 00:01:22,100
En wat me zo opviel is hoe deze twee publicaties vanuit compleet verschillende hoeken tot best wel vergelijkbare conclusies komen.
15
00:01:22,700 --> 00:01:27,060
Het ene perspectief is geredeneerd vanuit de biologie en de evolutie van onze taal,
16
00:01:27,160 --> 00:01:31,460
Terwijl het onderzoek van Apple gebaseerd is op juist de technische werking van taalmodellen.
17
00:01:32,100 --> 00:01:37,420
En toch komen beide tot dezelfde conclusie over namelijk de illusie van begrip bij taalmodellen.
18
00:01:38,240 --> 00:01:42,880
Want achter die indrukwekkende conversatie schuilt een misverstand.
19
00:01:43,300 --> 00:01:47,840
En een misverstand dat zo diep geworteld is dat zelfs Nobelprijswinnaar Geoffrey Hinton,
20
00:01:48,400 --> 00:01:50,720
hij is een van de grondleggers van de moderne AI,
21
00:01:51,320 --> 00:01:56,960
zich nog steeds verbaast over hoe goed neurale netwerken natuurlijke taal lijken te begrijpen.
22
00:01:57,140 --> 00:01:59,660
Waarbij begrijpen tussen aanhalingstekens is.
23
00:02:00,820 --> 00:02:04,000
Want wat als ik je vertel dat dit begrip een illusie is.
24
00:02:04,320 --> 00:02:10,100
Dat zelfs de meest geavanceerde taalmodellen van vandaag de dag niet werkelijk begrijpen wat ze zeggen.
25
00:02:11,320 --> 00:02:21,480
Laten we beginnen met het punt dat professor Dwivedi, die neurowetenschapper, wat ik al zei aan de Brock University, naar voren brengt in haar onderzoek.
26
00:02:22,620 --> 00:02:25,580
Ze legt uit dat we vaak een vergissing maken.
27
00:02:25,960 --> 00:02:29,840
We verwarren tekst op een scherm met natuurlijk taal zelf.
28
00:02:30,520 --> 00:02:33,840
En dat klinkt misschien als haarkloverij, maar het verschil is enorm.
29
00:02:35,600 --> 00:02:38,660
Neem bijvoorbeeld de talen Hindi en Urdu.
30
00:02:40,020 --> 00:02:45,880
De professor schrijft dat als je deze talen hoort in een gesprek, ze grotendeels wederzijds verstaanbaar zijn.
31
00:02:46,260 --> 00:02:50,500
En mensen die Hindi spreken, kunnen Urdu-sprekers prima verstaan en andersom.
32
00:02:51,140 --> 00:02:55,240
Maar zodra je naar de geschreven vorm kijkt, zie je compleet verschillende schriftsystemen.
33
00:02:56,000 --> 00:02:59,220
En hetzelfde geldt voor Servisch en Kroatisch zegt ze.
34
00:02:59,980 --> 00:03:03,960
Gesproken, bijna identiek, maar geschreven in verschillende alfabetten.
35
00:03:04,660 --> 00:03:10,680
En dit toont aan dat taal veel rijker en dieper is dan alleen de visuele representatie ervan.
36
00:03:11,760 --> 00:03:16,180
Taalmodellen werken echter uitsluitend met die visuele representatie.
37
00:03:16,220 --> 00:03:18,540
Met tekst, symbolen en patronen op een scherm.
38
00:03:19,280 --> 00:03:24,920
Ze hebben geen toegang tot de contextuele laag die menselijke communicatie zo krachtig maakt.
39
00:03:26,540 --> 00:03:29,540
Kijk, stel je voor dat je vrouw of vriendin tegen je zegt
40
00:03:30,060 --> 00:03:30,620
Ik ben zwanger
41
00:03:31,280 --> 00:03:32,280
Drie simpele woorden
42
00:03:33,040 --> 00:03:35,060
Voor een taalmodel zijn dit gewoon tokens
43
00:03:35,260 --> 00:03:38,220
Die statistisch gerelateerd zijn aan andere tokens
44
00:03:38,880 --> 00:03:39,540
Delen van woorden
45
00:03:40,260 --> 00:03:43,900
Maar voor jou als mens verandert de betekenis compleet
46
00:03:44,140 --> 00:03:45,300
Afhankelijk van de context
47
00:03:46,440 --> 00:03:50,000
Is het een tina die in paniek haar vriendje belt over een ongeplande zwangerschap?
48
00:03:50,560 --> 00:03:53,180
Dan roept de zin totaal andere emoties en reacties op
49
00:03:53,140 --> 00:04:00,160
dan wanneer het een echtpaar betreft dat een jaren van vruchtbaarheidsbehandelingen eindelijk goed nieuws heeft.
50
00:04:01,260 --> 00:04:04,300
Of misschien was het wel gezegd door een oude persoon als grap.
51
00:04:05,040 --> 00:04:11,100
Exact dezelfde woorden, maar drie compleet verschillende betekenissen en emotionele ladingen.
52
00:04:11,900 --> 00:04:17,000
Wij mensen begrijpen dit omdat onze hersenen nooit zonder emotionele context werken.
53
00:04:17,739 --> 00:04:25,940
Elke communicatie die we hebben is doordrengt van persoonlijke ervaringen, emoties en de complexe sociale omgeving waarin we leven.
54
00:04:26,900 --> 00:04:32,800
We lezen lichaamstaal, horen de stemtonen, zien gezichtsuitdrukkingen.
55
00:04:33,640 --> 00:04:41,020
Het blijkt dat zelfs baby's, die nog geen taalexperts zijn, kunnen deze textuele signalen oppikken en interpreteren.
56
00:04:41,980 --> 00:04:44,460
Taalmodellen missen al deze lagen volledig.
57
00:04:44,760 --> 00:04:51,180
Ze zien alleen de tekst, geen toon, geen emotie, geen gedeelde geschiedenis tussen gesprekspartners.
58
00:04:54,240 --> 00:04:58,500
En dan hebben we nog een ander probleem, de terminologie die we gebruiken.
59
00:04:58,920 --> 00:05:06,740
Als we praten over neurale netwerken in AI gebruiken we bewust of onbewust termen die ons doen denken aan de menselijke hersenen.
60
00:05:07,800 --> 00:05:09,120
En dit is een gevaarlijke vergissing.
61
00:05:09,860 --> 00:05:12,000
De professor waarschuwt voor deze verwarring.
62
00:05:12,580 --> 00:05:16,580
Taalmodellen hebben namelijk neurale netwerken die computeralgoritmes zijn.
63
00:05:17,020 --> 00:05:19,800
Wiskundige formules die patronen herkennen in data.
64
00:05:20,160 --> 00:05:24,280
Ze hebben niets te maken met de biologische neurale netwerken in onze hersenen.
65
00:05:24,920 --> 00:05:28,840
En de menselijke hersenen zijn biologische organische systemen.
66
00:05:29,120 --> 00:05:31,920
Die zijn geëvolueerd over miljoenen jaren heen.
67
00:05:32,740 --> 00:05:37,720
Ze werken met biochemische processen, hormonen, complexe interacties tussen miljarden neuronen.
68
00:05:38,800 --> 00:05:42,300
Taalmodellen zijn wiskundige berekeningen die draaien op siliciumchips.
69
00:05:43,050 --> 00:05:49,220
Ze kunnen indrukwekkende resultaten leveren, maar het onderliggende mechanisme is fundamenteel anders.
70
00:05:50,300 --> 00:05:53,980
Dit brengt me bij een interessant onderzoek van de Apple-onderzoekers.
71
00:05:54,700 --> 00:06:01,720
Want zij hebben gekeken naar de nieuwste generatie AI-modellen, de zogenaamde Large Reasoning Models of Redeneer-modellen.
72
00:06:02,360 --> 00:06:10,200
En deze systemen zoals OpenAI's 01 claimen dat ze kunnen nadenken en redeneren voordat ze antwoord geven.
73
00:06:10,810 --> 00:06:16,480
En om dit verschil te begrijpen, kijk gewone taalmodellen zoals GPT-4 geven direct antwoord op je vraag.
74
00:06:17,240 --> 00:06:20,720
Ze genereren meteen tekst gebaseerd op wat ze hebben geleerd.
75
00:06:21,860 --> 00:06:24,300
Redeneermodellen daaraan tegen nemen bewust meer tijd.
76
00:06:24,940 --> 00:06:28,220
Ze genereren eerst een interne soort van gedachtengang.
77
00:06:28,760 --> 00:06:34,600
Een werkgeheugen waar ze stap voor stap door een probleem heen lopen voordat ze hun antwoord geven.
78
00:06:36,100 --> 00:06:40,840
Het is alsof je iemand vraagt om hardop te denken voordat ze antwoord geven.
79
00:06:41,680 --> 00:06:50,660
In seizoen 6 aflevering 76 over O-1 Preview hebben we al besproken hoe verleidelijk het is om te denken dat deze modellen echt redeneren.
80
00:06:51,460 --> 00:06:55,880
Ze schrijven zelfs dat ze 40 seconden hebben nagedacht over een probleem.
81
00:06:56,820 --> 00:07:00,880
Maar zoals we toen al zeiden, dat betekent dat ze 40 seconden hebben gerekend.
82
00:07:01,300 --> 00:07:02,480
Helemaal niet hebben nagedacht.
83
00:07:03,300 --> 00:07:06,940
En het Apple onderzoek onthult nog diepere problemen.
84
00:07:07,480 --> 00:07:12,680
Ze testen deze redeneermodellen op controleerbare puzzels zoals de torens van Hanoi.
85
00:07:12,680 --> 00:07:18,100
Je kent ze wel met die schijven en dat je die op de juiste manier moet verplaatsen.
86
00:07:18,680 --> 00:07:20,220
Volgens specifieke regels.
87
00:07:20,940 --> 00:07:26,860
Dit soort puzzels is perfect omdat je precies kunt meten of het model de logische stappen correct uitvoert.
88
00:07:28,020 --> 00:07:32,820
De resultaten waren verrassend en misschien ook wel een klein beetje onthutsend.
89
00:07:33,370 --> 00:07:41,460
Ten eerste ondervonden deze geavanceerde redeneermodellen een complete instorting van hun nauwkeurigheid bij toenemende complexiteit.
90
00:07:42,100 --> 00:07:49,940
Zodra de puzzels iets moeilijker werden, storten de prestaties volledig in, ondanks alle geavanceerde zogenaamde denkprocessen.
91
00:07:51,140 --> 00:07:55,240
En ten tweede vertoonden ze toch wel verschillende prestatiepatronen.
92
00:07:55,940 --> 00:08:06,760
Bij eenvoudige problemen presteerden de gewone taalmodellen, dus die direct antwoord geven zonder interne redenering, juist vaak beter dan de redenermodellen die eerst een hele denkstap doorlopen.
93
00:08:07,520 --> 00:08:16,580
En bij matig complexe problemen hadden de redenermodellen voordeel, maar bij hoge complexiteit faalden beide types even hard.
94
00:08:17,300 --> 00:08:20,080
Het meest verrassende was misschien wel de derde bevinding.
95
00:08:20,800 --> 00:08:25,840
Wanneer onderzoekers het exacte algoritme voor de puzzel in de pont graven.
96
00:08:26,000 --> 00:08:29,640
En dus letterlijk stap voor stap uitlegden hoe ze het probleem moesten oplossen.
97
00:08:30,520 --> 00:08:32,800
Verbeterde de prestatie niet.
98
00:08:33,820 --> 00:08:39,860
Zelfs met een complete handleiding faalden de modellen met dezelfde complexiteit.
99
00:08:41,219 --> 00:08:42,820
Dit vond ik wel echt wel verrassend.
100
00:08:43,140 --> 00:08:48,900
Want je zou verwachten dat het volgen van duidelijke instructies veel makkelijker zou zijn dan zelf een oplossing bedenken.
101
00:08:49,600 --> 00:08:57,180
Als iemand je precies vertelt, z schrijf A op paal B, dan schrijf C op paal A, dan hoef je eigenlijk alleen maar die stappen uit te voeren.
102
00:08:57,660 --> 00:09:01,840
En dat zou veel eenvoudiger moeten zijn dan zelf uitzoeken hoe je die puzzel oplost.
103
00:09:02,480 --> 00:09:08,460
Maar de redeneermodellen presteerden niet beter, zelfs niet met deze expliciete handleiding.
104
00:09:09,320 --> 00:09:14,560
Dit toont aan dat deze modellen serieuze beperkingen hebben in logische redenering.
105
00:09:14,850 --> 00:09:20,420
Ze kunnen zelfs simpele instructies niet betrouwbaar opvolgen wanneer een probleem te complex wordt.
106
00:09:21,720 --> 00:09:24,260
Dit alles brengt ons terug naar het centrale punt.
107
00:09:25,180 --> 00:09:29,260
Menselijk begrip is toch echt wel anders dan wat taalmodellen doen.
108
00:09:29,510 --> 00:09:35,380
En wij begrijpen niet alleen de woorden, maar ook de intentie erachter, de emotionele lading, de sociale context.
109
00:09:36,160 --> 00:09:41,300
Wij kunnen het tussen de regels doorlezen en aannames maken gebaseerd op onze levenservaring.
110
00:09:42,140 --> 00:09:50,700
In aflevering 16 van seizoen 6 hebben we zelfs gezien dat menselijke besluitvorming heel erg complex en soms heel irrationeel is.
111
00:09:51,780 --> 00:09:55,900
En dat onze eigen denkprocessen al heel erg lastig zijn te begrijpen.
112
00:09:56,660 --> 00:09:59,700
Want emoties spelen een cruciale rol in onze besluitvorming.
113
00:09:59,860 --> 00:10:05,200
En vaak rechtvaardigen we emotionele keuzes achteraf met logische redeneringen.
114
00:10:05,760 --> 00:10:11,580
En het maakt ons misschien niet altijd consistent, maar wel rijker en genuanceerder in ons begrip van de wereld.
115
00:10:12,460 --> 00:10:15,440
Taalmodellen missen deze emotionele component volledig.
116
00:10:15,900 --> 00:10:20,220
Ze kunnen emoties simuleren in hun output, maar ze voelen niks.
117
00:10:20,660 --> 00:10:23,940
En ze hebben geen persoonlijke ervaringen, geen angsten, geen hoop.
118
00:10:24,560 --> 00:10:30,800
Ze zijn in de woorden van professor Dwivedi sophisticated pattern matching machines.
119
00:10:31,560 --> 00:10:35,160
Oftewel hele geavanceerde patroonherkenningsmachines.
120
00:10:35,620 --> 00:10:36,940
Niet meer, maar ook niet minder.
121
00:10:38,340 --> 00:10:42,840
Wat betekent het allemaal voor hoe we taalmodellen in onze organisatie inzetten?
122
00:10:43,460 --> 00:10:48,600
Daarvoor is het belangrijk om te begrijpen wat ze wel en niet kunnen.
123
00:10:48,920 --> 00:10:52,040
Taalmodellen zijn uitstekend in het herkennen van patronen.
124
00:10:52,040 --> 00:10:56,040
Het genereren van coherente tekst en het uitvoeren van repetitieve taken.
125
00:10:56,600 --> 00:11:02,080
Ze kunnen ons helpen met onderzoek, eerste versies van teksten schrijven en complexe datasets analyseren.
126
00:11:02,780 --> 00:11:06,480
Maar ze begrijpen niet wat ze doen in de menselijke zin van het woord.
127
00:11:07,270 --> 00:11:12,100
Dit betekent dat we voorzichtig moeten zijn met het toeschrijven van menselijke eigenschappen aan deze systemen.
128
00:11:12,640 --> 00:11:19,060
Ze denken niet, ze begrijpen niet en ze hebben geen echte intenties.
129
00:11:19,480 --> 00:11:28,760
Ze zijn krachtige tools die patronen kunnen herkennen, manipuleren, maar ze missen echt het diepere begrip dat menselijke communicatie zo rijk maakt.
130
00:11:29,900 --> 00:11:31,740
Betekent dit dat taalmodellen waardeloos zijn?
131
00:11:32,500 --> 00:11:32,960
Zeker niet.
132
00:11:33,580 --> 00:11:36,980
Maar het probleem ontstaat wanneer we hun capaciteiten overschatten
133
00:11:37,130 --> 00:11:40,280
of verwachten dat ze dingen kunnen die ze fundamenteel niet kunnen.
134
00:11:42,160 --> 00:11:46,760
Dus, de volgende keer dat je in gesprek bent met een geavanceerd taalmodel
135
00:11:46,830 --> 00:11:49,080
en het lijkt alsof het systeem je echt begrijpt,
136
00:11:49,960 --> 00:11:51,660
onthoud dan wat je vandaag hebt gehoord.
137
00:11:52,360 --> 00:11:54,500
Het is een indrukwekkende imitatie van begrip,
138
00:11:55,020 --> 00:11:57,680
maar echte begrip, dat blijft iets puur
139
00:11:57,680 --> 00:11:58,020
menselijk.
140
00:12:01,480 --> 00:12:02,400
de gebruikte bronnen
141
00:12:02,660 --> 00:12:03,640
vind je in de show notes
142
00:12:04,580 --> 00:12:05,080
en bedenk
143
00:12:05,710 --> 00:12:06,740
AI is niet de oplossing
144
00:12:06,750 --> 00:12:07,520
voor elk probleem
145
00:12:07,860 --> 00:12:09,200
maar onmisbaar waar het past
146
00:12:10,240 --> 00:12:11,120
tot de volgende keer
