1
00:00:00,001 --> 00:00:08,320
Hoi, welkom bij een nieuwe aflevering van AIToday Live waar we vandaag op een toegankelijke manier
2
00:00:08,320 --> 00:00:13,160
uitleggen hoe Large Language Models, of LLM's, technisch werken.
3
00:00:13,160 --> 00:00:17,520
Daarom leg ik je vandaag de techniek van Transformers uit.
4
00:00:17,520 --> 00:00:25,240
Als we de technologie goed begrijpen, weten we namelijk wat we mogen verwachten van LLM's
5
00:00:25,240 --> 00:00:28,360
en weten we wat deze wel en niet kunnen.
6
00:00:28,360 --> 00:00:33,680
Dus als je je ooit hebt afgevraagd hoe Chad, GPT en soortgelijke AI's precies hun kunstje
7
00:00:33,680 --> 00:00:35,440
doen, blijf dan zeker luisteren.
8
00:00:35,440 --> 00:00:38,080
Laten we beginnen bij de basis.
9
00:00:38,080 --> 00:00:40,080
Wat zijn Large Language Models?
10
00:00:40,080 --> 00:00:43,040
Eerst maar eens even kijken naar de term zelf.
11
00:00:43,040 --> 00:00:48,240
Een Large Language Model klinkt misschien intimiderend, maar eigenlijk is het een stuk simpeler dan
12
00:00:48,240 --> 00:00:49,240
je denkt.
13
00:00:49,240 --> 00:00:54,200
Zie je het als een super intelligente versie van de tekstvoorspelling die je gebruikt op
14
00:00:54,200 --> 00:00:59,200
je smartphone, maar dan met veel meer data en rekenkracht erachter.
15
00:00:59,200 --> 00:01:05,440
Deze modellen kunnen teksten genereren, vragen beantwoorden en zelfs creatieve verhalen schrijven,
16
00:01:05,440 --> 00:01:07,200
maar daar hoef ik je waarschijnlijk niet meer te vertellen.
17
00:01:07,200 --> 00:01:14,280
Stel je voor dat je een vriend hebt die zoveel boeken, artikelen en webpagina's heeft gelezen
18
00:01:14,280 --> 00:01:17,240
dat hij bijna overal wel iets over weet.
19
00:01:17,240 --> 00:01:22,040
Die vriend weet misschien niet alles perfect, maar kan goed gokken wat je volgende vraag
20
00:01:22,040 --> 00:01:25,320
zal zijn of wat een logisch antwoord is op jouw vraag.
21
00:01:25,320 --> 00:01:29,760
Dat is eigenlijk wat een LLM doet, maar dan op veel grotere schaal.
22
00:01:29,760 --> 00:01:33,840
Maar hoe leert zo'n Large Language Model?
23
00:01:33,840 --> 00:01:36,880
Het is net een enorme bibliotheek met miljoenen boeken.
24
00:01:36,880 --> 00:01:44,400
En de Large Language Model wordt getraind door al deze boeken te lezen, maar in plaats
25
00:01:44,400 --> 00:01:50,160
van dat het elk boek van begin tot eind leest, leert het meer patronen in de tekst te kennen.
26
00:01:50,160 --> 00:01:56,760
Het model leert bijvoorbeeld dat op de zin "de hond ligt in de" vaak het woord "mand"
27
00:01:56,760 --> 00:01:57,760
volgt.
28
00:01:57,760 --> 00:02:03,240
Deze patronen helpen het model om woorden te voorspellen en zo zinnen te vormen die
29
00:02:03,240 --> 00:02:07,040
grammaticaal correct zijn en logisch klinken.
30
00:02:07,040 --> 00:02:09,280
Om je een beeld te geven.
31
00:02:09,280 --> 00:02:14,520
Stel je maakt een puzzel, maar je hebt alleen de randstukjes.
32
00:02:14,520 --> 00:02:19,960
Door de patronen in de randstukken te herkennen kun je een hele goede gok doen waar de binnenstukken
33
00:02:19,960 --> 00:02:20,960
moeten komen.
34
00:02:20,960 --> 00:02:24,440
Een LLM doet iets vergelijkbaars.
35
00:02:24,440 --> 00:02:29,880
Hij begint met de randen, de meest duidelijke patronen, en vult de rest in op basis van
36
00:02:29,880 --> 00:02:31,200
wat het heeft geleerd.
37
00:02:31,200 --> 00:02:38,400
Nu vraag je je misschien af, hoe zet een LLM al die kennis om in zo'n slimme tekstgenerator?
38
00:02:38,400 --> 00:02:42,800
Hier komt het concept van transformers om de hoek kijken.
39
00:02:42,800 --> 00:02:47,720
Transformers zijn als een soort van super-brain voor een Large Language Model.
40
00:02:47,720 --> 00:02:53,960
Ze breken tekst op in kleinere stukjes die we tokens noemen en verwerken die in een bepaalde
41
00:02:53,960 --> 00:02:54,960
volgorde.
42
00:02:54,960 --> 00:03:01,080
Elke token krijgt een klein beetje context mee van de tokens ervoor en ernaar waardoor
43
00:03:01,080 --> 00:03:03,200
het model begrijpt wat de tekst betekent.
44
00:03:03,200 --> 00:03:05,720
Laat ik dat uitleggen met een analogie.
45
00:03:05,720 --> 00:03:09,440
Stel we krijgen een geheim bericht waarin de woorden door elkaar staan.
46
00:03:09,440 --> 00:03:16,080
Maar elke keer als je een woord leest probeer je de betekenis te achterhalen door te kijken
47
00:03:16,080 --> 00:03:17,920
naar de woorden ervoor en ernaar.
48
00:03:17,920 --> 00:03:20,360
Dit is precies wat een transformer doet.
49
00:03:20,360 --> 00:03:25,640
Het kijkt naar de omringende woorden om de juiste betekenis te geven aan elk woord en
50
00:03:25,640 --> 00:03:29,440
om de tekst als geheel tussen aanhalingstekens te begrijpen.
51
00:03:29,440 --> 00:03:37,640
Een transformer werkt in lagen vergelijkbaar met hoe je in een videogame steeds moeilijkere
52
00:03:37,640 --> 00:03:38,960
levels tegenkomt.
53
00:03:38,960 --> 00:03:43,880
Hoe dieper je in het model gaat, hoe complexer het verbanden worden die het legt tussen deze
54
00:03:43,880 --> 00:03:44,880
woorden.
55
00:03:44,880 --> 00:03:51,440
Daardoor kan het model niet alleen simpele zinnen begrijpen, maar ook complexe teksten
56
00:03:51,440 --> 00:03:53,080
die vol nuances zitten.
57
00:03:53,080 --> 00:03:59,560
Wat een LLM zo krachtig maakt is dat het context kan gebruiken om betere antwoorden te geven.
58
00:03:59,560 --> 00:04:05,920
Dit betekent dat het model onthoudt wat er eerder in een tekst of gesprek is gezegd en
59
00:04:05,920 --> 00:04:11,440
deze informatie gebruikt om relevantere en zinvollere antwoorden te geven.
60
00:04:11,440 --> 00:04:16,840
Als je bijvoorbeeld vraagt wie was de president van de VS in 2020?
61
00:04:16,840 --> 00:04:21,240
Hij vraagt later in het gesprek en wat deed hij tijdens de pandemie?
62
00:04:21,240 --> 00:04:25,000
Dan begrijpt het model dat hij verwijst naar dezelfde persoon.
63
00:04:25,000 --> 00:04:27,400
Donald Trump.
64
00:04:27,400 --> 00:04:33,600
Context is dus cruciaal omdat het ervoor zorgt dat de antwoorden die een large language model
65
00:04:33,600 --> 00:04:38,760
geeft niet alleen correct zijn, maar ook eerder passen bij de informatie die eerder in het
66
00:04:38,760 --> 00:04:39,760
gesprek is gegeven.
67
00:04:39,760 --> 00:04:45,840
Dit kan de LLM doen omdat het zowel met woorden in eerdere zinnen als met woorden in latere
68
00:04:45,840 --> 00:04:47,280
zinnen rekent.
69
00:04:47,280 --> 00:04:48,280
Rekent?
70
00:04:48,280 --> 00:04:51,080
Vraag je je misschien af?
71
00:04:51,080 --> 00:04:57,560
Ja, een LLM noemen we een taalmachine, maar is feitelijk een grote rekenmachine.
72
00:04:57,560 --> 00:05:04,360
Het zetten woorden die we invoeren in het large language model om in getallen.
73
00:05:04,360 --> 00:05:05,360
Hoe?
74
00:05:05,360 --> 00:05:10,800
Zo'n large language model heeft als het ware een woordenboek en het eerste woord krijgt
75
00:05:10,800 --> 00:05:15,320
het getal 1, het tweede woord het getal 2, enzovoort enzovoort.
76
00:05:15,320 --> 00:05:22,040
Die getallen gaan in een zogenaamd 'neuraal netwerk' en deze vormt de basis van LLMs.
77
00:05:22,040 --> 00:05:27,440
Een 'neuraal netwerk' bestaat uit lagen van knooppunten, neuronen worden die genoemd,
78
00:05:27,440 --> 00:05:32,360
die elk een stukje informatie verwerken door een berekening uit te voeren.
79
00:05:32,360 --> 00:05:38,120
De uitkomst van één laag wordt de invoer voor de volgende laag, waardoor de informatie
80
00:05:38,120 --> 00:05:40,720
steeds complexer en gedetailleerder wordt.
81
00:05:40,720 --> 00:05:47,280
Weet je nog, de game levels, waarbij je iedere level steeds complexer wordt?
82
00:05:47,280 --> 00:05:54,160
Maar hoe komt dan het volgende woord uit dat large language model?
83
00:05:54,160 --> 00:05:59,680
De berekeningen van de grote rekenmachine leiden tot een flinke lijst aan getallen.
84
00:05:59,680 --> 00:06:06,280
Misschien zou je verwachten dat er één getal uitkomt en dat dit getal dan omgekeerd opgezocht
85
00:06:06,280 --> 00:06:09,240
kan worden in het large language model woordenboek.
86
00:06:09,240 --> 00:06:11,480
Maar dat is het niet.
87
00:06:11,480 --> 00:06:16,280
Het neurale netwerk levert namelijk een lijst van mogelijke getallen.
88
00:06:16,280 --> 00:06:22,520
Zeg woorden op met een score van waarschijnlijkheid dat dit het volgende woord is.
89
00:06:22,520 --> 00:06:28,840
En daaruit kan het large language model een woord kiezen als het volgende woord en haalt
90
00:06:28,840 --> 00:06:32,920
het hele spel zich weer om te komen tot weer een volgend woord.
91
00:06:32,920 --> 00:06:38,480
En die lijst van mogelijke volgende woorden maakt het gebruik van large language models
92
00:06:38,480 --> 00:06:39,480
zo interessant.
93
00:06:39,480 --> 00:06:46,880
Want een fascinerend aspect van hoe een large language model variatie geeft in de volgende
94
00:06:46,880 --> 00:06:50,280
woordvoorspelling is met een temperatuurinstelling.
95
00:06:50,280 --> 00:06:55,960
En nee, dat heeft niets te maken met de temperatuur in de kamer, maar met een instelling in het
96
00:06:55,960 --> 00:07:01,720
model die bepaalt hoe, ook weer tussen aanhalingstekens, creatief of conservatief het model is bij
97
00:07:01,720 --> 00:07:03,040
het genereren van tekst.
98
00:07:03,040 --> 00:07:10,560
Temperatuur is een instelling die bepaalt hoe willekeurig het model mag zijn in het kiezen
99
00:07:10,560 --> 00:07:18,280
van het volgende woord uit die lijst van getallen woorden die we als uitvoer hadden.
100
00:07:18,280 --> 00:07:24,480
Een lagere temperatuur zorgt ervoor dat het model minder variatie biedt en vaker voor
101
00:07:24,480 --> 00:07:26,600
de meest waarschijnlijke woorden kiest.
102
00:07:26,600 --> 00:07:32,400
Stel, we hebben ze op volgorde van het meest waarschijnlijk naar het minst waarschijnlijk
103
00:07:32,400 --> 00:07:38,040
gesorteerd, dan kiest hij een beetje uit de bovenkant van de mogelijke woorden.
104
00:07:38,040 --> 00:07:42,680
En dit leidt dan tot voorspelbare en best wel consistente antwoorden.
105
00:07:42,680 --> 00:07:49,160
Dus stel je voor dat je wilt een tekst schrijven en je wilt ook op save spelen.
106
00:07:49,160 --> 00:07:56,320
Dan kies je dus voor een lagere temperatuur instelling zodat het voor de meest gebruikelijke
107
00:07:56,320 --> 00:07:57,320
woorden wordt gekozen.
108
00:07:57,320 --> 00:08:03,360
Aan de andere kant, als de temperatuur hoog is ingesteld, wordt het model meer wat mensen
109
00:08:03,360 --> 00:08:05,440
dan noemen creatief.
110
00:08:05,440 --> 00:08:11,680
Maar wat dat betekent is dat het dan kiest voor minder voorspelbare woorden.
111
00:08:11,680 --> 00:08:18,800
Dus het mag uit een veel grotere lijst, een veel grotere set moet ik zeggen, als we die
112
00:08:18,800 --> 00:08:25,000
van boven naar beneden hebben, mag hij nu in een keer nog veel lager gaan in de lijst van
113
00:08:25,000 --> 00:08:26,400
minder waarschijnlijke woorden.
114
00:08:26,400 --> 00:08:32,880
Dat kan leiden tot meer gevarieerde en soms juist onverwachte antwoorden.
115
00:08:32,880 --> 00:08:40,720
Dus de temperatuurinstelling, welke je kiest, hangt af van het doel van je interactie.
116
00:08:40,720 --> 00:08:45,240
Als je betrouwbare feitelijke informatie wilt, zou je lager geschikt zijn.
117
00:08:45,240 --> 00:08:50,720
Maar als je juist op zoek bent naar creatieve ideeën of unieke teksten, kan een hogere
118
00:08:50,720 --> 00:08:52,400
temperatuur nuttig zijn.
119
00:08:52,400 --> 00:09:00,240
Met deze kennis in het achterhoofd kunnen we vragen nu beter beantwoorden, zoals; zijn
120
00:09:00,240 --> 00:09:01,880
large language models slim?
121
00:09:01,880 --> 00:09:04,440
Wat zijn de beperkingen van large language models?
122
00:09:04,440 --> 00:09:06,120
En waarom is dat zo?
123
00:09:06,120 --> 00:09:11,160
Want je hebt misschien wel eens gehoord dat mensen zeggen dat AI's zoals ChatGPT
124
00:09:11,160 --> 00:09:12,160
slim zijn.
125
00:09:12,160 --> 00:09:13,840
Maar is dat ook echt zo?
126
00:09:13,840 --> 00:09:15,800
Hmm, ja, nee.
127
00:09:15,800 --> 00:09:19,960
Slim zijn betekent vaak dat je zelfstandig kunt nadenken en beslissingen kunt nemen.
128
00:09:19,960 --> 00:09:26,040
Maar een LLM is zoals we gezien hebben, een krachtige machine die heel snel en efficiënt
129
00:09:26,040 --> 00:09:27,920
kan rekenen en patronen kan erkennen.
130
00:09:27,920 --> 00:09:34,520
Het is een tool die goed is in het voorspellen van wat een goede reactie zou kunnen zijn
131
00:09:34,520 --> 00:09:37,000
op basis van alles wat het heeft geleerd.
132
00:09:37,000 --> 00:09:41,040
Een LLM heeft geen eigen wil, geen eigen intentie.
133
00:09:41,040 --> 00:09:46,400
Het probeert simpelweg de meest waarschijnlijke volgende woorden te voorspellen.
134
00:09:46,400 --> 00:09:49,880
En ze hebben natuurlijk ook beperkingen.
135
00:09:49,880 --> 00:09:54,480
Een probleem is dat het model niet altijd feitelijk juiste informatie geeft.
136
00:09:54,480 --> 00:09:58,120
Maar met wat we tot nu toe gezien hebben is dit best wel logisch toch?
137
00:09:58,120 --> 00:10:00,960
Het rekent de kans van een volgend woord uit.
138
00:10:00,960 --> 00:10:05,320
En afhankelijk van de instelling kan het kiezen voor minder waarschijnlijke woorden.
139
00:10:05,320 --> 00:10:09,160
Het is een opeenstapeling van kans op kans op kans.
140
00:10:09,160 --> 00:10:14,040
Zinnen die eruit komen zijn dan grammaticaal correct, alleen niet feitelijk juist.
141
00:10:14,040 --> 00:10:21,160
Het neurale netwerk heeft gerekend met de context, maar begrijpt deze niet.
142
00:10:21,160 --> 00:10:29,880
Samenvattend kunnen we zeggen dat LLM's zoals ChatGPT, echt krachtige technologie, die
143
00:10:29,880 --> 00:10:33,080
op een in die zin slimme manier met taal omgaan.
144
00:10:33,080 --> 00:10:39,640
Ze maken gebruik van complexe architecturen zoals transformers, een neurale netwerker,
145
00:10:39,640 --> 00:10:44,880
om zinnen te begrijpen, te genereren en aan te passen op basis van context.
146
00:10:44,880 --> 00:10:52,840
Waarbij de temperatuurinstelling een belangrijke rol speelt in hoe conservatief of creatief
147
00:10:52,840 --> 00:10:55,120
het model is in zijn antwoorden.
148
00:10:55,120 --> 00:10:57,520
Of het kiezen van het volgende woord.
149
00:10:57,520 --> 00:11:02,880
En hoewel er nog steeds uitdagingen en beperkingen zijn, biedt deze technologie natuurlijk enorme
150
00:11:02,880 --> 00:11:04,800
mogelijkheden voor allerlei toepassingen.
151
00:11:04,800 --> 00:11:06,680
Maar dat hoef ik de meeste mensen niet meer te vertellen.
152
00:11:06,680 --> 00:11:13,880
Bedankt weer voor het luisteren naar deze aflevering van AIToday Live.
153
00:11:13,880 --> 00:11:21,440
Als je meer wilt weten over achtergronden, over de podcast en wat er aan gaat komen,
154
00:11:21,440 --> 00:11:25,960
dan kun je je aanmelden voor een hele leuke nieuwsbrief die maandelijks uitkomt.
155
00:11:25,960 --> 00:11:27,600
Dank je wel weer voor het luisteren!
156
00:11:27,600 --> 00:11:48,000
[Muziek]
