1
00:00:00,001 --> 00:00:07,000
Hoi, welkom bij AIToday Live, de Nederlandse podcast over AI.

2
00:00:07,000 --> 00:00:09,320
Met vandaag de korte aflevering.

3
00:00:09,320 --> 00:00:17,320
En of je nu een zakelijke professional, IT-specialist of AI-enthousiasteling bent, wij bieden waardevolle

4
00:00:17,320 --> 00:00:21,480
inzichten en duidelijke uitleg over de nieuwste ontwikkelingen en toepassingen in de wereld

5
00:00:21,480 --> 00:00:22,480
van AI.

6
00:00:22,480 --> 00:00:26,080
Er is iets geweldigs aan de hand.

7
00:00:26,080 --> 00:00:28,320
En daar wil ik het vandaag met je over hebben.

8
00:00:28,320 --> 00:00:34,320
OpenAI heeft een nieuw taalmodel uitgebracht, GPT-4o-mini.

9
00:00:34,320 --> 00:00:37,480
Hele mond vol, kan er ook niks aan doen.

10
00:00:37,480 --> 00:00:42,520
Die taalmodellen krijgen steeds excentriekere namen.

11
00:00:42,520 --> 00:00:48,320
Maar de naam Mini, GPT-4o Mini, is een beetje misleidend.

12
00:00:48,320 --> 00:00:55,920
Want hoewel het een kleiner model is dan alles wat OpenAI tot nu toe heeft uitgebracht, is

13
00:00:55,920 --> 00:00:58,560
het ongelooflijk groot in prestaties.

14
00:00:58,560 --> 00:01:04,320
Let wel op, want dit krachtige model is nog niet voor iedereen te gebruiken vanuit ChatGPT,

15
00:01:04,320 --> 00:01:11,360
maar wel als je met programmatuur GPT aanstuurt met zogenaamde API's, programmeerinterfaces.

16
00:01:11,360 --> 00:01:17,920
Via de gebruikersinterface die je misschien gebruikt, komt het later in ChatGPT beschikbaar.

17
00:01:17,920 --> 00:01:22,880
En dan geldt hetzelfde voor wat ik je nu ga vertellen.

18
00:01:22,880 --> 00:01:26,800
Want waarom ben ik nu zo blij met dit model?

19
00:01:26,800 --> 00:01:34,120
Het is niet alleen de kracht, maar vooral de snelheid en de kosten die indruk maken.

20
00:01:34,120 --> 00:01:37,240
Dit model is razendsnel.

21
00:01:37,240 --> 00:01:42,200
En met snel bedoel ik de tijd die het kost om je prompt te versturen, te verwerken tot

22
00:01:42,200 --> 00:01:44,360
een antwoord en deze weer terug te ontvangen.

23
00:01:44,360 --> 00:01:48,600
Soms duurt het minder dan een seconde voor je antwoord hebt.

24
00:01:48,600 --> 00:01:55,560
Ik weet nog, in het begin, toen de eerste modellen uitkwamen, dan moest je echt wel

25
00:01:55,560 --> 00:02:00,600
seconden, dan had je het over misschien wel 10, 12, 15 seconden wachten voordat je een

26
00:02:00,600 --> 00:02:01,920
antwoord hebt nu.

27
00:02:01,920 --> 00:02:02,920
Wat?

28
00:02:02,920 --> 00:02:05,520
In een mum van de tijd heb je je antwoord.

29
00:02:05,520 --> 00:02:12,280
En zoals je wellicht weet, gebruiken we voor de podcast ook taalmodellen om transcripties

30
00:02:12,280 --> 00:02:13,280
om te zetten.

31
00:02:13,280 --> 00:02:19,000
Zo halen wij door gasten genoemde bronnen als boeken, artikelen, websites en meer geautomatiseerd

32
00:02:19,000 --> 00:02:20,000
uit de transcriptie.

33
00:02:20,000 --> 00:02:27,280
In een aflevering van 45 minuten aan tekst jaagt dit mini-model er in 1,5 seconde doorheen.

34
00:02:27,280 --> 00:02:29,280
Van begin tot resultaat.

35
00:02:29,280 --> 00:02:30,840
Gaaf toch?

36
00:02:30,840 --> 00:02:34,600
Deze snelheid opent een deur naar nieuwe mogelijkheden.

37
00:02:34,600 --> 00:02:36,120
Dan de kosten.

38
00:02:36,120 --> 00:02:38,800
Die zijn bijna onwerkelijk wat mij betreft.

39
00:02:38,800 --> 00:02:47,640
15 dollarcent per 1 miljoen input tokens en 60 dollarcent per miljoen output tokens.

40
00:02:47,640 --> 00:02:52,680
En die input en output tokens laten we het voor het gemak even gewoon woorden noemen.

41
00:02:52,680 --> 00:03:08,400
Dus dat betekent dat je 0,0000015 cent per woord dat je erin stopt.

42
00:03:08,400 --> 00:03:09,400
Onwaarschijnlijk.

43
00:03:09,400 --> 00:03:18,080
Als je bedenkt dat OpenAI met GPT-4 Turbo begon met 60 dollar per miljoen output tokens.

44
00:03:18,080 --> 00:03:23,000
Dus die prijsverlaging binnen een jaar wat mij betreft onwaarschijnlijk.

45
00:03:23,000 --> 00:03:27,560
En dat betekent dat business cases makkelijker te maken zijn.

46
00:03:27,560 --> 00:03:33,400
En omdat die business cases zo veranderen moet je ook heel goed gaan kijken tussen het verschil

47
00:03:33,400 --> 00:03:37,960
tussen open source modellen en dit soort cloud initiatieven van OpenAI.

48
00:03:37,960 --> 00:03:43,840
Open source is natuurlijk een ontwikkeling die best wel heel groot is.

49
00:03:43,840 --> 00:03:48,400
Waarbij je je modellen ook op je eigen hardware kan gaan draaien.

50
00:03:48,400 --> 00:03:52,760
En in eerste instantie was dat ook gewoon goedkoper bijvoorbeeld.

51
00:03:52,760 --> 00:03:58,400
Maar nu moet je heel goed gaan nadenken over je moet je hardware aanschaffen, je hebt de

52
00:03:58,400 --> 00:03:59,400
onderhoud erop.

53
00:03:59,400 --> 00:04:02,040
Dus die afweging die gaat iets anders worden.

54
00:04:02,040 --> 00:04:07,200
Ik zeg niet dat je het een moet gebruiken ten opzichte van het ander.

55
00:04:07,200 --> 00:04:10,000
Maar qua kosten is er echt iets veranderd.

56
00:04:10,000 --> 00:04:13,880
En uiteraard kent open source andere voordelen dan alleen maar kosten.

57
00:04:13,880 --> 00:04:16,960
Maar goed, die afweging is aan jezelf.

58
00:04:16,960 --> 00:04:26,080
Nou voor de podcast gebruiken wij zo'n 15+ prompts die ik de afgelopen week uitvoerig

59
00:04:26,080 --> 00:04:30,440
heb getest en omgezet naar dit nieuwste GPT-4o-mini model.

60
00:04:30,440 --> 00:04:33,560
En gelukkig hebben wij daar automatiseerde testen voor.

61
00:04:33,560 --> 00:04:40,080
Dus we kunnen echt kijken of de prompts tegen nieuwe modellen aanhouden of de uitkomsten

62
00:04:40,080 --> 00:04:42,000
nog semantisch hetzelfde zijn.

63
00:04:42,000 --> 00:04:47,440
En weet je hoeveel prompts ik niet kon overzetten van dat grote…

64
00:04:47,440 --> 00:04:50,880
Ik gebruikte trouwens daar nog GPT-4 turbo voor.

65
00:04:50,880 --> 00:04:55,440
Van dat hele grote model nu naar de zogenaamde mini model.

66
00:04:55,440 --> 00:04:58,040
Weet je hoeveel prompts ik niet kon overzetten?

67
00:04:58,040 --> 00:04:59,040
Nul.

68
00:04:59,040 --> 00:05:00,880
Allemaal konden ze over.

69
00:05:00,880 --> 00:05:02,880
Alles goedkoper en sneller.

70
00:05:02,880 --> 00:05:09,120
Is het wel belangrijk om te benadrukken dat het beste model het model is dat het ook het

71
00:05:09,120 --> 00:05:10,520
beste bij je past.

72
00:05:10,520 --> 00:05:18,240
Het is de snelheid en laag kosten van GPT-4o-mini maken het aantrekkelijk voor veel toepassingen.

73
00:05:18,240 --> 00:05:23,200
Maar het blijft essentieel om de juiste balans te vinden tussen open source oplossingen,

74
00:05:23,200 --> 00:05:28,920
commerciële alternatieven en daarmee rekening houden met kosten, onderhoud en de specifieke

75
00:05:28,920 --> 00:05:30,280
voordelen van beide opties.

76
00:05:30,280 --> 00:05:38,520
Met de introductie van GPT-4o-mini zien we wel een trend van steeds krachtigere en betaalbare

77
00:05:38,520 --> 00:05:39,520
AI-modellen.

78
00:05:39,520 --> 00:05:44,280
Dit zal de toegankelijkheid en implementatie van AI in verschillende sectoren juist verder

79
00:05:44,280 --> 00:05:45,280
stimuleren.

80
00:05:45,280 --> 00:05:54,080
De snelheid en kostefficiëntie van GPT-4o-mini kunnen nieuwe deuren openen voor innovaties,

81
00:05:54,080 --> 00:05:58,960
denk ik juist ook in real-time data-analyse, automatisering en nog veel meer.

82
00:05:58,960 --> 00:06:01,600
Dus dat real-time gaan we heel dichtbij komen.

83
00:06:01,600 --> 00:06:08,520
Zoals je hoort, ik ben ontzettend enthousiast over de nieuwe mogelijkheden die GPT-4o-mini

84
00:06:08,520 --> 00:06:13,640
biedt en kijk uit naar de verder ontwikkelingen en toepassingen waar het naartoe gaat.

85
00:06:13,640 --> 00:06:18,680
Voor degene die werken met AI en op zoek zijn naar een krachtig, snel en kostefficiënt

86
00:06:18,680 --> 00:06:19,680
model.

87
00:06:19,680 --> 00:06:24,840
GPT-4o-mini is het overwegen waard!

88
00:06:24,840 --> 00:06:27,160
Dank je wel weer voor het luisteren naar AI-today live.

89
00:06:27,160 --> 00:06:32,160
Meld je aan voor onze maandelijkse nieuwsbrief voor het laatste nieuws en exclusieve inzichten

90
00:06:32,160 --> 00:06:33,160
in de wereld van AI.

91
00:06:33,160 --> 00:06:35,000
De link vind je in de shownote.

92
00:06:35,000 --> 00:06:36,160
Tot de volgende keer!

93
00:06:36,160 --> 00:06:42,160
[Muziek]