1
00:00:00,001 --> 00:00:05,940
Voordat we beginnen even dit. De Drieluik behandelt een AI-experiment canvas die we
2
00:00:05,940 --> 00:00:12,440
hebben ontwikkeld voor het opzetten van AI-experimenten. En die kun je namelijk gewoon gratis downloaden.
3
00:00:12,440 --> 00:00:18,040
We hebben geen gegevens van je nodig. De link staat in de show notes. Veel plezier ermee!
4
00:00:18,040 --> 00:00:24,680
Hey, goed dat je weer luistert naar een nieuwe aflevering van de AIToday live. Met vandaag
5
00:00:24,680 --> 00:00:32,400
het tweede deel uit de Drieluik over hoe zet je nou een AI-experiment op. Heb je deel 1
6
00:00:32,400 --> 00:00:38,660
nog niet geluisterd? Doe dat dan even. Daarin leg ik natuurlijk uit dat je begint met een
7
00:00:38,660 --> 00:00:43,400
heel duidelijk doelstellen. Maar even in het heel kort om misschien even je geheugen op
8
00:00:43,400 --> 00:00:50,600
te frissen. Waar waren we mee bezig? Een openbare case van een universiteit. Die kreeg 3000
9
00:00:50,600 --> 00:00:59,040
mailtjes binnen met de vraag over toelatingseisen van studenten. Wat zij nodig hebben om toegelaten
10
00:00:59,040 --> 00:01:06,680
dus te worden op de universiteit. We hadden daar een rekensommetje van gemaakt. Zou je
11
00:01:06,680 --> 00:01:16,640
alle mail automatiseren met kunstmatige intelligentie dan zou je potentieel… Nee, daar zitten
12
00:01:16,640 --> 00:01:22,400
kosten aan verbonden, zo zou ik het eigenlijk moeten zeggen, van 100.000 euro per jaar om
13
00:01:22,400 --> 00:01:29,800
die mailtjes te beantwoorden. Nou, ervan uitgaand dat zo'n systeem een aantal jaren meegaat,
14
00:01:29,800 --> 00:01:35,920
laten we 5 jaar pakken. Dat als we straks een business case zouden willen maken, zou je
15
00:01:35,920 --> 00:01:45,520
dus potentieel 5 keer 100.000 euro aan kosten aan de kostenkant hebben. Goed, we hadden
16
00:01:45,520 --> 00:01:52,080
die case. 13.000 mail, hadden we gezegd. Er zijn verschillende mogelijke hypothese voor
17
00:01:52,080 --> 00:01:55,840
een case als deze. Je zou kunnen beginnen met misschien een betere zoekfunctie op je
18
00:01:55,840 --> 00:02:01,760
website als dat dan afvalt. Je zou kunnen kiezen voor templates waarbij er nog steeds
19
00:02:01,760 --> 00:02:09,720
handwerk is maar misschien je de medewerkers sneller kan laten werken. Maar goed, de vraag
20
00:02:09,720 --> 00:02:17,000
was een chatbot. Dus laten we die gaan oppakken. Dus we zeiden van een chatbot. Maar we hadden
21
00:02:17,000 --> 00:02:24,520
de hypothese nog niet helemaal exact uitgewerkt en die hypothese zou kunnen zijn voor een
22
00:02:24,520 --> 00:02:31,120
chatbot om dan te zeggen, want die hypothese is een zin met een uitroepteken erachter,
23
00:02:31,120 --> 00:02:37,840
we zouden kunnen zeggen "een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen
24
00:02:37,840 --> 00:02:49,680
verlaagt het aantal mail die wij moeten beantwoorden met 70% voor het eind van het jaar." Uitroepteken.
25
00:02:49,680 --> 00:02:57,080
Waarom is het nou zo belangrijk dat je zo'n hypothese heel duidelijk stelt? Dus je zegt
26
00:02:57,080 --> 00:03:05,200
waarmee denk je een verandering te gaan bereiken? Welke verandering zou je willen? Hoe weten
27
00:03:05,200 --> 00:03:11,200
we dat we er zijn en in welke periode zou je dat willen doen? Nou dat zit erin toch?
28
00:03:11,200 --> 00:03:18,240
Dus een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal mail.
29
00:03:18,240 --> 00:03:26,400
Dat is eigenlijk de, laten we zeggen de wat en de hoe, met 80% dus je wil weten voor
30
00:03:26,400 --> 00:03:33,200
wanneer je klaar bent en wanneer het een succes is, laat ik het zo zeggen, voor eind van dit
31
00:03:33,200 --> 00:03:36,400
jaar. Dus je hebt ook nog eens een tijdseenheid erop zitten.
32
00:03:36,400 --> 00:03:42,280
Nou wat is nou de volgende stap wat je gaat doen voor een experiment? Want die 80% dat
33
00:03:42,280 --> 00:03:46,800
klinkt natuurlijk heel gaaf, maar als je een experiment opzet wil je dat in een hele kleine
34
00:03:46,800 --> 00:03:54,520
periode, het liefst 1 tot 2 werkweken, wil je gaan gebruiken om deze hypothese te valideren
35
00:03:54,520 --> 00:04:03,080
of te invalideren. Waarbij invalideren betekent dat je laat zien dat het niet kan. Dat is
36
00:04:03,080 --> 00:04:10,840
uiteindelijk de vraag. Gaat het lukken? Ja of nee? Maar dat betekent dat die 80% die ga
37
00:04:10,840 --> 00:04:19,200
je natuurlijk nooit halen in die 1 of 2 weken. Dus je gaat eerst bepalen waar ga je op meten.
38
00:04:19,200 --> 00:04:24,760
Nou in dit geval is dat een hele eenvoudige. Het verlagen van het aantal mail. Soms heb
39
00:04:24,760 --> 00:04:31,160
je een indirectie nodig. Stel je zou zeggen van ja wij willen graag de NPS scoren wat
40
00:04:31,160 --> 00:04:37,280
gaat over klanttevredenheid zouden we verhogen. Nou daar zit nooit een directe relatie tussen.
41
00:04:37,280 --> 00:04:43,960
Dus dan heb je vaak een indirectie nodig voor wat je gaat meten. Maar goed, we hebben hier
42
00:04:43,960 --> 00:04:49,880
een hele duidelijke meting. Het aantal mails moet verlaagd worden. Maar goed, dus geen
43
00:04:49,880 --> 00:04:57,960
80%. Dus wat je nu gaat doen is nadenken over ja wat zouden we nou minimaal moeten halen
44
00:04:57,960 --> 00:05:05,880
in zo'n experiment. Waarbij we zeggen oh ja maar dan is die ook gevalideerd. Maar weten
45
00:05:05,880 --> 00:05:12,400
we ook dat we daar meer tijd, geld en energie in willen steken. En wat is dan het minimale
46
00:05:12,400 --> 00:05:19,720
niveau wat je zou willen halen in die zeg 2 weken. Waarbij je zegt van oh ja maar dan
47
00:05:19,720 --> 00:05:28,880
is het experiment ook daadwerkelijk geslaagd. Is dat dan 60% en als dat dan 59% is, betekent
48
00:05:28,880 --> 00:05:36,000
dat het dan niet geslaagd is. Is dat 40% is dat 30%? Ja dat hangt natuurlijk van je use
49
00:05:36,000 --> 00:05:41,840
case af. Ik zou bijvoorbeeld in het geval hiervan zeggen van nou stel dat je komt zegmaar
50
00:05:41,840 --> 00:05:50,760
tot laten we zeggen 30-40% na 2 weken. Dat je al een heel groot gedeelte van dit soort
51
00:05:50,760 --> 00:05:56,680
mail zou kunnen afhandelen. Dan zou je je al kunnen gaan bouwen aan een business case.
52
00:05:56,680 --> 00:06:03,080
Nou die business case die is natuurlijk ook wel heel belangrijk. Want we hebben het de
53
00:06:03,080 --> 00:06:10,120
hele tijd over die 100.000 per jaar, ik dat een keer 5, 500.000 euro. Dan zou je denken
54
00:06:10,120 --> 00:06:15,240
oh dat is een geweldige besparing. Maar je hebt natuurlijk ook gewoon de kosten voor
55
00:06:15,240 --> 00:06:20,880
het bouwen. Kosten voor het onderhouden van het systeem. Want veel mensen denken ja maar
56
00:06:20,880 --> 00:06:26,800
AI is zelflerend dus die kan dat zelf in de gaten houden. Helaas niet. Dus je moet de
57
00:06:26,800 --> 00:06:31,720
hele tijd in de gaten houden. Blijft een chatbot de goede antwoorden geven? Moeten we hem
58
00:06:31,720 --> 00:06:39,120
bijsturen? Moeten we meer voorbeelden geven? Krijgen we hele andere type vragen omdat
59
00:06:39,120 --> 00:06:46,000
juist die bot de standaardvragen allemaal kan beantwoorden. Misschien komen er juist
60
00:06:46,000 --> 00:06:53,000
wel meer vragen omdat het nu makkelijker is om vragen te stellen. Dus zo moet je dat allemaal
61
00:06:53,000 --> 00:06:57,760
gaan bijhouden. Dus er zitten ze ook heel veel operationele kosten aan. Maar ook operationele
62
00:06:57,760 --> 00:07:03,720
kosten in de zin van je spreekt natuurlijk een taalmodel aan. Dus waarschijnlijk een
63
00:07:03,720 --> 00:07:10,760
leverancier, OpenAI, Microsoft, Amazon, Entropic. Ja dat kost ook geld. Dus in die periode van
64
00:07:10,760 --> 00:07:16,920
het experiment ga je ook kijken van hoeveel kost nou uiteindelijk ook die invoering en
65
00:07:16,920 --> 00:07:23,280
uitvoering van een traject experiment zoals dit. En daardoor krijg je een veel betere
66
00:07:23,280 --> 00:07:32,160
heldere kijk op wat er nodig is. Dit is deel 2. We zijn nu gekomen van we hebben een doel.
67
00:07:32,160 --> 00:07:38,640
We hebben een duidelijke hypothese en zo direct hebben we in ieder geval vast liggen van wanneer
68
00:07:38,640 --> 00:07:49,600
weten we of het experiment gelukt is, geslaagd is. En we hebben al nagedacht over die kostenkant.
69
00:07:49,600 --> 00:07:54,560
Want die kostenkant is toch wel heel belangrijk om uiteindelijk je business case op te bouwen.
70
00:07:54,560 --> 00:08:00,440
Nou wat gaan we nou doen in deel 3? Deel 3 gaan we eigenlijk de laatste stap maken is
71
00:08:00,440 --> 00:08:08,920
dat we na gaan denken over hoe we uitvoering gaan geven aan dit experiment. Zorg dat je
72
00:08:08,920 --> 00:08:14,680
je abonneert via je favoriete podcast app want dan krijg je namelijk automatisch een seintje
73
00:08:14,680 --> 00:08:19,400
als ook deel 3 verschijnt. Dank je wel weer voor het luisteren. Tot de volgende keer!
74
00:08:19,400 --> 00:08:21,400
[Muziek]
