1
00:00:02,399 --> 00:00:06,080
Hoi, leuk dat je luistert naar een korte aflevering van AIToday Live.
2
00:00:06,080 --> 00:00:09,200
Ik ben Joop Snijder, Head of AI bij Info Support.
3
00:00:09,519 --> 00:00:13,120
We gaan het vandaag hebben over Human-in-the-loop.
4
00:00:13,359 --> 00:00:16,079
Misschien iets anders dan dat je verwacht.
5
00:00:16,719 --> 00:00:21,679
Kijk, tweehonderd keer heb je op goedkeuren gedrukt.
6
00:00:21,679 --> 00:00:25,280
Tweehonderd keer klopt het voorstel dat je voorgelegd kreeg.
7
00:00:25,359 --> 00:00:28,399
Wat doe je dan de tweehonderdeneerste keer?
8
00:00:28,640 --> 00:00:30,880
Je drukt. Natuurlijk druk je.
9
00:00:31,839 --> 00:00:42,800
Misschien gaat het bij jou over facturen die automatisch worden gecodeerd of conceptantwoorden aan klanten over codewijzigingen die een agent voorstelt.
10
00:00:42,800 --> 00:00:45,200
Het patroon is overal hetzelfde.
11
00:00:45,359 --> 00:00:49,760
Een systeem doet het voorwerk en een mens zet er zijn naam onder.
12
00:00:50,000 --> 00:00:53,200
Vandaag gaat het over die tweehonderdeneerste keer.
13
00:00:53,759 --> 00:00:59,200
Over de zin die ik in vrijwel elk AI-beleid onder ogen krijg.
14
00:00:59,200 --> 00:01:03,600
Er beoordeelt altijd een mens het voorstel voordat het definitief wordt.
15
00:01:03,600 --> 00:01:07,519
Human-in-the-loop, menselijk toezicht, de tweede handtekening.
16
00:01:07,760 --> 00:01:11,200
De woorden verschillen per organisatie, de gedachte is steeds hetzelfde.
17
00:01:11,200 --> 00:01:13,439
De techniek stelt voor, een mens beslist.
18
00:01:13,439 --> 00:01:16,959
En die zin stelt directies gerust.
19
00:01:17,120 --> 00:01:19,679
Toezichthouders ook.
20
00:01:19,680 --> 00:01:24,640
En ik snap dat, want het klinkt als een rem waar je altijd op kunt trappen.
21
00:01:24,960 --> 00:01:32,239
Maar mijn stelling van vandaag is misschien wat ongemakkelijker, want toezicht dat je niet inricht verdwijnt uiteindelijk vanzelf.
22
00:01:33,359 --> 00:01:35,119
Oplettendheid slijt.
23
00:01:35,120 --> 00:01:37,039
Mensen zijn goed in van alles.
24
00:01:38,000 --> 00:01:44,319
In één ding zijn we uiteindelijk ronduit slecht: eindeloos opletten terwijl er bijna nooit iets misgaat.
25
00:01:44,320 --> 00:01:48,959
Wie wel eens een tweede handtekening heeft gezet onder andermans werk, herkent dit.
26
00:01:48,960 --> 00:01:56,640
De eerste week lees je misschien alles, daarna lees je de kop en de conclusie, nog wat later herken je het formaat, klopt het patroon, en teken je.
27
00:01:56,799 --> 00:01:58,159
Dat is geen luiheid.
28
00:01:58,159 --> 00:02:02,319
Dat is wat er met aandacht gebeurt, wanneer aandacht bijna nooit iets oplevert.
29
00:02:02,320 --> 00:02:07,120
Je brein leert razendsnel dat controleren zonde van de tijd is.
30
00:02:07,120 --> 00:02:09,120
Want het klopt toch altijd.
31
00:02:09,439 --> 00:02:14,560
Met AI-voorstellen gaat dat sneller dan met menselijk werk.
32
00:02:14,560 --> 00:02:17,600
Menselijke fouten zijn rommelig en verschillen van vorm.
33
00:02:17,599 --> 00:02:21,120
Iemand is moe, wordt gestoord, slaat een stap over.
34
00:02:21,439 --> 00:02:25,280
Maar AI maakt fouten die verzorgd zijn opgeschreven.
35
00:02:25,280 --> 00:02:29,199
Een verkeerd bedrag staat in dezelfde nette zin als een goed bedrag.
36
00:02:31,120 --> 00:02:39,680
In aflevering S07E64 ging ik in op de vraag of een fout van AI erger is dan een fout van een mens.
37
00:02:40,000 --> 00:02:43,680
Daar kwam ook automatiseringsbias langs.
38
00:02:43,840 --> 00:02:49,039
De neiging om het advies van een systeem over te nemen zonder het na te lopen.
39
00:02:49,039 --> 00:02:54,400
Het bekendste voorbeeld blijft de advocaat die rechtszaken aanhalen die nooit hadden bestaan.
40
00:02:54,879 --> 00:02:58,400
Wat organisaties hiertegen doen, is meestal een zin toevoegen.
41
00:02:58,400 --> 00:03:00,159
Controleer de uitvoer altijd.
42
00:03:00,159 --> 00:03:03,039
Gebruik het antwoord niet zonder verificatie.
43
00:03:03,200 --> 00:03:08,719
Een waarschuwing verplaatst de verantwoordelijkheid, maar verandert weinig aan het gedrag dat je wilt bijsturen.
44
00:03:08,719 --> 00:03:11,520
Zeker niet bij de tweehonderdeneerste keer.
45
00:03:12,159 --> 00:03:17,280
Er is een vraag waarmee je binnen vijf minuten weet hoe het bij jou staat.
46
00:03:17,280 --> 00:03:21,840
Namelijk: hoe vaak keurt jouw beoordelaar een voorstel af?
47
00:03:22,080 --> 00:03:25,599
Niet op gevoel, maar als percentage over de afgelopen maand.
48
00:03:25,920 --> 00:03:28,400
Bij nul procent zijn er twee mogelijkheden.
49
00:03:28,400 --> 00:03:32,320
Of het systeem is uitzonderlijk goed, of er wordt niet gecontroleerd.
50
00:03:32,400 --> 00:03:35,840
Je kunt het verschil niet vaststellen. Dat is precies het probleem.
51
00:03:35,840 --> 00:03:40,319
Niet dat het misgaat, maar dat je niet weet of het goed gaat.
52
00:03:41,840 --> 00:03:51,920
In aflevering S08E78 besprak ik het Agentic Engineering-onderzoek van Info Support onder driehonderddertig Nederlandse IT-beslissers.
53
00:03:51,920 --> 00:03:58,640
En ruim tachtig procent van de organisaties zegt dat zij AI gebruiken in het softwareontwikkelproces.
54
00:03:58,879 --> 00:04:04,639
Maar bij minder dan tien procent is AI-governance formeel vastgelegd.
55
00:04:05,039 --> 00:04:11,680
Een derde gaf aan dat zij actief toezicht hebben met logging en audits.
56
00:04:12,000 --> 00:04:15,680
Eigenlijk is het dus beleid op papier met weinig eronder.
57
00:04:16,000 --> 00:04:22,480
En voordat je nu overal een strengere controle bovenhangt, dat werkt averechts.
58
00:04:22,480 --> 00:04:27,600
Toezicht is een schaars goed, net als dus de aandacht van de mensen, zoals we hebben gezien.
59
00:04:27,840 --> 00:04:35,600
En wie het gelijkmatig uitsmeert over alles wat een AI-systeem oplevert, houdt dus uiteindelijk gewoon een heel dun laagje over.
60
00:04:35,600 --> 00:04:39,920
De vraag is dus waar een fout echt pijn doet.
61
00:04:40,720 --> 00:04:49,040
Een verkeerd samengevatte vergadernotitie wordt binnen een dag rechtgezet door iemand die erbij was, of niet, en dan was hij helemaal niet belangrijk.
62
00:04:49,280 --> 00:04:58,320
Een afgewezen aanvraag, een verkeerde prijs richting een klant, of een gemiste signalering in een dossier, komt vaak pas maanden later boven water.
63
00:04:58,319 --> 00:05:02,280
En wanneer je het herstellen eigenlijk niet meer zo makkelijk is.
64
00:05:06,680 --> 00:05:12,920
Datzelfde geldt voor besluiten die persoonlijk uitpakken voor iemand. Daar hoort menselijke beoordeling die die naam waardig is, met de tijd en aandacht erbij.
65
00:05:12,920 --> 00:05:17,159
Bij de rest mag je accepteren dat er af en toe toch wel iets doorheen glipt.
66
00:05:18,360 --> 00:05:28,600
Hoeveel en snel te herstellen is, dat onderscheid maken, dat is eigenlijk werk waar we mee bezig moeten zijn.
67
00:05:28,600 --> 00:05:35,399
Het is het enige wat overeind blijft wanneer aantallen uiteindelijk toenemen.
68
00:05:36,040 --> 00:05:38,360
Vier dingen maken verschil.
69
00:05:39,879 --> 00:05:41,480
Dit is wat je kunt doen.
70
00:05:41,480 --> 00:05:45,800
Het eerste is namelijk een soort van brandoefening.
71
00:05:45,800 --> 00:05:54,439
Zet daar bewust fouten tussen, voer regelmatig een voorstel in dat aantoonbaar niet deugt, en houdt bij of het wordt tegengehouden.
72
00:05:54,759 --> 00:06:00,759
Een brandoefening is geen wantrouwen richting je collega's, het is de enige manier om te weten of de vluchtroute werkt.
73
00:06:00,759 --> 00:06:04,199
Zonder zo'n oefening meet je de kwaliteit van het systeem.
74
00:06:04,199 --> 00:06:06,840
En nooit die van het toezicht.
75
00:06:07,159 --> 00:06:08,680
Tweede is tempo.
76
00:06:09,000 --> 00:06:13,319
Wie tachtig voorstellen per uur moet beoordelen, beoordeelt niet, die klikt.
77
00:06:13,720 --> 00:06:18,920
Meer controlepunten toevoegen maakt dat erger: meer stapels, minder aandacht per stuk.
78
00:06:18,920 --> 00:06:26,599
Beter is minder controle op beter gekozen plekken, met de tijd erbij die dat werk dan ook vraagt.
79
00:06:26,600 --> 00:06:30,280
Dus reken eens uit hoeveel tijd er per voorstel overblijft.
80
00:06:30,279 --> 00:06:34,680
Het aantal voorstellen per dag, afgezet tegen de uren die iemand daarvoor krijgt.
81
00:06:34,680 --> 00:06:39,960
Wanneer dat minder dan een minuut uitkomt, bij werk dat lezen en wegen vraagt, dan weet je genoeg.
82
00:06:41,240 --> 00:06:43,560
Het derde gaat over durven.
83
00:06:43,560 --> 00:06:46,359
In de meeste organisaties kost afkeuren iets.
84
00:06:46,439 --> 00:06:52,840
Je vertraagt het proces, je legt uit waarom, je krijgt de vraag of het niet wat sneller kan. Meegaan kost niets.
85
00:06:52,840 --> 00:06:55,240
Want bij een fout was het het systeem.
86
00:06:55,240 --> 00:07:00,279
En zolang die verhouding zo ligt, is meegaan voor je medewerker gewoon een verstandige keuze.
87
00:07:00,279 --> 00:07:04,759
Reken mensen dus af op gevonden fouten en niet op doorlooptijd.
88
00:07:04,759 --> 00:07:10,600
Wie nooit iets afkeurt, hoort een lastig gesprek te krijgen en niet wie er wel iets uithaalt.
89
00:07:10,920 --> 00:07:13,080
Het vierde zit in het ontwerp zelf.
90
00:07:13,080 --> 00:07:23,560
Dat is echt wel heel cool, want het AI Lab van de gemeente Amsterdam bouwde daar prototypen voor, waaronder een expres slecht voorbeeld dat ze de doorklikmachine noemen.
91
00:07:23,560 --> 00:07:30,680
Je speelt dan een ambtenaar die bezwaren tegen parkeerboetes behandelt en een teller houdt bij of je je targets haalt.
92
00:07:30,680 --> 00:07:34,040
De knop voor akkoord is groter dan die van afwijzen.
93
00:07:34,039 --> 00:07:38,359
En wie afwijkt van het AI-voorstel moet dan uitgebreid motiveren.
94
00:07:38,680 --> 00:07:43,560
Alles in dat ontwerp duwt richting het geven van akkoord.
95
00:07:45,159 --> 00:07:47,959
Hun conclusie vat het eigenlijk samen.
96
00:07:48,600 --> 00:07:50,599
Aandacht ontwerp je.
97
00:07:50,600 --> 00:07:56,520
Bouw wrijving in op het moment dat telt en zet de details die er echt toe doen vooraan.
98
00:07:56,840 --> 00:08:02,199
Het is echt een heel mooi stuk wat ze hebben opgeleverd, of een framework moet ik zeggen, en de link staat in de shownotes.
99
00:08:02,519 --> 00:08:06,759
Er is nog een manier die ik in de praktijk weinig terugzie.
100
00:08:07,399 --> 00:08:11,400
Die pakt het probleem ook veel meer bij de kern aan.
101
00:08:11,399 --> 00:08:17,960
En dat is namelijk in seizoen vijf hadden wij Marijn van Aerle te gast, hij is medeoprichter en CTO van Floryn.
102
00:08:17,960 --> 00:08:27,000
En zij lenen geld uit aan ondernemers en beoordelen kredietaanvragen met een combinatie van modellen en menselijke beoordelaars.
103
00:08:27,159 --> 00:08:29,880
Het bekende deel is dat de mens het laatste woord heeft.
104
00:08:30,039 --> 00:08:33,160
Het onbekende deel is wat ze daaronder hebben gebouwd.
105
00:08:33,159 --> 00:08:34,279
Echt heel gaaf.
106
00:08:34,279 --> 00:08:38,600
Namelijk stel, een beoordelaar wijst een aanvraag af.
107
00:08:38,600 --> 00:08:44,920
Het model merkt op dat gelijksoortige dossiers meestal wel worden goedgekeurd.
108
00:08:44,920 --> 00:08:53,800
Het systeem maakt dan een taak aan voor een tweede beoordelaar en die zegt let op, deze aanvraag gaat normaal gesproken door en nu niet.
109
00:08:53,960 --> 00:08:55,319
Wat speelt hier eigenlijk?
110
00:08:55,319 --> 00:08:57,720
En dat kan natuurlijk ook de andere kant op zijn.
111
00:08:58,279 --> 00:09:00,679
Twee dingen vind ik daar echt heel sterk aan.
112
00:09:00,680 --> 00:09:06,680
Het eerste is het moment, dus die toets staat net na het besluit, maar voor het bericht aan de klant.
113
00:09:06,680 --> 00:09:09,000
Er is dus nog ruimte om iets te veranderen.
114
00:09:09,000 --> 00:09:11,080
En het tweede is de richting van het leren.
115
00:09:11,079 --> 00:09:15,720
Marijn was daar namelijk duidelijk over, vaak ligt het aan het model en niet aan de mens.
116
00:09:15,720 --> 00:09:24,520
Elke onenigheid tussen die twee komt in een lijst en de beoordelaars en het machine learning team lopen die periodiek samen na.
117
00:09:25,400 --> 00:09:29,480
De machine corrigeert de mens niet, de machine stelt een vraag.
118
00:09:29,720 --> 00:09:34,920
En het antwoord verbetert één van beide, of de mens of de machine.
119
00:09:35,559 --> 00:09:41,080
Eerlijk gezegd, gaf Marijn toe dat het model intern niet populair is.
120
00:09:41,400 --> 00:09:44,959
Niemand wordt graag overruled en al helemaal niet door een computer.
121
00:09:44,960 --> 00:09:47,440
Maar dat is wel precies de reden waarom het werkt.
122
00:09:44,840 --> 00:09:49,680
Dit is toezicht dat je niet kunt wegklikken.
123
00:09:49,840 --> 00:09:55,840
En het komt met een concrete vraag in plaats van met een enorme stapel waar je doorheen moet.
124
00:09:56,879 --> 00:10:00,079
Human-in-the-loop is dus geen vinkje in een document.
125
00:10:00,080 --> 00:10:07,200
Het is een ontwerpkeuze met een prijs, tijd, aandacht en de ruimte om nee te zeggen zonder dat het je iets kost.
126
00:10:07,200 --> 00:10:12,080
Wie die prijs niet betaalt, heeft geen controle georganiseerd, maar een handtekening.
127
00:10:12,080 --> 00:10:14,960
Zoek daarom deze week naar dat ene cijfer.
128
00:10:14,960 --> 00:10:18,720
Van je laatste honderd AI-voorstellen, hoeveel zijn er afgekeurd?
129
00:10:18,720 --> 00:10:22,560
Wanneer dat cijfer er niet is, heb je eigenlijk je antwoord al.
130
00:10:24,960 --> 00:10:28,159
Wil je op de hoogte blijven van de nieuwste ontwikkelingen binnen AI?
131
00:10:28,159 --> 00:10:30,000
Druk op de volgknop in je podcastapp.
132
00:10:30,000 --> 00:10:32,319
Dan mis je geen enkele aflevering en bedenk.
133
00:10:34,320 --> 00:10:35,919
AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.
134
00:10:35,919 --> 00:10:40,080
Tot de volgende keer.
