S06E09 - AI Compliance: Balanceren tussen Technologie en Wetgeving

In deze aflevering van AIToday Live bespreekt de gerenommeerde ICT-jurist Arnoud Engelfriet de raakvlakken tussen kunstmatige intelligentie en recht. Engelfriet, auteur en Chief Knowledge Officer bij ICTRecht, biedt een diepgaand inzicht in hoe AI wordt ingezet voor het analyseren van juridische documenten, zoals geheimhoudingscontracten.

Hij verkent de uitdagingen en innovaties binnen de juridische sector en gaat in op de implicaties van de Europese AI-verordening. Verder behandelt Engelfriet ethische vraagstukken en het garanderen van AI-objectiviteit, een relevante kwestie voor de diverse toepassingen van AI in beoordelingsprocessen.

Luisteraars die geïnteresseerd zijn in de juridische aspecten van AI vinden in dit gesprek praktische inzichten voor compliance en implementatie binnen hun organisaties. 

Links

• Boek: AI and Algorithms - Auteur Arnoud Engelfriet (https://www.ictrecht.nl/ai-and-algorithms-nl)
• Wikipedia: Arnoud Engelfriet (https://nl.wikipedia.org/wiki/Arnoud_Engelfriet)
• Website: Tweakers (https://tweakers.net/)
• Website: Security.nl (https://www.security.nl/)
• Bedrijf: ICTRecht (https://ictrecht.nl/)
• Podcast: AIToday Live (https://aitoday-live.buzzsprout.com)
• Opleiding: AI compliance officer bij ICTRecht (https://ictrecht.nl/academy/)

Met onze podcast AIToday Live zijn we genomineerd voor de Belgian Podcast Awards ! 🏆🤩 Belgisch? Ja, een Belgische award, want er is een speciale categorie voor Nederlandse podcasts: Prijs van Oranje.

Wil je ons steunen? 🙏❤️ Stem op ons!

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Wil je toegang tot exclusieve toegang voor onze luisteraars? Schrijf je in voor de nieuwsbrief 'AI versterkt de Mens'

Contact AIToday Live

We zijn altijd op zoek naar nieuwe gasten die over AI willen spreken.

• Stuur een bericht via LinkedIn naar Joop Snijder of Niels Naglé

Transcript

1
00:00:00,000 --> 00:00:04,000
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.

2
00:00:04,000 --> 00:00:11,000
Met vandaag in de studio Arnoud Engelfriet, auteur van een van de boek, gaan we het zo direct over hebben.

3
00:00:11,000 --> 00:00:13,000
Mijn naam Joop Snijder, CTO bij Aigency.

4
00:00:13,000 --> 00:00:17,000
Mijn naam Niels Naglé, chapter lead, data AI bij Info Support.

5
00:00:17,000 --> 00:00:21,000
Ja, hoi Arnoud, leuk dat je bij ons aanwezig wil zijn in de studio.

6
00:00:21,000 --> 00:00:22,000
Ja, goedemorgen.

7
00:00:22,000 --> 00:00:25,000
Zou je jezelf even kort willen voorstellen aan de luisteraars?

8
00:00:25,000 --> 00:00:28,000
Ja, ik ben Arnoud Engelfriet, ICT-jurist en blogger.

9
00:00:28,000 --> 00:00:32,000
Je kent me misschien van Tweakers of Security.nl waar ik regelmatig bijdrage lever.

10
00:00:32,000 --> 00:00:41,000
Ik ben daarnaast Chief Knowledge Officer bij ICTRecht, dat is ons adviesbureau waar ik de academy, dus de opleiding en training en dergelijke doe.

11
00:00:41,000 --> 00:00:46,000
En in mijn vrije tijd programmeer ik ook nog aan een AI die contracten kan reviewen.

12
00:00:46,000 --> 00:00:49,000
En ja, dat is verder even de kaart denk ik.

13
00:00:49,000 --> 00:00:53,000
Oh, interessant die AI die contracten kan interviewen.

14
00:00:53,000 --> 00:00:56,000
Kan je daar iets meer over tellen voordat we aan je boek beginnen?

15
00:00:56,000 --> 00:00:59,000
Ja, dat is al wat een ouder project, in 2016 ben ik daarmee begonnen.

16
00:00:59,000 --> 00:01:05,000
Kan NDA's, dus geheimhoudingscontracten, reviewen, want in de zakelijke wereld krijgen we heel vaak mensen langzaam.

17
00:01:05,000 --> 00:01:07,000
Ik heb een NDA, kan ik dit tekenen, et cetera.

18
00:01:07,000 --> 00:01:15,000
Later ook nog vanuit AVG, GDPR mensen, de verwerkersovereenkomst, wat staat die in, heel veel kleine ondernemers zitten daarmee.

19
00:01:15,000 --> 00:01:21,000
Ja, dat is heel veel standaard tekst, maar steeds allemaal net iets anders opgeschreven, want ieder jurist heeft toch weer zijn eigen hobbypaardje.

20
00:01:21,000 --> 00:01:23,000
En dat moet zo en dat moet dit en dat moet dat.

21
00:01:23,000 --> 00:01:29,000
Ik had er op een gegeven moment 800, die ben ik toen met de hand gaan labelen en daar heb ik een machine learning model op getraind.

22
00:01:29,000 --> 00:01:37,000
Dus je kan er gewoon een clausule herkennen als, oh ja, dit is een boete clausule, dit is een looptijd, dit is een beveiligingsclausule, et cetera.

23
00:01:37,000 --> 00:01:46,000
Dat koppel je aan een simpele matrix, dat je zegt van als jij de ontvanger bent en er staat een boete beding in, zeg dan wat krijgen we nou, dit mag je niet tekenen.

24
00:01:46,000 --> 00:01:57,000
Dat is eigenlijk super simpel, maar voor heel veel kleine ondernemers die gooien er een NDA in en dan zegt dat ding, boete beding moet je schrappen, er staat hier een looptijd van 10 jaar, daar moet je 2 jaar van maken.

25
00:01:57,000 --> 00:02:04,000
En de AI is eigenlijk alleen het herkennen van welke clausule dat is, dus dat is puur een bag of words in technische termen.

26
00:02:04,000 --> 00:02:09,000
Dus hij kijkt gewoon statistisch, die woorden lijken op deze woorden, want alle juristen gebruiken nog eenmaal dezelfde woorden.

27
00:02:09,000 --> 00:02:14,000
En waar dat niet werkt, gebruiken we reguliere expressies, want dat werkt gewoon wel.

28
00:02:14,000 --> 00:02:17,000
Ik noem dat altijd de duct tape van AI.

29
00:02:17,000 --> 00:02:18,000
Zeker.

30
00:02:18,000 --> 00:02:25,000
En het moeilijkste stukje is nog dat we ook een red line wilden maken, dus jij stopt een Word document in en dan krijg je een red line terug met commentaar.

31
00:02:25,000 --> 00:02:31,000
En werken met Word is echt vreselijk, hoe die XML in elkaar zit, dat is echt ongelofelijk.

32
00:02:31,000 --> 00:02:37,000
Dus 80% van de tijd is gegaan naar het commentaar op de juiste plek in het document krijgen.

33
00:02:37,000 --> 00:02:41,000
Het trainen van het AI model, dat zet je gewoon aan en een paar uur later is dat klaar.

34
00:02:41,000 --> 00:02:45,000
En die heeft nu 97% F1 scoren, dus dat is best wel prima.

35
00:02:45,000 --> 00:02:53,000
Maar het ophangen van het ding aan het goede kopje, daar gaat maar tijd in zitten, daar worden we echt een beetje knettergek van.

36
00:02:53,000 --> 00:03:02,000
Maar het werkt en hij kan dus gewoon nu, als jij zegt, er staat 10 jaar en jij hebt geprogrammeerd dat is te lang, dan streept hij 10 jaar door en dan maakt hij daar 2 jaar van of dat jij maar hebt ingevuld.

37
00:03:02,000 --> 00:03:06,000
En veel meer dan dat is het eigenlijk niet, maar dat hoeft ook niet.

38
00:03:06,000 --> 00:03:16,000
Je zegt veel meer dan dat is het niet, maar ik kan me zo voorstellen dat het een enorme verbetering is in werktijd en dat dat je heel veel inkort.

39
00:03:16,000 --> 00:03:20,000
En uiteindelijk gaat het om de impact die je maakt, toch? En niet om de technologie die je toepast.

40
00:03:20,000 --> 00:03:28,000
Nee, dat klopt. De meest succesvolle AI is eigenlijk technologie die een beetje snel naar de achtergrond gaat, dus die het gewoon doet, die er gewoon is.

41
00:03:28,000 --> 00:03:34,000
En het moet vooral geen gadget zijn. Dus we positioneren het ook zo laagdrempelig en makkelijk mogelijk.

42
00:03:34,000 --> 00:03:48,000
Tegelijkertijd zien we wel dat onze afnemers, dat zijn met name de niet-juristen, bijvoorbeeld heel veel kleine ondernemers die solo opereren, die komen dan bijvoorbeeld steeds NDA's tegen bij klanten.

43
00:03:48,000 --> 00:03:54,000
En die willen het even laten screenen, maar die willen geen 500 euro betalen voor een juridische review, maar die willen gewoon weten, staan hier gekke dingen in?

44
00:03:54,000 --> 00:03:59,000
Of even de bevestiging dat er geen boetebeding in staat en dat het recht van Finland dat dat prima is.

45
00:03:59,000 --> 00:04:06,000
En dat werkt. Alleen als ik ermee naar advocaten ga, je zou ook denken, die kunnen ook tijd besparen en dit soort domme dingen doen.

46
00:04:06,000 --> 00:04:11,000
Dat duurt heel lang, ongeveer dat anderhalf jaar om die te overtuigen dat dit wat zou kunnen zijn.

47
00:04:11,000 --> 00:04:16,000
En dan nog zie je daar heel snel, nou controleer toch nog even zelf helemaal. Dus een heel andere doelgroep.

48
00:04:16,000 --> 00:04:18,000
En wat houdt je daarentegen?

49
00:04:18,000 --> 00:04:23,000
Ja, inderdaad. Het grote probleem in de juridische sector is een gebrek aan innovatief vermogen.

50
00:04:23,000 --> 00:04:31,000
Men wil vaak wel, iedere jurist, iedere advocaat die het vraagt, ja wij moeten innoveren, wij moeten legal tech en wij moeten met AI en dit en dat.

51
00:04:31,000 --> 00:04:36,000
Ik heb ook heel veel workshops en trainingen gegeven daarover. Iedereen is super enthousiast en op individueel niveau.

52
00:04:36,000 --> 00:04:41,000
Ze hebben allemaal ChatGPT, denk nooit advocaten met geen verstand van techniek, want ze hebben hippere gadgets dan jij.

53
00:04:41,000 --> 00:04:47,000
En doen daar ook meer mee. Alleen zodra het op het werk gaat, dan lijkt het soms wel 1890.

54
00:04:47,000 --> 00:04:54,000
Het wordt geprint en met veel pen wordt het nagekeken of het wel klopt. Je pleit door, je doet het uit je hoofd.

55
00:04:54,000 --> 00:05:00,000
Je gaat niet voorlezen van je iPad, dat soort dingen. Waar dat in zit, dat weten we eigenlijk niet.

56
00:05:00,000 --> 00:05:06,000
Er wordt soms wel gezegd, omdat je uurtje factuurtje werkt, wil je geen tool die jou minder uurtjes doet geven.

57
00:05:06,000 --> 00:05:11,000
Maar de hele consultancy sector heeft natuurlijk het uurtje factuurtje model, die hebben het hier ook mee leren.

58
00:05:11,000 --> 00:05:17,000
De voornaamste reden lijkt toch een beetje zorgen over risico's te zijn.

59
00:05:17,000 --> 00:05:24,000
Want zeker als jij juridisch advies geeft, dan zeg je eigenlijk vooral, jij krijgt geen claims als je doet wat ik zeg.

60
00:05:24,000 --> 00:05:27,000
En als er dan dus wel claims komen, ben jij daarvoor aansprakelijk.

61
00:05:27,000 --> 00:05:32,000
En dat is veel meer dan een consultant die zegt, ik heb een stukje maatwerk software voor jou gebouwd.

62
00:05:32,000 --> 00:05:35,000
Volgens mij voldoet dat aan de specs, we gaan het gewoon proberen.

63
00:05:35,000 --> 00:05:44,000
Daar kun je met voorwaarden een SLA van maken, want de klant van een softwarebedrijf doet het niet, dat er dan iemand komt en dat hij het weer doet.

64
00:05:44,000 --> 00:05:49,000
Maar bij een jurist, als je een contract hebt geschreven en er staat een fout in, dan komt er een claim.

65
00:05:49,000 --> 00:05:53,000
Dan kun je geen SLA opgeven, daar komt gewoon ruzie van.

66
00:05:53,000 --> 00:05:56,000
Dus juristen zijn veel meer risicomijdend.

67
00:05:56,000 --> 00:06:03,000
En als je iets hebt dat werkt, en waarvan ook bewezen is dat het werkt, waarom in vredesnaam zou ik dan switchen?

68
00:06:03,000 --> 00:06:08,000
Bijvoorbeeld de fax is in de juridische wereld volgens mij pas vijf jaar geleden aangeschaft.

69
00:06:08,000 --> 00:06:17,000
De Hoge Raad heeft ooit in 1991 volgens mij gezegd, een gefaxte kopie van een juridisch stuk is net zo rechtsgeldig als het origineel.

70
00:06:17,000 --> 00:06:24,000
Dus nu kun je bijvoorbeeld snel een contract heen en weer sturen, of een dagvaarding indienen, of wat dan ook via de fax, dan weet je dat het goed gaat.

71
00:06:24,000 --> 00:06:30,000
Je kunt hem natuurlijk ook e-mailen, maar de Hoge Raad heeft nooit gezegd, een ge-emailde kopie is net zo rechtsgeldig als het origineel.

72
00:06:30,000 --> 00:06:34,000
Dus jij neemt nu een risico. Waarom zou jij dat risico nemen?

73
00:06:34,000 --> 00:06:40,000
Want het komt op jouw bordje, jij komt voor de tuchtrechter als dit misgaat, terwijl je het ook kunt faxen.

74
00:06:40,000 --> 00:06:49,000
En dan heb je allemaal IT'ers die zeggen, ja maar de fax is ouderwets en wat een flauwekul en ik heb een prachtige portaal met dit en dat.

75
00:06:49,000 --> 00:06:55,000
Ja goed, ik word aansprakelijk gesteld. Waarom moet ik jouw experimentele oplossing gebruiken?

76
00:06:55,000 --> 00:07:00,000
Dan moet ik ook nog meer voor betalen dan een fax en ik krijg de claims.

77
00:07:00,000 --> 00:07:05,000
Dat lijkt me heel erg lastig. En je spreekt hier veel over en geeft training.

78
00:07:05,000 --> 00:07:14,000
Wat zijn dan twee argumenten die je op tafel legt die ze misschien kunnen overtuigen om je anders over na te gaan denken?

79
00:07:14,000 --> 00:07:23,000
De meest voorkomende is dat je laat zien, het werkt en dat ondersteunt jou in een proces dat jij al aan het doen bent.

80
00:07:23,000 --> 00:07:26,000
Dus je moet vooral niet met de grote systemen binnenkomen.

81
00:07:26,000 --> 00:07:34,000
Want als je een big shiny box die alles doet en alles op een andere manier gaat doen, dat is sowieso organisatie veranderingen, daar gaat niemand goed op.

82
00:07:34,000 --> 00:07:41,000
Maar als je een drop-in replacement hebt, dus bijvoorbeeld wat goed werkt, je zit in Word te schrijven, een ander tooltje om te experimenteren.

83
00:07:41,000 --> 00:07:48,000
En je bent een contract aan het schrijven en je denkt, ik heb een clausule nodig die regelt dat als we in Singapore zijn dat er een arbitrage is.

84
00:07:48,000 --> 00:07:51,000
Dat je dan op een knopje drukt en dat je die clausule krijgt.

85
00:07:51,000 --> 00:08:00,000
Dat ben ik al gewend, normaal zou ik in een ander word document een sjabloon gaan zoeken, maar nu zoekt hij zelf, daar zijn LLM's heel goed in.

86
00:08:00,000 --> 00:08:05,000
Je gooit er gewoon al je modellen in en dan zeg je, geef me een arbitrage clausule in Singapore.

87
00:08:05,000 --> 00:08:12,000
En dan komt er eentje en die staat er dan gewoon in Word bij en dan kun je gewoon kijken, dat is een goede tekst voor mij.

88
00:08:12,000 --> 00:08:17,000
Of ik zie dat dit toch even anders moet of ik zet het liever in de tegenwoordige tijd of weet ik veel.

89
00:08:17,000 --> 00:08:21,000
Dus dat is gewoon een schrijfhulp. Dat soort dingen werken heel erg goed.

90
00:08:21,000 --> 00:08:27,000
En ook met zo'n review tool, die review komt dan terug binnen een seconde, die staat gewoon in Word op je scherm.

91
00:08:27,000 --> 00:08:31,000
En dan kun je er gewoon zelf nog in zeggen, dit is onzin, dit laat ik staan.

92
00:08:31,000 --> 00:08:34,000
Hij heeft hier twee jaar van, ik doe voor deze keer wel drie jaar.

93
00:08:34,000 --> 00:08:40,000
Dus dat soort low key ondersteuning, sneller doen wat men al gewend is, dat vindt iedereen wel prima.

94
00:08:40,000 --> 00:08:45,000
En dan ook nog steeds de controle houden en de regie houden bij de mens eigenlijk.

95
00:08:45,000 --> 00:08:52,000
Ja, heel mooi dat je dat zegt, want dat is in mijn boek ook een van de centrale thema's met die AI-act die er nu aankomt.

96
00:08:52,000 --> 00:08:57,000
Het centrale ding van AI is menselijke controle en menselijke grip.

97
00:08:57,000 --> 00:09:04,000
We gaan nu steeds meer dingen doen met AI, die voorheen echt tot het hogere menselijke domein, het cognitieve domein behoren.

98
00:09:04,000 --> 00:09:09,000
En waardoor mensen heel snel het gevoel hebben van, ik ben controle kwijt.

99
00:09:09,000 --> 00:09:15,000
Computer says no, is daar de bekende uitdrukking bij. Ik weet niet wat hier gebeurt.

100
00:09:15,000 --> 00:09:19,000
Bij een mens kan ik zeggen, maar waarom dan, wat is er gebeurd, hoezo?

101
00:09:19,000 --> 00:09:22,000
De computer heeft net een rood lampje gedaan en je komt niet binnen.

102
00:09:22,000 --> 00:09:26,000
En dan sta je voor dat poortje en ja, hij blijft dicht.

103
00:09:26,000 --> 00:09:30,000
En tegen een portier kun je zeggen, Hans, ik werk hier al 25 jaar, mag ik naar binnen?

104
00:09:30,000 --> 00:09:32,000
En dan zegt Hans, kom maar binnen.

105
00:09:32,000 --> 00:09:38,000
Niet tot tijd, bij mijn oudere werkgever had ik daar ooit een prachtige anekdote over van een oud directeur.

106
00:09:38,000 --> 00:09:42,000
Die zat daar 40 jaar, gaf op vrijdag een grote receptie daar op het kantoor.

107
00:09:42,000 --> 00:09:47,000
300 man, binnen en buitenland, alle concurrenten komen ook lang, was een sympathieke man.

108
00:09:47,000 --> 00:09:51,000
En toen was hij in het weekend thuis en merkte hij, ik ben nog wat vergeten, nog een schilderijtje vergeten.

109
00:09:51,000 --> 00:09:54,000
Dus hij ging maandag even terug naar kantoor om het schilderijtje op te halen.

110
00:09:54,000 --> 00:09:57,000
En de receptionist zei, bent u aangemeld als bezoeker?

111
00:09:57,000 --> 00:10:02,000
Dat was haar eerste werkdag.

112
00:10:02,000 --> 00:10:04,000
Dat is op zich ook wel een goed idee.

113
00:10:04,000 --> 00:10:11,000
Maar voor AI, dat is ook een beetje het meer juridische stuk, waar de AI-verordening nu over gaat,

114
00:10:11,000 --> 00:10:15,000
is hoe zorg je ervoor dat mensen nog een beetje grip hebben op die technologie.

115
00:10:15,000 --> 00:10:18,000
Dat je weet wat er gebeurt en waarom het gebeurt.

116
00:10:18,000 --> 00:10:20,000
En dat is een van de moeilijkste uitdagingen.

117
00:10:20,000 --> 00:10:23,000
Dat is vaak ook waarom AI zo moeilijk te accepteren is.

118
00:10:23,000 --> 00:10:25,000
Het werkt anders dan wij gewend zijn.

119
00:10:25,000 --> 00:10:27,000
Het vertrouwen moet opgebouwd worden.

120
00:10:27,000 --> 00:10:30,000
Je moet het zelf kunnen relateren en verklaren.

121
00:10:30,000 --> 00:10:35,000
Ik had nog wel even een vraag op je reactie over de fax en de veranderingen daarin.

122
00:10:35,000 --> 00:10:39,000
Zien we daar dan in dat het juridisch dan nog wat achterloopt?

123
00:10:39,000 --> 00:10:42,000
Want de uitspraak van de fax is wel geweest, maar op de e-mail is niet geweest.

124
00:10:42,000 --> 00:10:44,000
Zie je daar verandering in?

125
00:10:44,000 --> 00:10:49,000
De vraag met achterlopen is eigenlijk dan voor mij altijd een beetje de vraag van,

126
00:10:49,000 --> 00:10:54,000
doe je innovatie om de innovatie of omdat er een maatschappelijk probleem opgelost moet worden?

127
00:10:54,000 --> 00:10:59,000
Met e-mail is altijd een beetje geweest, dat werkt, dat hebben we makkelijk beschikbaar.

128
00:10:59,000 --> 00:11:01,000
En faxen is net iets moeilijker.

129
00:11:01,000 --> 00:11:04,000
Daar moet je naar het secretariaat voor lopen en die moet je dat dan doen.

130
00:11:04,000 --> 00:11:06,000
En ergens anders zit er een papierrol en et cetera.

131
00:11:06,000 --> 00:11:08,000
Dus dat is dan net iets meer gedoe.

132
00:11:08,000 --> 00:11:12,000
Dus wij zijn heel snel gewend om naar tooltjes te gaan die we dingen zelf kunnen doen.

133
00:11:12,000 --> 00:11:17,000
Maar vanuit juridisch perspectief, dan zeg ik altijd een professioneel doemdenker.

134
00:11:17,000 --> 00:11:19,000
Ik ga bedenken wat er mis kan gaan.

135
00:11:19,000 --> 00:11:23,000
Er zit een groot overlap, ik weet niet of de developers luisteren, tussen testers en juristen.

136
00:11:23,000 --> 00:11:25,000
Het is hetzelfde slag mens.

137
00:11:25,000 --> 00:11:28,000
Wij gaan ook zeggen, wat gebeurt er nou als iemand niet betaalt?

138
00:11:28,000 --> 00:11:32,000
Of als ze het koppelen aan een tool wat jij nooit had voorzien.

139
00:11:32,000 --> 00:11:35,000
En daar moet ik contractuele oplossingen voor bedenken.

140
00:11:35,000 --> 00:11:39,000
Dus men is wat terughouden met innovaties deployen,

141
00:11:39,000 --> 00:11:43,000
omdat je niet goed weet wat de maatschappelijke effecten zouden kunnen zijn.

142
00:11:43,000 --> 00:11:47,000
En die maatschappelijke effecten zijn wel waar het juridische om gaat.

143
00:11:47,000 --> 00:11:51,000
Want er moeten zwakke groepen beschermd worden, dingen moeten in goede banen geleid worden.

144
00:11:51,000 --> 00:11:53,000
Het is ook een stukje conservatisme.

145
00:11:53,000 --> 00:11:56,000
Het gaat nu goed, hoezo internet?

146
00:11:56,000 --> 00:11:59,000
We hebben CD-ROM's, waar maak jij je druk om?

147
00:11:59,000 --> 00:12:01,000
Dat zit er ook wel een beetje in.

148
00:12:01,000 --> 00:12:03,000
Maar dat is ingegeven vanuit een algemene gedachte.

149
00:12:03,000 --> 00:12:08,000
Risico's beperken, schade beperken, zachtjes aan en we komen er wel.

150
00:12:08,000 --> 00:12:14,000
En move fast and break things van Meta is daar natuurlijk compleet tegenovergesteld.

151
00:12:14,000 --> 00:12:16,000
Ja, absoluut.

152
00:12:16,000 --> 00:12:23,000
Arnoud, je hebt een boek geschreven, AI & Algorithms, met een hele mooie ondertitel.

153
00:12:23,000 --> 00:12:26,000
Mastering Legal and Ethical Compliance.

154
00:12:26,000 --> 00:12:29,000
Wat was de reden voor jou om dit boek te gaan schrijven?

155
00:12:29,000 --> 00:12:36,000
De concrete aanleiding was dat de AI Act, de AI-verordening in de Europese Unie, eraan zat te komen.

156
00:12:36,000 --> 00:12:41,000
En dat er gewoon wel heel veel literatuur is over de techniek van AI.

157
00:12:41,000 --> 00:12:45,000
Er is een hoop geschreven over de techniek, de ethiek.

158
00:12:45,000 --> 00:12:48,000
Maar over het juridische is er nog heel erg weinig.

159
00:12:48,000 --> 00:12:51,000
En wat er is, komt met name uit Amerika.

160
00:12:51,000 --> 00:12:55,000
Ik heb veel meer boeken geschreven over ICT en recht en dergelijke.

161
00:12:55,000 --> 00:12:59,000
En daar zie je altijd, de Amerikanen hebben het voortouw.

162
00:12:59,000 --> 00:13:03,000
En heel veel literatuur en dingen die eruit komen, gaan ook over hoe het in Amerika werkt.

163
00:13:03,000 --> 00:13:06,000
En dat gaan we dan in Europa een soort van een beetje nadoen.

164
00:13:06,000 --> 00:13:08,000
En dan, oh ja, wacht even, wij hebben ook nog een AVG.

165
00:13:08,000 --> 00:13:10,000
Dus dat werkt allemaal net even anders.

166
00:13:10,000 --> 00:13:12,000
Dus ik dacht, dat moet je eigenlijk voor zijn.

167
00:13:12,000 --> 00:13:16,000
En gewoon vanuit het Europese perspectief aangeven, waar gaat het over?

168
00:13:16,000 --> 00:13:18,000
Wat verstaan wij onder grondrechten?

169
00:13:18,000 --> 00:13:21,000
Dat is wat anders dan wat ze in Amerika onder grondrechten verstaan.

170
00:13:21,000 --> 00:13:25,000
En hoe werkt dat met ethische principes en hoe werkt ons systeem?

171
00:13:25,000 --> 00:13:32,000
Zou je het heel kort, want ik denk niet dat al onze luisteraars op de hoogte zijn van wat er in die AI-verordening staat.

172
00:13:32,000 --> 00:13:41,000
Zou je heel kort kunnen uitleggen, wat betekent dit eigenlijk voor de gemiddelde burger, maar ook voor jou als werknemer?

173
00:13:41,000 --> 00:13:50,000
De AI-Act is het idee dat je AI-risico's wilt managen.

174
00:13:50,000 --> 00:13:56,000
Dus sommige risico's van toepassing van AI zijn echt onacceptabel.

175
00:13:56,000 --> 00:13:59,000
De bekende social credit scoring, wat in China zou gebeuren.

176
00:13:59,000 --> 00:14:04,000
Grote biometrische surveillance en nog een paar van dat soort dingen, dat willen we gewoon echt niet hebben.

177
00:14:04,000 --> 00:14:06,000
Die worden in de ban gedaan.

178
00:14:06,000 --> 00:14:09,000
Er zijn ook heel veel toepassingen die echt geen enkel probleem zijn.

179
00:14:09,000 --> 00:14:15,000
Daar is hooguit te vragen dat je wil weten, bijvoorbeeld de chatbot van een winkel.

180
00:14:15,000 --> 00:14:18,000
Ik ga naar bol.com, hallo ik ben Billy, kan ik je helpen?

181
00:14:18,000 --> 00:14:20,000
Nou die moeten zeggen dat ze AI zijn.

182
00:14:20,000 --> 00:14:22,000
Dat is nu niet zo'n probleem, dat heb je wel door.

183
00:14:22,000 --> 00:14:24,000
Maar als die steeds slimmer worden, dan moet er op een gegeven moment een label bij komen.

184
00:14:24,000 --> 00:14:26,000
Je praat nu met een AI.

185
00:14:26,000 --> 00:14:31,000
En ook als er plaatjes worden gemaakt met AI, op een zeker moment moet daar misschien een watermerk in komen.

186
00:14:31,000 --> 00:14:34,000
Of een certificaat van, dat weet ik veel.

187
00:14:34,000 --> 00:14:37,000
Dus dat je een beetje door hebt, ik ben met een AI aan het praten.

188
00:14:37,000 --> 00:14:40,000
De middenmoot, dat noemen we de high risk AI.

189
00:14:40,000 --> 00:14:43,000
Dus die hebben bepaalde specifieke risico's.

190
00:14:43,000 --> 00:14:46,000
En die risico's moeten worden gemanaged.

191
00:14:46,000 --> 00:14:48,000
We denken bijvoorbeeld aan het veiligheidssysteem van de lift.

192
00:14:48,000 --> 00:14:50,000
Dat zou je met een AI kunnen doen.

193
00:14:50,000 --> 00:14:51,000
Of een zelfrijdende auto.

194
00:14:51,000 --> 00:14:54,000
Dat heeft gewoon consequenties voor mensen als je dat niet managet.

195
00:14:54,000 --> 00:14:58,000
En de AI-act zegt eigenlijk vooral, dan moet je risicomanagement in place hebben.

196
00:14:58,000 --> 00:15:00,000
En jij moet quality control hebben.

197
00:15:00,000 --> 00:15:03,000
Je moet adequate logging hebben, dat we achteraf kunnen zien wat er is misgegaan.

198
00:15:03,000 --> 00:15:07,000
Je moet kunnen aantonen dat je je dataset op een fatsoenlijke manier hebt opgebouwd.

199
00:15:07,000 --> 00:15:10,000
Dat we kunnen zien dat bijvoorbeeld diversiteit goed geborgen is.

200
00:15:10,000 --> 00:15:13,000
Of dat je je testgebied hebt gedaan.

201
00:15:13,000 --> 00:15:15,000
Dat je bijvoorbeeld fietsers hebt meegenomen.

202
00:15:15,000 --> 00:15:17,000
Want er zijn bijvoorbeeld het erover van,

203
00:15:17,000 --> 00:15:21,000
systemen die in Amerika worden gebouwd om objecten op de weg te herkennen.

204
00:15:21,000 --> 00:15:22,000
En dan hebben ze geen fietsers.

205
00:15:22,000 --> 00:15:25,000
Waarom? In California fietst men niet.

206
00:15:25,000 --> 00:15:27,000
En dat is hartstikke stom.

207
00:15:27,000 --> 00:15:29,000
Want hier in Europa gebeurt dat wel.

208
00:15:29,000 --> 00:15:32,000
Maar je wil dat die niet als een plastic zak worden herkend.

209
00:15:32,000 --> 00:15:34,000
Want dan gaat de auto eroverheen.

210
00:15:34,000 --> 00:15:36,000
Dus dat soort dingen moet je dan meenemen.

211
00:15:36,000 --> 00:15:41,000
En de kern van de AI-act is dus voorschrijven wat die risico's zijn.

212
00:15:41,000 --> 00:15:43,000
Met een stukje toezicht en dergelijke.

213
00:15:43,000 --> 00:15:46,000
Wat een beetje op de AVG of GDPR lijkt.

214
00:15:46,000 --> 00:15:48,000
Met toezichthouders en boetes.

215
00:15:48,000 --> 00:15:50,000
En kunnen inzien wat er gebeurt.

216
00:15:50,000 --> 00:15:54,000
Dus als jij als werknemer hier bang voor bent,

217
00:15:54,000 --> 00:15:56,000
dat hoef jij niet precies te doen, dit is een werkgeversprobleem.

218
00:15:56,000 --> 00:15:59,000
Als bedrijf, als je AI inzet of als je AI gebruikt,

219
00:15:59,000 --> 00:16:01,000
moet je hier compliance voor hebben.

220
00:16:01,000 --> 00:16:05,000
En als werknemer is het vooral bewustzijn van

221
00:16:05,000 --> 00:16:08,000
wij gaan nu een AI-project doen, is dit wel gecheckt?

222
00:16:08,000 --> 00:16:12,000
Net zoals je zegt, dit zijn persoonsgegevens, mag dat wel zo?

223
00:16:12,000 --> 00:16:15,000
Dus als je zegt, volgens mij is dit een AI, wij gaan nu iets doen.

224
00:16:15,000 --> 00:16:20,000
Wij gaan nu mensen laten inloggen met een AI-gezichtsherkenning.

225
00:16:20,000 --> 00:16:25,000
Of ik bouw, weet ik veel, een onderwijs-leermanagementsysteem.

226
00:16:25,000 --> 00:16:30,000
En ik ga nu bepalen dat leerlingen op basis van AI high potential zijn.

227
00:16:30,000 --> 00:16:33,000
Of juist remedial onderwijs nodig hebben.

228
00:16:33,000 --> 00:16:36,000
Kan dat wel zomaar? Is die dataset wel goed gecheckt?

229
00:16:36,000 --> 00:16:39,000
Of geef ik alleen, hebben wij zo spreken, de witte meisjes,

230
00:16:39,000 --> 00:16:41,000
die mogen door naar de excellente programma's.

231
00:16:41,000 --> 00:16:44,000
En alle jongens, die moeten op het basisniveau blijven.

232
00:16:44,000 --> 00:16:46,000
Daar moet je op checken.

233
00:16:46,000 --> 00:16:51,000
Die kaders liggen nu redelijk beschreven.

234
00:16:51,000 --> 00:16:54,000
Het is nog in een voorstelstadium.

235
00:16:54,000 --> 00:16:56,000
Het is een heel ingewikkeld verhaal.

236
00:16:56,000 --> 00:17:00,000
Sinds 2018/19 is er een tekst.

237
00:17:00,000 --> 00:17:02,000
Het parlement heeft daar op geschoten.

238
00:17:02,000 --> 00:17:05,000
De raad van ministers van de lidstaten hebben erop geschoten.

239
00:17:05,000 --> 00:17:07,000
En de afgelopen maanden, november en december,

240
00:17:07,000 --> 00:17:09,000
hebben ze een paar marathonsessies gehad.

241
00:17:09,000 --> 00:17:11,000
Eentje van 22 uur.

242
00:17:11,000 --> 00:17:12,000
Allemaal in een hok.

243
00:17:12,000 --> 00:17:14,000
Dat komt de kwaliteit nooit ten goede.

244
00:17:14,000 --> 00:17:16,000
Hackathons en.

245
00:17:16,000 --> 00:17:18,000
En daar hebben ze een soort van de tekst nu,

246
00:17:18,000 --> 00:17:20,000
dat heet een politiek compromis op bereikt.

247
00:17:20,000 --> 00:17:22,000
Ze zijn er eigenlijk over uit.

248
00:17:22,000 --> 00:17:25,000
Het grote probleem is, ze hebben daar niet één groot woorddocument gehad

249
00:17:25,000 --> 00:17:27,000
waar ze in zijn gaan red linen.

250
00:17:27,000 --> 00:17:29,000
Dus dat ze nu kunnen zeggen, we zijn het overal over eens.

251
00:17:29,000 --> 00:17:32,000
Er zijn allerlei sessies en wandelgangen.

252
00:17:32,000 --> 00:17:34,000
En op de wc is nog wat onderhandeld.

253
00:17:34,000 --> 00:17:37,000
Sommige dingen stonden alleen op de linkervinger van een eurocommissaris.

254
00:17:37,000 --> 00:17:39,000
Even snel opschrijven.

255
00:17:39,000 --> 00:17:40,000
Of de spreekwoordelijke dingen.

256
00:17:40,000 --> 00:17:43,000
Er zijn drie versies afgesproken, binnen drie groepjes.

257
00:17:43,000 --> 00:17:45,000
Waarvan gezegd is, daar komen we wel uit.

258
00:17:45,000 --> 00:17:49,000
Dus ze zitten nu met de puinhoop van het compromis uitwerken.

259
00:17:49,000 --> 00:17:52,000
Formeel zijn ze er eigenlijk al uit.

260
00:17:52,000 --> 00:17:54,000
Dus er hoort niet nog een onderhandel rond te komen.

261
00:17:54,000 --> 00:17:58,000
Het is nu alleen de tekst oppoetsen en nog één keer stemmen over de finale tekst.

262
00:17:58,000 --> 00:18:01,000
Maar allerlei lidstaten zijn nu moeilijk aan het doen.

263
00:18:01,000 --> 00:18:03,000
Omdat ze hun kans schoon zien en zeggen,

264
00:18:03,000 --> 00:18:06,000
Oba, ik heb nog één feitelijke correctie.

265
00:18:06,000 --> 00:18:10,000
Naar pagina drie moeten deze zes pagina's ertussen worden.

266
00:18:10,000 --> 00:18:11,000
Dat is iedereen nu aan het doen.

267
00:18:11,000 --> 00:18:14,000
Ze zijn nu boos op de Fransen, omdat de minister,

268
00:18:14,000 --> 00:18:17,000
ik ben zijn naam kwijt, die zou banden hebben met Mistral.

269
00:18:17,000 --> 00:18:19,000
Dat is zo'n AI-company.

270
00:18:19,000 --> 00:18:21,000
Die maken een open source large language model.

271
00:18:21,000 --> 00:18:26,000
Die zou de minister hebben ingefluisterd wat er in de AI-act moest komen.

272
00:18:26,000 --> 00:18:28,000
Vanuit het Franse belang.

273
00:18:28,000 --> 00:18:34,000
Daar zijn nu dus discussies over.

274
00:18:34,000 --> 00:18:37,000
Of dat dan wel op een eerlijke manier is gebeurd.

275
00:18:37,000 --> 00:18:42,000
Spanje is nu aan het roepen dat ze allerlei extra beschermingen voor burgerrechten erin willen hebben.

276
00:18:42,000 --> 00:18:45,000
Waarvan eerder is gezegd, laten we dat niet doen, want daar komen we nooit uit.

277
00:18:45,000 --> 00:18:48,000
Kan je daar een voorbeeld van geven?

278
00:18:48,000 --> 00:18:53,000
Biometrie is dus gezichtsherkenning, mensenherkenning.

279
00:18:53,000 --> 00:19:00,000
Wij denken vaak aan AI, als ontwikkelaars denken we aan handige hulpjes.

280
00:19:00,000 --> 00:19:02,000
Siri die voorstellen doet.

281
00:19:02,000 --> 00:19:08,000
Maar AI is heel populair bij wetshandhaving, militairen en alles dat daar omheen zit.

282
00:19:08,000 --> 00:19:11,000
En een van de dingen, dat zag ik in Nederland ook weer voorbij komen,

283
00:19:11,000 --> 00:19:13,000
is het idee, wij hebben allemaal camera's hangen,

284
00:19:13,000 --> 00:19:15,000
dan stoppen we allemaal gezichtsherkenning in.

285
00:19:15,000 --> 00:19:18,000
Herkennen we iedereen die daar in een menigte loopt,

286
00:19:18,000 --> 00:19:20,000
dat cross-referencen met een politiedatabase,

287
00:19:20,000 --> 00:19:22,000
what could ever go wrong.

288
00:19:22,000 --> 00:19:24,000
En dan gaan we gewoon iedereen preventief arresteren.

289
00:19:24,000 --> 00:19:29,000
Jij bent een bekende winkeldief, jij lijkt op iemand die ooit een keer met terrorisme in verband is gebracht.

290
00:19:29,000 --> 00:19:32,000
En dan rijden we zo'n busje voor en dan word jij ingeladen.

291
00:19:32,000 --> 00:19:36,000
Dan heb je allerlei dingen over foutieve identificatie,

292
00:19:36,000 --> 00:19:39,000
of dubbelherkenning, of wat dan ook.

293
00:19:39,000 --> 00:19:41,000
Er zaten niet genoeg mensen van kleur in die database.

294
00:19:41,000 --> 00:19:46,000
Dus iedereen van kleur die daar komt, wordt herkend als die Senegalese terrorist.

295
00:19:46,000 --> 00:19:48,000
Dus dat moet goed worden getest.

296
00:19:48,000 --> 00:19:51,000
En daar is dus de discussie over geweest, gaan we dat soort dingen verbieden?

297
00:19:51,000 --> 00:19:54,000
Of gaan we zeggen, dat is hoog risico.

298
00:19:54,000 --> 00:19:56,000
Wie heeft daar dan weer toezicht op?

299
00:19:56,000 --> 00:19:59,000
Want hoe zou maar bijvoorbeeld autoriteit persoonsgegevens toezicht op de politie houden?

300
00:19:59,000 --> 00:20:03,000
En als het over militairen of de terrorisme dingen is,

301
00:20:03,000 --> 00:20:06,000
dat is al helemaal ingewikkeld. Dus wie moet daar toezicht op gaan houden?

302
00:20:06,000 --> 00:20:09,000
Hebben ze defensie niet uit de tekst gehaald?

303
00:20:09,000 --> 00:20:12,000
Defensie is er uiteindelijk uitgehaald.

304
00:20:12,000 --> 00:20:17,000
Met het idee dat toezichthouders daar toch niet gaan komen.

305
00:20:17,000 --> 00:20:21,000
En wat je met autonome wapensystemen doet,

306
00:20:21,000 --> 00:20:26,000
zoals de SGR-1 in Korea, dat is een autonome machinegeweer.

307
00:20:26,000 --> 00:20:28,000
Dat staat aan de grens tussen Zuid- en Noord-Korea.

308
00:20:28,000 --> 00:20:30,000
Dat is een Samsung ding.

309
00:20:30,000 --> 00:20:32,000
En die heeft een autonomous mode.

310
00:20:32,000 --> 00:20:34,000
Dus als je die aanzet, dan gaat die rondkijken.

311
00:20:34,000 --> 00:20:37,000
En als die in je gezicht schiet, dan schiet die persoon dood.

312
00:20:37,000 --> 00:20:40,000
En het idee is dat als je dat in de DMZ neerzet,

313
00:20:40,000 --> 00:20:43,000
tussen Noord- en Zuid-Korea, en de Noord-Koreanen komen eraan,

314
00:20:43,000 --> 00:20:46,000
als je dan niet genoeg mensen hebt, dan zet je hem op autonoom.

315
00:20:46,000 --> 00:20:48,000
En dan red je het misschien toch.

316
00:20:48,000 --> 00:20:49,000
Spannend.

317
00:20:49,000 --> 00:20:52,000
Dan is het natuurlijk de vraag, wat voor regels moet je daarvoor stellen?

318
00:20:52,000 --> 00:20:55,000
Maar daar moeten internationaal nog regels voor komen.

319
00:20:55,000 --> 00:20:57,000
Want daar komen we volledig niet uit.

320
00:20:57,000 --> 00:20:59,000
En dat is ook heel moeilijk af te bakenen.

321
00:20:59,000 --> 00:21:04,000
Nederland heeft bijvoorbeeld in de jaren '70 de Goalkeeper gemaakt.

322
00:21:04,000 --> 00:21:06,000
Dat is een autonome wapensysteem voor op marineschepen.

323
00:21:06,000 --> 00:21:09,000
En als je die aanzet en er komt een raket of een boot,

324
00:21:09,000 --> 00:21:11,000
dan schiet die uit de lucht.

325
00:21:11,000 --> 00:21:14,000
Hij kan 200 raketten per minuut uitschakelen.

326
00:21:14,000 --> 00:21:15,000
Dat is een heel mooi systeem.

327
00:21:15,000 --> 00:21:18,000
Maar dat bestaat al sinds 1978 of zo.

328
00:21:18,000 --> 00:21:20,000
En daar is nooit discussie over gekomen.

329
00:21:20,000 --> 00:21:22,000
Dit is een Terminator of wat.

330
00:21:22,000 --> 00:21:25,000
Dat is gewoon een last-ditch systeem.

331
00:21:25,000 --> 00:21:27,000
De Russen hebben gelanceerd.

332
00:21:27,000 --> 00:21:30,000
Ik denk zelf, het is een marineschip op zee.

333
00:21:30,000 --> 00:21:32,000
En daar worden raketten op afgeschoten.

334
00:21:32,000 --> 00:21:35,000
Dus het idee, daar worden mensen doodgeschoten door een robot,

335
00:21:35,000 --> 00:21:37,000
dat is niet de use case daar.

336
00:21:37,000 --> 00:21:39,000
Terwijl als je zegt, ik heb een machinegeweer op pootjes,

337
00:21:39,000 --> 00:21:41,000
zoals een hond van Boston Dynamics,

338
00:21:41,000 --> 00:21:45,000
doe ik een machinegeweer op en die laat ik patrouilleren hier in de Dorpsstraat.

339
00:21:45,000 --> 00:21:49,000
Dat voelt als een andere use case met andere borgen.

340
00:21:49,000 --> 00:21:51,000
Daar komen we dus juridisch niet uit.

341
00:21:51,000 --> 00:21:54,000
Dus dat moet maar even terug naar de Verenigde Naties

342
00:21:54,000 --> 00:21:59,000
of de Europese Unie vanuit een mensenrechtenbescherming

343
00:21:59,000 --> 00:22:01,000
om daar niet weer rechts voor te zijn.

344
00:22:01,000 --> 00:22:02,000
Dus dat is uitgeknipt.

345
00:22:02,000 --> 00:22:06,000
Maar politie, handhaving, dat valt wel binnen dat domein.

346
00:22:06,000 --> 00:22:09,000
Net zoals de politie zich aan regels over persoonsgegevens moet houden,

347
00:22:09,000 --> 00:22:12,000
moeten ze zich ook aan regels over AI houden.

348
00:22:12,000 --> 00:22:14,000
En we vinden het best wel risicovol

349
00:22:14,000 --> 00:22:17,000
als iemand bijvoorbeeld ten onrechte zou worden herkend als verdachte.

350
00:22:17,000 --> 00:22:19,000
Maar ook het algemene idee,

351
00:22:19,000 --> 00:22:23,000
dat de politie altijd weet waar iedere Nederlander is.

352
00:22:23,000 --> 00:22:25,000
En dan kun je wel zeggen, ik ben wel onschuldig,

353
00:22:25,000 --> 00:22:28,000
maar een volledige database van alles waar jij was,

354
00:22:28,000 --> 00:22:30,000
dat gaat altijd mis.

355
00:22:30,000 --> 00:22:33,000
Maar dat is de vrijheid van de democratie toch,

356
00:22:33,000 --> 00:22:35,000
die we ooit voor ons zagen.

357
00:22:35,000 --> 00:22:38,000
Ik zou dat heel eng vinden.

358
00:22:38,000 --> 00:22:41,000
Iedereen vindt dat heel eng, maar dit soort dingen,

359
00:22:41,000 --> 00:22:43,000
het is altijd een feature creep ding.

360
00:22:43,000 --> 00:22:45,000
We zijn met nummerplaatherkenning, de ANPR,

361
00:22:45,000 --> 00:22:47,000
zijn we ooit begonnen, dat is handig,

362
00:22:47,000 --> 00:22:49,000
want dan kunnen we kijken wie zijn belasting niet betaald heeft.

363
00:22:49,000 --> 00:22:50,000
De motorrijtuigenbelasting.

364
00:22:50,000 --> 00:22:53,000
Toen was het gewoon, als er iemand een ontvoering heeft gepleegd,

365
00:22:53,000 --> 00:22:55,000
met een kind op de achterbank en die race er vandoor,

366
00:22:55,000 --> 00:22:58,000
tik je dat in en dan kun je hem acuut oppakken.

367
00:22:58,000 --> 00:23:01,000
Als Osama Bin Laden op een motorfiets over daar twee gaat,

368
00:23:01,000 --> 00:23:03,000
dan wil je hem er niet op tegen kunnen houden.

369
00:23:03,000 --> 00:23:05,000
Toen werd het, alle zware criminelen,

370
00:23:05,000 --> 00:23:07,000
- Ik zie het op de grond. - Kansen impact.

371
00:23:07,000 --> 00:23:11,000
Je ziet hoe dat soort dingen dan steeds breder en makkelijker worden.

372
00:23:11,000 --> 00:23:13,000
En je bent er op een gegeven moment aan gewend.

373
00:23:13,000 --> 00:23:16,000
In de jaren zeventig werden er ook wel eens videocamera's opgehangen,

374
00:23:16,000 --> 00:23:19,000
dat was ongeveer kamervragen aan een maatschappelijk debat.

375
00:23:19,000 --> 00:23:22,000
Nu is het ophangen van videocamera's gewoon een vinkje bij,

376
00:23:22,000 --> 00:23:25,000
als je een nieuw bedrijfspand maakt, dan doe je dat.

377
00:23:25,000 --> 00:23:29,000
En nu hebben we de kader van die wetten.

378
00:23:29,000 --> 00:23:31,000
Stel, hij komt er in deze vorm.

379
00:23:31,000 --> 00:23:35,000
Ik neem aan dat dat het begin van je boek is.

380
00:23:35,000 --> 00:23:40,000
Wat beschrijf jij verder?

381
00:23:40,000 --> 00:23:47,000
Het boek biedt jou handvatten om op een praktische manier die compliance in te regelen.

382
00:23:47,000 --> 00:23:50,000
Met heel veel organisaties die zullen hiermee moeten werken

383
00:23:50,000 --> 00:23:52,000
en die zitten met name met zo'n hoog risicosysteem.

384
00:23:52,000 --> 00:23:54,000
Wat moet ik dan allemaal doen?

385
00:23:54,000 --> 00:23:57,000
Het is zowel juridisch als ethisch.

386
00:23:57,000 --> 00:24:02,000
Want compliance, dat denken veel mensen aan iemand die met een clipboard langskomt.

387
00:24:02,000 --> 00:24:04,000
Je hebt allemaal wel eens een ISO-traject gedaan.

388
00:24:04,000 --> 00:24:07,000
Heb je wel dit, heb je wel dat? Heb je een policy verwacht worden?

389
00:24:07,000 --> 00:24:09,000
Een vinkenlijstje.

390
00:24:09,000 --> 00:24:13,000
Alleen als je met dit soort dingen vinkenlijstjes gaat doen, dan kom je er niet.

391
00:24:13,000 --> 00:24:16,000
Want er zitten hier zoveel vragen aan.

392
00:24:16,000 --> 00:24:19,000
Ook bijvoorbeeld, moeten wij dit wel doen? Heeft dit wel zin?

393
00:24:19,000 --> 00:24:21,000
Ik sprak laatst een ondernemer die zei,

394
00:24:21,000 --> 00:24:23,000
als ik een zelfscan-kassaas van supermarkt ga,

395
00:24:23,000 --> 00:24:27,000
dan ga ik een camera maken die met AI herkent of iemand een winkeldief is.

396
00:24:27,000 --> 00:24:30,000
Je hebt gelezen, winkeldiefstal bij de zelfscan-kassa is een enorm probleem.

397
00:24:30,000 --> 00:24:33,000
Dus wij gaan herkennen of iemand een winkeldief is.

398
00:24:33,000 --> 00:24:36,000
En als de AI dat denkt, dan krijg jij een controle.

399
00:24:36,000 --> 00:24:39,000
Dan gaat die let op, er is een medewerker naar je onderweg bij Albert Heijn.

400
00:24:39,000 --> 00:24:43,000
En juridisch kun je daar een compliance procedure op doen.

401
00:24:43,000 --> 00:24:46,000
Ik denk dat je dat zo kunt doen dat eruit komt dat het kan.

402
00:24:46,000 --> 00:24:48,000
Maar dit is ook zo'n ding.

403
00:24:48,000 --> 00:24:50,000
Moet je dat wel willen?

404
00:24:50,000 --> 00:24:53,000
Het valt mij de laatste tijd op, bijna alle supermarkten die het hebben,

405
00:24:53,000 --> 00:24:54,000
hebben ook een groot bord.

406
00:24:54,000 --> 00:24:56,000
Waarom word ik geselecteerd voor controle?

407
00:24:56,000 --> 00:24:58,000
Dit is volkomen willekeurig.

408
00:24:58,000 --> 00:25:03,000
Het ding gooit een dobbelsteen, een D20 en als het 18 is, dan ben jij aan de beurt.

409
00:25:03,000 --> 00:25:06,000
Dat is namelijk het enige dat je aan mensen uit kunt leggen.

410
00:25:06,000 --> 00:25:08,000
Iedereen komt aan de beurt.

411
00:25:08,000 --> 00:25:10,000
We hebben niet genoeg mensen voor iedereen, dus we kiezen mensen eruit.

412
00:25:10,000 --> 00:25:15,000
En zodra het wordt, ik heb een AI die zegt dat u een verhogende kans heeft.

413
00:25:15,000 --> 00:25:17,000
Een winkeldief geheid is waar, maar hoezo dan?

414
00:25:17,000 --> 00:25:22,000
Je draagt een dikke gewatteerde jas, je hebt een Louis Vuitton tasje om en je hebt een bontkraag.

415
00:25:22,000 --> 00:25:24,000
Daar ga je al.

416
00:25:24,000 --> 00:25:29,000
Of als je zegt dat mannen vaker stelen dan vrouwen of bejaarden stelen vaker.

417
00:25:29,000 --> 00:25:31,000
Dat is serieus nu een probleem.

418
00:25:31,000 --> 00:25:35,000
Oude mensen stelen nu vaker dan jonge mensen bij de zelfscan-kassa.

419
00:25:35,000 --> 00:25:38,000
Daar voelen mensen zich toch dan onheus in bejegen.

420
00:25:38,000 --> 00:25:40,000
Dan kom je in de discussie van ethiek.

421
00:25:40,000 --> 00:25:42,000
Moeten we dit wel bouwen?

422
00:25:42,000 --> 00:25:44,000
Heeft dit wel zin?

423
00:25:44,000 --> 00:25:47,000
Dat is waar het boek ook handvaten probeert te geven.

424
00:25:47,000 --> 00:25:51,000
Ik heb daar weinig nieuws in gedaan, veel literatuur erbij gepakt.

425
00:25:51,000 --> 00:25:55,000
Hoe je dit soort dingen bouwt, tips voor user interfaces.

426
00:25:55,000 --> 00:25:57,000
Heel praktisch eigenlijk.

427
00:25:57,000 --> 00:26:00,000
Een van de dingen is bijvoorbeeld de uitlegbaarheid van AI.

428
00:26:00,000 --> 00:26:05,000
AI is heel lang een black box geweest, waardoor je alleen maar kon zien, computer says no.

429
00:26:05,000 --> 00:26:12,000
Er zijn allerlei technieken, LIME, XAI, waarmee je terug kunt rekenen hoe die AI tot zijn beslissing kwam.

430
00:26:12,000 --> 00:26:16,000
Dat zijn technologieën om de black box een beetje te openen.

431
00:26:16,000 --> 00:26:19,000
Het voornaamste probleem daarmee is, dan zegt hij bijvoorbeeld...

432
00:26:19,000 --> 00:26:25,000
Ik heb gezien dat jouw linkerknie blauw was en dat jij een grijze bovenkant had.

433
00:26:25,000 --> 00:26:26,000
Dus jij bent een man.

434
00:26:26,000 --> 00:26:29,000
Dat zijn de factoren waar hij op getraind is.

435
00:26:29,000 --> 00:26:34,000
Dit is niet het soort uitleg waar een jurist een bezwaarschrift op zou baseren.

436
00:26:34,000 --> 00:26:40,000
Dus uitlegbaarheid is niet alleen maar een technische oplossing.

437
00:26:40,000 --> 00:26:44,000
Ik gooi er een LIME-plugin in en dan heb ik XAI en dan kunnen we verder.

438
00:26:44,000 --> 00:26:46,000
Je moet ook binnen je systeem kijken.

439
00:26:46,000 --> 00:26:48,000
Wat ga ik doen met die uitleg?

440
00:26:48,000 --> 00:26:50,000
Dat komt dan bij een mens terecht.

441
00:26:50,000 --> 00:26:53,000
Of iemand heeft bezwaar, neem je dat dan mee?

442
00:26:53,000 --> 00:27:00,000
Dus het is veel meer nadenken over hoe ik die AI inzet en welke opties ik daarbij gebruik.

443
00:27:00,000 --> 00:27:02,000
En heb je het ook over processen?

444
00:27:02,000 --> 00:27:04,000
Ja, het is primair processen.

445
00:27:04,000 --> 00:27:08,000
AI is heel vaak automatisering van bestaande processen.

446
00:27:08,000 --> 00:27:11,000
En heel oneerbiedig, dat gaat vaak vanuit een bezuinigingsmotief.

447
00:27:11,000 --> 00:27:16,000
Ik wil van die dure mensen af, dus ik gooi mijn eerste lijn helpdesk eruit en ik zet AI's in.

448
00:27:16,000 --> 00:27:19,000
Die vragen dan uit en dan gaat het naar een tweede lijn.

449
00:27:19,000 --> 00:27:22,000
En daar zitten dan de wat slimmere mensen.

450
00:27:22,000 --> 00:27:24,000
En dat is allemaal leuk en aardig.

451
00:27:24,000 --> 00:27:27,000
Alleen, als ik een gek verhaal heb, dan kom ik nooit door die eerste lijn.

452
00:27:27,000 --> 00:27:29,000
De LLM snapt dat niet.

453
00:27:29,000 --> 00:27:33,000
En dan moet ik in de wachtkamer voor de gekke gevallen.

454
00:27:33,000 --> 00:27:35,000
Ja, dat duurt gewoon langer.

455
00:27:35,000 --> 00:27:37,000
En dat is gewoon best wel ingewikkeld.

456
00:27:37,000 --> 00:27:40,000
Vroeger kon je bijvoorbeeld bij de helpdesk van Cello of UPC,

457
00:27:40,000 --> 00:27:45,000
als je wat technische termen gooide, werd je meteen doorverwonden met de derde lijn.

458
00:27:45,000 --> 00:27:48,000
Nu, ja, je moet je modem gereset hebben.

459
00:27:48,000 --> 00:27:50,000
En je moet de stekker eruit getrokken hebben.

460
00:27:50,000 --> 00:27:53,000
Meneer, ik zie dat u niet 30 seconden de stekker eruit getrokken heeft.

461
00:27:53,000 --> 00:27:57,000
En ja, ik weet wat er is. Jullie DNS staat verkeerd.

462
00:27:57,000 --> 00:27:59,000
Alles gaat via een Turkse internetprovider.

463
00:27:59,000 --> 00:28:01,000
Wil je dat fixen?

464
00:28:01,000 --> 00:28:03,000
Dat kan ik niet uitleggen.

465
00:28:03,000 --> 00:28:06,000
Dus je probeert er praktische tips in te geven.

466
00:28:06,000 --> 00:28:08,000
Ja, en daar wilde ik eigenlijk ook naar toe.

467
00:28:08,000 --> 00:28:12,000
Want die explainable AI is een van mijn passies ook.

468
00:28:12,000 --> 00:28:15,000
Wat is een van de praktische tips die je daarin geeft?

469
00:28:15,000 --> 00:28:18,000
Het hele stomme is, mensen zijn over het algemeen,

470
00:28:18,000 --> 00:28:20,000
mensen die het systeem gebruiken,

471
00:28:20,000 --> 00:28:24,000
die kijken niet naar de uitleg om te zien of de AI het goed doet.

472
00:28:24,000 --> 00:28:28,000
Het is een psychologisch effect dat als een AI uitleg geeft,

473
00:28:28,000 --> 00:28:30,000
dan lezen wij dat niet.

474
00:28:30,000 --> 00:28:32,000
Dan denken we, zie je wel, hij heeft een verstaanbaar,

475
00:28:32,000 --> 00:28:34,000
hij kan zijn beslissing zelf uitleggen.

476
00:28:34,000 --> 00:28:37,000
Dat versterkt het beeld dat de AI goed bezig is.

477
00:28:37,000 --> 00:28:42,000
Wat veel beter werkt, is als jij als mens zo'n AI-assistent hebt,

478
00:28:42,000 --> 00:28:45,000
dat aan jou een eerste indruk wordt gevraagd.

479
00:28:45,000 --> 00:28:46,000
"Joop, wat denk jij?"

480
00:28:46,000 --> 00:28:49,000
En dan denk jij, nou volgens mij is dit een winkeldief.

481
00:28:49,000 --> 00:28:54,000
Daarna gaat de AI uitleggen of die persoon een winkeldief is.

482
00:28:54,000 --> 00:28:56,000
En dat prikkelt jou veel meer om na te denken,

483
00:28:56,000 --> 00:28:58,000
klopt mijn oordeel eigenlijk wel?

484
00:28:58,000 --> 00:29:02,000
Want als hij bijvoorbeeld zegt, het is een persoon van middelbare leeftijd.

485
00:29:02,000 --> 00:29:04,000
Hij heeft een dure tas bij zich.

486
00:29:04,000 --> 00:29:07,000
Hij heeft net voor 138 euro kerstboodschappen gekocht.

487
00:29:07,000 --> 00:29:09,000
En dan ga je, ik heb net gezegd winkeldief,

488
00:29:09,000 --> 00:29:11,000
maar als ik dit allemaal hoor, klopt dat wel.

489
00:29:11,000 --> 00:29:15,000
Terwijl als hij zegt, dit is geen winkeldief,

490
00:29:15,000 --> 00:29:18,000
en ik zie dit en dit en dit, dan denk jij misschien, nou toch wel.

491
00:29:18,000 --> 00:29:21,000
Dus je moet sommige dingen op zijn kop doen.

492
00:29:21,000 --> 00:29:25,000
Of bijvoorbeeld tijdens de uitleg even stoppen,

493
00:29:25,000 --> 00:29:27,000
en dan vragen, wat zal mijn volgende zin zijn?

494
00:29:27,000 --> 00:29:30,000
Dus de AI gaat aan jou vragen, wat denk jij nu?

495
00:29:30,000 --> 00:29:32,000
Dat is jouw inschatting, die neemt jou mee.

496
00:29:32,000 --> 00:29:36,000
Ja precies, dus dat je het eigenlijk ook een beetje bijstuurt.

497
00:29:36,000 --> 00:29:39,000
En jou meer engaged in je denkproces.

498
00:29:39,000 --> 00:29:43,000
Maar een van de grootste problemen is dat mensen lui worden van een AI.

499
00:29:43,000 --> 00:29:44,000
Ik heb een bekende voorbeeld op Schiphol,

500
00:29:44,000 --> 00:29:47,000
die meneer die in alle koffers moet kijken of er een bom zit.

501
00:29:47,000 --> 00:29:50,000
Nou, gemiddeld zit er geen bom in een koffer.

502
00:29:50,000 --> 00:29:54,000
Dus die heeft weken dat hij gewoon alleen maar, oké, oké, oké.

503
00:29:54,000 --> 00:29:58,000
Dus als je niet uitkijkt, dan drukt hij de hele dag gewoon blind op die knop,

504
00:29:58,000 --> 00:30:00,000
en dan gaat hij ondertussen Facebooken.

505
00:30:00,000 --> 00:30:02,000
Dus wat je dan moet doen ongeveer,

506
00:30:02,000 --> 00:30:05,000
is af en toe random gewoon een bom tonen op het scherm.

507
00:30:05,000 --> 00:30:07,000
Niet echt een bom, maar gewoon...

508
00:30:07,000 --> 00:30:10,000
Als een overleg eroverheen.

509
00:30:10,000 --> 00:30:12,000
Ja, dat hebben we in het verleden wel met echte bommen.

510
00:30:12,000 --> 00:30:15,000
En dan heb je dus een keer dat iemand dan in New York komt en daar landt.

511
00:30:15,000 --> 00:30:17,000
En dan hoeft hij bij de inschatting te zien of er een bom zit.

512
00:30:17,000 --> 00:30:18,000
Ja, maar zij is vergeten het eruit te halen.

513
00:30:18,000 --> 00:30:19,000
Niet zo handig.

514
00:30:19,000 --> 00:30:20,000
Dus een plaatje van bom is handig,

515
00:30:20,000 --> 00:30:23,000
maar daardoor wordt die meneer getriggerd om op te blijven letten.

516
00:30:23,000 --> 00:30:25,000
Alleen dat is heel vervelend werk.

517
00:30:25,000 --> 00:30:27,000
En dan word je op een negatieve manier getriggerd.

518
00:30:27,000 --> 00:30:30,000
Als ik jou inhoudelijk gewoon bij het proces betrokken hou,

519
00:30:30,000 --> 00:30:33,000
hoe kom ik tot het besluit, hoe kom ik tot mijn volgende dingen,

520
00:30:33,000 --> 00:30:38,000
dan blijf jij meer engaged en blijf jij ook kritisch op wat die AI gaat doen.

521
00:30:38,000 --> 00:30:39,000
Ja, eigenlijk inderdaad.

522
00:30:39,000 --> 00:30:40,000
Maar dit is wel veel moeilijker te bouwen.

523
00:30:40,000 --> 00:30:43,000
En dat is wat ik bedoel met ethisch versus juridisch.

524
00:30:43,000 --> 00:30:46,000
Zuif juridisch zou ik zeggen, heb jij explainable AI?

525
00:30:46,000 --> 00:30:48,000
Ja, we hebben de line gedeployed.

526
00:30:48,000 --> 00:30:51,000
Ja, want op zich zit dat ook in die teksten, toch?

527
00:30:51,000 --> 00:30:55,000
Uitlegbaarheid is een vereiste voor de hoogrisicoklasse.

528
00:30:55,000 --> 00:30:56,000
Precies.

529
00:30:56,000 --> 00:30:59,000
Maar er staat nergens bij in welke mate, hoe dat eruit ziet.

530
00:30:59,000 --> 00:31:00,000
Wat je dan krijgt, dat mensen zeggen,

531
00:31:00,000 --> 00:31:03,000
nou, we hebben LIME toegevoegd aan ons systeem,

532
00:31:03,000 --> 00:31:05,000
dus je kunt op het knopje explanation drukken,

533
00:31:05,000 --> 00:31:07,000
en dan klapt er een ding open en dan komen er honderd regels tekst.

534
00:31:07,000 --> 00:31:10,000
Die kun je door ChatGPT heen halen, maak hier een mooie brief van,

535
00:31:10,000 --> 00:31:12,000
en dan hebben we een mooie brief.

536
00:31:12,000 --> 00:31:14,000
Alleen, met alle respect, dit is gewoon bagger.

537
00:31:14,000 --> 00:31:16,000
Dit leest niemand.

538
00:31:16,000 --> 00:31:18,000
Nee, en daar moet je weer gaan meten, inderdaad.

539
00:31:18,000 --> 00:31:20,000
Hoe vaak wordt er eigenlijk überhaupt op die knop gedrukt

540
00:31:20,000 --> 00:31:22,000
en halen we eigenlijk wel het resultaat,

541
00:31:22,000 --> 00:31:24,000
waarmee we eigenlijk zeggen,

542
00:31:24,000 --> 00:31:26,000
we willen die explainability hebben om dat.

543
00:31:26,000 --> 00:31:30,000
Maar dan krijg je dus weer, daar is geen enkele prikkel voor om dat te doen.

544
00:31:30,000 --> 00:31:32,000
Dit is zo ver van je proces.

545
00:31:32,000 --> 00:31:35,000
Compliance heeft gezegd, er is explainable AI,

546
00:31:35,000 --> 00:31:36,000
dus die zijn ook tevreden.

547
00:31:36,000 --> 00:31:38,000
Niemand gaat hier moeilijk over doen.

548
00:31:38,000 --> 00:31:39,000
Dat werkt niet.

549
00:31:39,000 --> 00:31:42,000
Terwijl als jij bijvoorbeeld zegt, wat moeten wij met deze explanation?

550
00:31:42,000 --> 00:31:45,000
Hoe gaan we dit gebruiken in ons vervolgproces?

551
00:31:45,000 --> 00:31:47,000
Ga je misschien je proces anders inrichten?

552
00:31:47,000 --> 00:31:48,000
Ja, mooi.

553
00:31:48,000 --> 00:31:50,000
Dat zet me echt heel hard aan het denken.

554
00:31:50,000 --> 00:31:52,000
Het probleem namelijk met die technologieën die jij beschrijft.

555
00:31:52,000 --> 00:31:57,000
Je hebt LIME, SHAP, je hebt allerlei van dit soort technieken

556
00:31:57,000 --> 00:32:01,000
die je kan gebruiken voor de uitleg te geven op een technisch niveau.

557
00:32:01,000 --> 00:32:05,000
Daar bestaat wat ze dan noemen het disagreement problem.

558
00:32:05,000 --> 00:32:10,000
Oftewel, LIME kan een heel andere uitleg geven dan SHAP.

559
00:32:10,000 --> 00:32:14,000
En niet in de zin van dat ik het anders verwoord dan Niels.

560
00:32:14,000 --> 00:32:17,000
Nee, maar dat ik zeg van het lag aan,

561
00:32:17,000 --> 00:32:21,000
juist omdat het een man is.

562
00:32:21,000 --> 00:32:25,000
En Niels zou zeggen van het is juist omdat het niet een man is.

563
00:32:25,000 --> 00:32:30,000
Die kunnen totaal verschillende uitleg geven over hetzelfde onderwerp.

564
00:32:30,000 --> 00:32:33,000
En dan zit het eigenlijke model, heeft misschien nog een derde pad.

565
00:32:33,000 --> 00:32:35,000
Ja, want het is een ongeveer.

566
00:32:35,000 --> 00:32:37,000
Mensen doen dat ook.

567
00:32:37,000 --> 00:32:40,000
Als ik een inschatting moet maken, ik ben bewaker,

568
00:32:40,000 --> 00:32:43,000
dan zou ik misschien niet altijd kunnen uitleggen waarom ik denk,

569
00:32:43,000 --> 00:32:45,000
die persoon moet ik in de gaten houden.

570
00:32:45,000 --> 00:32:47,000
Ik heb misschien een bepaalde training gehad,

571
00:32:47,000 --> 00:32:50,000
ik zei, verrek, volgens mij zit er aluminiumfolie in die tas.

572
00:32:50,000 --> 00:32:51,000
Ga eens even goed opletten.

573
00:32:51,000 --> 00:32:54,000
En een ander is, iemand staat schichtig om zich heen te kijken,

574
00:32:54,000 --> 00:32:56,000
heeft een dikke jas aan terwijl het 30 graden is.

575
00:32:56,000 --> 00:32:57,000
Daar rijd jij dan weer op.

576
00:32:57,000 --> 00:33:01,000
En een ander die zegt, daar heb je weer zo'n persoon van het kamp,

577
00:33:01,000 --> 00:33:03,000
die ga ik eens eventjes in de gaten houden.

578
00:33:03,000 --> 00:33:05,000
Dat zijn allemaal verschillende motieven en dingen.

579
00:33:05,000 --> 00:33:10,000
En dat vinden wij een soort van oké, dat noem je dan menselijke intuïtie.

580
00:33:10,000 --> 00:33:13,000
Maar AI's worden daarin wel aan een hogere standaard gehouden.

581
00:33:13,000 --> 00:33:17,000
Ja, en terecht denk ik, want het gaat natuurlijk ook op een grotere schaal.

582
00:33:17,000 --> 00:33:21,000
En jij hebt nu een systeem wat tenminste een beetje controleerbaar is.

583
00:33:21,000 --> 00:33:24,000
Dus de manier waarop mensen denken en een basis hebben,

584
00:33:24,000 --> 00:33:26,000
die is minder controleerbaar.

585
00:33:26,000 --> 00:33:28,000
Ik zie het bijvoorbeeld in de Human Resources,

586
00:33:28,000 --> 00:33:31,000
dus in Recruitment en Personeel Development,

587
00:33:31,000 --> 00:33:34,000
daar wordt nu ook heel veel AI ingezet met het idee,

588
00:33:34,000 --> 00:33:36,000
dan is het niet alleen met die drie mensen die jij op gesprek hebt,

589
00:33:36,000 --> 00:33:40,000
maar dan kun je bijvoorbeeld iedereen door een mooi interview heen halen.

590
00:33:40,000 --> 00:33:42,000
Of kun je van al je personeel goed monitoren,

591
00:33:42,000 --> 00:33:44,000
dat zou een high potential kunnen zijn.

592
00:33:44,000 --> 00:33:46,000
Dat zou een directeur kunnen worden.

593
00:33:46,000 --> 00:33:48,000
Die moeten wij extra dingen gaan geven.

594
00:33:48,000 --> 00:33:51,000
Waarbij het risico is dat jij dan het bekend voorbeeld,

595
00:33:51,000 --> 00:33:54,000
de CEO huurt altijd zijn replacement.

596
00:33:54,000 --> 00:33:56,000
Dat is een broodje, die moet ik hebben.

597
00:33:56,000 --> 00:33:59,000
Terwijl je misschien juist een heel ander iemand daar zou willen hebben,

598
00:33:59,000 --> 00:34:00,000
die gewoon ook heel goed is,

599
00:34:00,000 --> 00:34:03,000
maar op een heel andere manier dan de huidige directeur.

600
00:34:03,000 --> 00:34:07,000
En AI belooft daar objectiviteit en eerlijkheid in.

601
00:34:07,000 --> 00:34:10,000
Maar ik zie je al kijken, het probleem is daar ook vaak,

602
00:34:10,000 --> 00:34:13,000
zijn de datasets daar wel goed genoeg in?

603
00:34:13,000 --> 00:34:15,000
Zijn de systemen daar wel voor ontwikkeld?

604
00:34:15,000 --> 00:34:19,000
Alleen al dat je bijvoorbeeld mensen vraagt een sollicitatiebrief op te sturen,

605
00:34:19,000 --> 00:34:23,000
selecteert al voor op mensen die heel goed schriftelijk zijn.

606
00:34:23,000 --> 00:34:27,000
Wat we nu vaak zien, bijvoorbeeld bij McDonald's en dat soort bedrijven,

607
00:34:27,000 --> 00:34:29,000
moet jij nu een video in spreken.

608
00:34:29,000 --> 00:34:32,000
Waarom het jouw passie is om hamburgers te kopen bij McDonald's.

609
00:34:32,000 --> 00:34:33,000
Echt waar?

610
00:34:33,000 --> 00:34:37,000
En AI gaat dan kijken of dit echt jouw passie is.

611
00:34:37,000 --> 00:34:40,000
En anders dan kom je niet door de sollicitatie heen.

612
00:34:40,000 --> 00:34:42,000
Maar het leuke is dan ook weer,

613
00:34:42,000 --> 00:34:45,000
er zijn nu allerlei sollicitatie trainingen die jou dan helpen.

614
00:34:45,000 --> 00:34:47,000
Om daar doorheen te komen.

615
00:34:47,000 --> 00:34:49,000
Om jouw passie goed om met voetbal te spelen.

616
00:34:49,000 --> 00:34:51,000
Dat is ook weer een beetje de AI race.

617
00:34:51,000 --> 00:34:55,000
Net zoals nu, mensen sturen mij sollicitatiebrieven van,

618
00:34:55,000 --> 00:34:58,000
ik weet dat heb jij door ChatGPT laten schrijven.

619
00:34:58,000 --> 00:35:02,000
En dan kan ik ook weer een brief terugsturen met ChatGPT.

620
00:35:02,000 --> 00:35:04,000
Ik word er zelf dan een beetje moe van.

621
00:35:04,000 --> 00:35:10,000
Er komt nu heel veel meer verbiage, heel veel meer teksten komt op ons af,

622
00:35:10,000 --> 00:35:12,000
omdat die AI systemen dat realiseren.

623
00:35:12,000 --> 00:35:14,000
Dus ja, dat maakt hem wel een beetje moe.

624
00:35:14,000 --> 00:35:18,000
Heb je ergens ChatGPT gebruikt bij het schrijven van je boek?

625
00:35:18,000 --> 00:35:21,000
Ja, voor de outlines en voor de voorbeelden.

626
00:35:21,000 --> 00:35:23,000
Daar is hij best wel goed in.

627
00:35:23,000 --> 00:35:26,000
Maar je moet hem echt wel aan een kort lijntje houden.

628
00:35:26,000 --> 00:35:29,000
Want zodra ik dan bijvoorbeeld vraag, noem eens vijf voorbeelden van discriminatie.

629
00:35:29,000 --> 00:35:32,000
Dan komt hij met vier voorbeelden die ik goed ken.

630
00:35:32,000 --> 00:35:34,000
Eén voorbeeld dat ik wat minder goed ken.

631
00:35:34,000 --> 00:35:36,000
Dan ga je dat even googelen en ja hoor, heeft hij zelf verzonnen.

632
00:35:36,000 --> 00:35:43,000
Ik heb een hele partij custom prompts met blijf van de inhoud af.

633
00:35:43,000 --> 00:35:46,000
Herschrijven, let op stijl en dat soort dingen.

634
00:35:46,000 --> 00:35:49,000
Maar bijvoorbeeld goede bolletjeslijst schrijven.

635
00:35:49,000 --> 00:35:52,000
Ik moest op een gegeven moment ergens uitleggen wat een valse positief en een valse negatief is.

636
00:35:52,000 --> 00:35:55,000
Daar komt gewoon een prima tekst uit met een mooi voorbeeld.

637
00:35:55,000 --> 00:36:00,000
En dat ik dan op een gegeven moment, een ander onderdeel van het boek is,

638
00:36:00,000 --> 00:36:04,000
dat je een bepaalde checklist doet en daar moet dan een zogeheten spider chart,

639
00:36:04,000 --> 00:36:06,000
een radardiagram heet dat ook wel.

640
00:36:06,000 --> 00:36:13,000
Nou, dan vraag ik aan hem, maak eens even getalletjes om voor een patiënt monitoringsysteem

641
00:36:13,000 --> 00:36:16,000
de beste radar chart te maken en doe dat als CSV.

642
00:36:16,000 --> 00:36:18,000
Dan komt het eruit, dat pak je in Excel en dan krijg je een chart.

643
00:36:18,000 --> 00:36:20,000
Dat soort dingen scheelt gewoon werk.

644
00:36:20,000 --> 00:36:24,000
Maar als je de teksten laat schrijven, ik heb op één plaats in hoofdstuk één,

645
00:36:24,000 --> 00:36:27,000
daar wilde ik echt helemaal over de top beginnen.

646
00:36:27,000 --> 00:36:33,000
Ik wil altijd zoiets zeggen van AI is een science fiction, is een droom.

647
00:36:33,000 --> 00:36:34,000
Dit en dat.

648
00:36:34,000 --> 00:36:39,000
En dat heb ik erin gestopt en gezegd, oké, wees zo grandeus en onheus mogelijk.

649
00:36:39,000 --> 00:36:44,000
Je bent een Engelse rechtenprofessor van 82 die nog één keer wil vlammen.

650
00:36:44,000 --> 00:36:48,000
Few things in the grand narrative of time, et cetera.

651
00:36:48,000 --> 00:36:52,000
Dus voor over de top dingen is het dan waar we heel erg gaan.

652
00:36:52,000 --> 00:36:55,000
Maar ook even dat je zegt, ik doe er een spellingscheck doorheen.

653
00:36:55,000 --> 00:36:59,000
Wat ik wel heb gemerkt, het boek wordt ook gebruikt als verplichte literatuur

654
00:36:59,000 --> 00:37:02,000
bij onze opleiding tot AI compliance officer.

655
00:37:02,000 --> 00:37:04,000
Dat is wat we vanuit ICTRecht doen.

656
00:37:04,000 --> 00:37:06,000
Dus daar moet je gewoon door het boek heen.

657
00:37:06,000 --> 00:37:08,000
Dan moet je allerlei casussen doen.

658
00:37:08,000 --> 00:37:11,000
ChatGPT is geweldig als je bijvoorbeeld backgrounds voor een casus wil maken.

659
00:37:11,000 --> 00:37:15,000
Omdat je dan ook kunt zeggen, ik heb een patiënt monitoring systeem

660
00:37:15,000 --> 00:37:18,000
dat monitort mensen met diabetes op hun bloedsuiker.

661
00:37:18,000 --> 00:37:20,000
Beschrijf zo'n systeem.

662
00:37:20,000 --> 00:37:24,000
Verzin allerlei dingen over hoe dat dan wordt verwerkt.

663
00:37:24,000 --> 00:37:28,000
Geef mij een typische systeemarchitectuur gekoppeld aan Microsoft Azure.

664
00:37:28,000 --> 00:37:31,000
Nou ja, de Power BI's en de andere, die vliegen je om de oren.

665
00:37:31,000 --> 00:37:33,000
Kun je ook allemaal zelf doen.

666
00:37:33,000 --> 00:37:35,000
Maar hij heeft dat in 10 seconden klaar.

667
00:37:35,000 --> 00:37:39,000
Dan kun je ook zeggen, maak me er een systeemdiagrammetje bij.

668
00:37:39,000 --> 00:37:42,000
Het is allemaal nep en het is voor juristen.

669
00:37:42,000 --> 00:37:43,000
Het is allemaal prima.

670
00:37:43,000 --> 00:37:46,000
Het gaat er vooral om dat je meters hebt voor oefenstof.

671
00:37:46,000 --> 00:37:47,000
Dat je kunt kijken.

672
00:37:47,000 --> 00:37:48,000
Ja, dat is prachtig.

673
00:37:48,000 --> 00:37:50,000
Wat ik ook nog een hele mooie vond, er komt dus ook een toets achteraan.

674
00:37:50,000 --> 00:37:56,000
Je kunt een hoofdstuk erin gooien en dan zeggen, ik wil 10 toetsvragen uit dit hoofdstuk.

675
00:37:56,000 --> 00:37:59,000
Meer keuze op Bloom niveau 4.

676
00:37:59,000 --> 00:38:01,000
Dus dat is verwerken, analyseren.

677
00:38:01,000 --> 00:38:03,000
Bloom is het niveau voor moeilijkheid van dingen.

678
00:38:03,000 --> 00:38:06,000
En gemotiveerd waarom ieder antwoord goed of fout is.

679
00:38:06,000 --> 00:38:09,000
En ook dat weer, je moet er zelf nog aan snoeien.

680
00:38:09,000 --> 00:38:11,000
Maar de meters zijn alvast gemaakt.

681
00:38:11,000 --> 00:38:12,000
Precies, oh mooi.

682
00:38:12,000 --> 00:38:15,000
Als ik zelf moet nadenken over meer keuzevragen en een hoog en laag.

683
00:38:15,000 --> 00:38:19,000
En precies op dat niveau, dan moet je bijna specialist zijn.

684
00:38:19,000 --> 00:38:22,000
Ik heb nu 3 op midden niveau, ik heb er 2 op het hoge niveau.

685
00:38:22,000 --> 00:38:23,000
En 1 hele moeilijke vraag.

686
00:38:23,000 --> 00:38:27,000
En dan, nou ja, daar komt er ook een modelantwoord bij.

687
00:38:27,000 --> 00:38:29,000
En dat zijn vaak de dingen waar het op mis gaat.

688
00:38:29,000 --> 00:38:32,000
Dat je dan wel kunt uitleggen dat antwoord A het goede antwoord is.

689
00:38:32,000 --> 00:38:34,000
Maar je bent vergeten waarom B, C en D fout zijn.

690
00:38:34,000 --> 00:38:38,000
En dan komt er een student en die zegt, maar C is toch ook een goed antwoord.

691
00:38:38,000 --> 00:38:40,000
En als er nu overal in ieder geval een verhaaltje bij zit.

692
00:38:40,000 --> 00:38:43,000
Je bent in veel minder tijd klaar met dat soort dingen.

693
00:38:43,000 --> 00:38:45,000
Dus dat is wel heel erg fijn.

694
00:38:45,000 --> 00:38:48,000
Ja, en wat je zegt, het is een verbetering in je proces.

695
00:38:48,000 --> 00:38:51,000
Het is efficiëntie, maar je hebt nog steeds zelf de controle erover.

696
00:38:51,000 --> 00:38:53,000
Dus je weet waar je het over hebt en daar toets je het op.

697
00:38:53,000 --> 00:38:54,000
Je gaat het niet blind doorsturen.

698
00:38:54,000 --> 00:38:57,000
Ik heb dat ook met onze andere opleiding hebben we dat gedaan.

699
00:38:57,000 --> 00:38:59,000
Dat mensen een essay opdracht krijgen.

700
00:38:59,000 --> 00:39:02,000
En daar zitten dan nakijkcriteria naar.

701
00:39:02,000 --> 00:39:03,000
Dus dat is eigenlijk ook een custom prompt.

702
00:39:03,000 --> 00:39:05,000
Hier zijn 5 modelantwoorden.

703
00:39:05,000 --> 00:39:07,000
Hier is de puntenverdeling.

704
00:39:07,000 --> 00:39:09,000
En wat er dan gebeurt, mensen schrijven een essay, schrijven een antwoord.

705
00:39:09,000 --> 00:39:12,000
Dat gaat naar onze custom GPT oplossing.

706
00:39:12,000 --> 00:39:15,000
En die stuurt dan een nagekeken modelantwoord.

707
00:39:15,000 --> 00:39:17,000
Dus er zijn 5 punten te halen.

708
00:39:17,000 --> 00:39:18,000
Jij hebt er 3 gehaald.

709
00:39:18,000 --> 00:39:20,000
Want jouw antwoord benoem jij A, B en F.

710
00:39:20,000 --> 00:39:23,000
En jij hebt weliswaar dit genoemd, maar daar ging de vraag niet over.

711
00:39:23,000 --> 00:39:25,000
En jij hebt dat genoemd, maar verkeerd om.

712
00:39:25,000 --> 00:39:27,000
Nou ja, dat kan ik dan editen.

713
00:39:27,000 --> 00:39:29,000
En dan kun je dat vrij snel doorzetten.

714
00:39:29,000 --> 00:39:32,000
Maar wat je natuurlijk niet wil, is dat ChatGPT dat antwoord teruggeeft.

715
00:39:32,000 --> 00:39:33,000
Nee.

716
00:39:33,000 --> 00:39:36,000
Dat staat altijd, nou niet altijd, dat is de pest.

717
00:39:36,000 --> 00:39:38,000
10% van de tijd staat er gewoon een fout in.

718
00:39:38,000 --> 00:39:40,000
En dat kun je gewoon niet maken.

719
00:39:40,000 --> 00:39:43,000
Maar het scheelt al heel veel dat je het gewoon terugkrijgt.

720
00:39:43,000 --> 00:39:45,000
Dat je het ook in een bepaald technisch formaat kunt doen.

721
00:39:45,000 --> 00:39:48,000
Dat het meteen door kan in een e-mailtje.

722
00:39:48,000 --> 00:39:50,000
Of in je leersysteem, et cetera.

723
00:39:50,000 --> 00:39:52,000
Dus dat soort dingen scheelt gewoon heel veel tijd.

724
00:39:52,000 --> 00:39:54,000
En dom nadenkwerk.

725
00:39:54,000 --> 00:39:56,000
Want ik hoef nu alleen maar de moeilijke dingen na te kijken.

726
00:39:56,000 --> 00:40:00,000
En Arnoud, wie is je doelgroep voor het boek?

727
00:40:00,000 --> 00:40:02,000
Wij zijn technici.

728
00:40:02,000 --> 00:40:03,000
Lezen wij het ook?

729
00:40:03,000 --> 00:40:05,000
Ik denk dat technici het zeker kunnen lezen.

730
00:40:05,000 --> 00:40:07,000
Als je aan de slag gaat met AI-systemen.

731
00:40:07,000 --> 00:40:13,000
Maar ik denk wel, het is niet een handleiding zoals Python leren programmeren.

732
00:40:13,000 --> 00:40:17,000
Het is misschien meer voor de programmanager of de lead developer.

733
00:40:17,000 --> 00:40:21,000
Waar moeten we aan denken als wij deze applicatie, als wij hier AI in gaan stoppen?

734
00:40:21,000 --> 00:40:26,000
Gespiegeld, wat ik zei, die opleiding tot compliance officer.

735
00:40:26,000 --> 00:40:31,000
Dat is de persoon die in jouw organisatie of afdeling de vraag maakt.

736
00:40:31,000 --> 00:40:33,000
Doen wij dit wel goed?

737
00:40:33,000 --> 00:40:36,000
Wij zijn dit en we zijn een smartwatch aan het bouwen.

738
00:40:36,000 --> 00:40:39,000
Die gaat ook je bloedsuiker in de gaten houden.

739
00:40:39,000 --> 00:40:40,000
Waar moet ik dan allemaal aan denken?

740
00:40:40,000 --> 00:40:45,000
Wij hadden bedacht een drone te maken die op kantoor de koffie rondbrengt.

741
00:40:45,000 --> 00:40:47,000
Wat komen we dan tegen?

742
00:40:47,000 --> 00:40:49,000
Is dat een hoog risicosysteem?

743
00:40:49,000 --> 00:40:53,000
Ik zou het wel kunnen schrijven.

744
00:40:53,000 --> 00:40:55,000
Ik heb het wel gezien.

745
00:40:55,000 --> 00:40:57,000
Het probleem is natuurlijk de koffie recht te houden.

746
00:40:57,000 --> 00:41:00,000
Maar goed, daar schijnt een oplossing voor te zijn.

747
00:41:00,000 --> 00:41:01,000
Dat zijn allemaal dingen.

748
00:41:01,000 --> 00:41:03,000
Is dat hoog risico?

749
00:41:03,000 --> 00:41:08,000
Vaak zijn developers zich niet goed van bewust wanneer dingen voor mensen risico's zijn.

750
00:41:08,000 --> 00:41:16,000
Iedereen die op het snijvlak zit van AI en legal.

751
00:41:16,000 --> 00:41:18,000
Ik schrijf het ook voor de juristen.

752
00:41:18,000 --> 00:41:22,000
De compliance opleiding loopt als een tierelier.

753
00:41:22,000 --> 00:41:26,000
Daar zitten zowel technische mensen als ook meer juridisch.

754
00:41:26,000 --> 00:41:29,000
En compliance dus risico's en dergelijke.

755
00:41:29,000 --> 00:41:32,000
Er wordt ook een stukje techniek in uitgelegd.

756
00:41:32,000 --> 00:41:34,000
Dus je komt van beide kanten.

757
00:41:34,000 --> 00:41:36,000
Dan heb je geen speciale voorkennis nodig.

758
00:41:36,000 --> 00:41:38,000
Maar we springen wel snel de diepte in.

759
00:41:38,000 --> 00:41:40,000
Want je moet wel aan de slag.

760
00:41:40,000 --> 00:41:42,000
Enige voorkennis wordt wel verondersteld.

761
00:41:42,000 --> 00:41:46,000
We hebben een AI podcast.

762
00:41:46,000 --> 00:41:49,000
Dus we hebben ook een virtuele co-host.

763
00:41:49,000 --> 00:41:52,000
Zij wil ook graag even een vraag stellen als je dat goed vindt.

764
00:41:52,000 --> 00:41:54,000
Ja, tuurlijk.

765
00:41:55,000 --> 00:41:58,000
Aisha.

766
00:41:58,000 --> 00:42:00,000
Aisha.

767
00:42:04,000 --> 00:42:06,000
Een intelligente vraag van Aisha.

768
00:42:06,000 --> 00:42:15,000
Voor we verder gaan, wil ik me even voorstellen.

769
00:42:15,000 --> 00:42:19,000
Ik ben Aisha, de AI van deze show.

770
00:42:19,000 --> 00:42:22,000
Zou je het goed vinden als ik je een vraag stel?

771
00:42:22,000 --> 00:42:24,000
Ja.

772
00:42:24,000 --> 00:42:34,000
Techniek in het algemeen heeft vaak bewezen...

773
00:42:34,000 --> 00:42:37,000
dat vrouwen sneller vooruit kunnen helpen dan mannen.

774
00:42:37,000 --> 00:42:40,000
Een bekend voorbeeld is de wasmachine.

775
00:42:40,000 --> 00:42:42,000
En andere, de stofzuiger.

776
00:42:42,000 --> 00:42:44,000
Waardoor vrouwen minder tijd nodig hadden voor het huishouden.

777
00:42:44,000 --> 00:42:46,000
Dat is een bewezen effect.

778
00:42:46,000 --> 00:42:48,000
En daardoor eerder aan het werk konden gaan.

779
00:42:48,000 --> 00:42:50,000
Dus dat is een belangrijke reden...

780
00:42:50,000 --> 00:42:52,000
waarvan ook AI hierin kan helpen.

781
00:42:52,000 --> 00:42:57,000
Dat was een bijzonder interessant antwoord, bedankt.

782
00:42:57,000 --> 00:43:00,000
Zeker een mooi antwoord.

783
00:43:00,000 --> 00:43:03,000
Dat ga ik goed onthouden.

784
00:43:03,000 --> 00:43:10,000
Normaal gesproken lezen we het boek voordat we aan tafel gaan zitten.

785
00:43:10,000 --> 00:43:14,000
Door omstandigheden is dat er even niet van gekomen.

786
00:43:16,000 --> 00:43:21,000
Maar we hebben wel voor de oplettende luisteraars...

787
00:43:21,000 --> 00:43:24,000
boeken besteld die je kan winnen.

788
00:43:24,000 --> 00:43:29,000
Misschien Arnoud, ik ga je dat out of the blue vragen...

789
00:43:29,000 --> 00:43:31,000
want dat hebben we niet van tevoren besproken.

790
00:43:31,000 --> 00:43:37,000
Wat zou een vraag zijn die zij zouden moeten beantwoorden...

791
00:43:37,000 --> 00:43:40,000
om dit boek van jou te kunnen winnen van ons?

792
00:43:40,000 --> 00:43:45,000
Dat vind ik een hele leuke.

793
00:43:45,000 --> 00:43:49,000
We hebben het met name over een technisch georiënteerd publiek...

794
00:43:49,000 --> 00:43:53,000
die hier zit te luisteren en denkt 'wat moet ik hier nou mee?'

795
00:43:53,000 --> 00:43:57,000
Ik zou het wel aardiger vinden...

796
00:43:57,000 --> 00:43:59,000
een van de dingen die ik vaak zie is dat mensen zeggen...

797
00:43:59,000 --> 00:44:01,000
AI is objectief.

798
00:44:01,000 --> 00:44:04,000
In tegenstelling tot al die biased mensen, et cetera.

799
00:44:04,000 --> 00:44:06,000
Dus dan zou ik wel eens willen weten...

800
00:44:06,000 --> 00:44:10,000
in een proces waar ik AI inzet om mensen te beoordelen.

801
00:44:10,000 --> 00:44:12,000
Dus bijvoorbeeld kunnen zij het nakijken van toetsen...

802
00:44:12,000 --> 00:44:15,000
of functioneringsgesprekken van mensen.

803
00:44:15,000 --> 00:44:20,000
Hoe stel je dan vast dat die AI objectief handelt?

804
00:44:20,000 --> 00:44:22,000
Of objectief genoeg?

805
00:44:22,000 --> 00:44:24,000
Hoe zou je dat vast kunnen stellen?

806
00:44:24,000 --> 00:44:30,000
Dus is daar een procedure, een testcriteria of iets dergelijks voor?

807
00:44:30,000 --> 00:44:32,000
Ik ben jurist, dus ik zeg meteen...

808
00:44:32,000 --> 00:44:34,000
het hoeft geen perfecte oplossing zijn.

809
00:44:34,000 --> 00:44:36,000
Mensen denken vaak als hij niet perfect is...

810
00:44:36,000 --> 00:44:38,000
of als er een bug in zit is het geen goede oplossing.

811
00:44:38,000 --> 00:44:41,000
Voor een jurist is 80% echt heel mooi.

812
00:44:41,000 --> 00:44:44,000
De rest zien we bij de rechter wel weer een keer.

813
00:44:44,000 --> 00:44:48,000
Dus goed genoeg om in 80% van de gevallen te zeggen...

814
00:44:48,000 --> 00:44:50,000
dat was een objectieve beslissing.

815
00:44:50,000 --> 00:44:53,000
Dus wie daar een filosofische insteek op heen...

816
00:44:53,000 --> 00:44:55,000
en ik herken ChatGPT-antwoorden...

817
00:44:55,000 --> 00:44:57,000
dat zou ik wel heel mooi vinden.

818
00:44:57,000 --> 00:44:59,000
Mooi vraag.

819
00:44:59,000 --> 00:45:01,000
Laat je antwoord achter op de socials.

820
00:45:01,000 --> 00:45:05,000
Waar kunnen ze terecht om jouw boek te bestellen?

821
00:45:05,000 --> 00:45:08,000
Dan kun je naar ictrecht.shop gaan.

822
00:45:08,000 --> 00:45:11,000
Daar staat iets van de andere boeken.

823
00:45:11,000 --> 00:45:13,000
Ten tijde van dit spreken hoop ik dat de drukker zegt...

824
00:45:13,000 --> 00:45:15,000
ik heb weer een vrachtwagen met een laadklep.

825
00:45:15,000 --> 00:45:17,000
Want dat waren de technische problemen die we hadden.

826
00:45:17,000 --> 00:45:19,000
Dus ik hoop dat het zo snel mogelijk is.

827
00:45:19,000 --> 00:45:22,000
Anders ga ik eind deze week het zelf ophalen met de stationwagon.

828
00:45:22,000 --> 00:45:25,000
Hij is er en hij komt er.

829
00:45:25,000 --> 00:45:27,000
Hartstikke mooi.

830
00:45:27,000 --> 00:45:30,000
Wij nemen uiteraard de link op in onze show-note.

831
00:45:30,000 --> 00:45:33,000
Arnoud, hartstikke bedankt voor dit interessante gesprek.

832
00:45:33,000 --> 00:45:34,000
Graag gedaan.

833
00:45:34,000 --> 00:45:39,000
We zijn ooit de podcast begonnen om te vertellen over AI...

834
00:45:39,000 --> 00:45:44,000
en zijn gasten uit te nodigen om onze blik te verruimen.

835
00:45:44,000 --> 00:45:48,000
Het wordt natuurlijk gezien als een soort van systeemtechnologie...

836
00:45:48,000 --> 00:45:50,000
dat het best wel heel veel mensen raakt.

837
00:45:50,000 --> 00:45:53,000
Voor mij is het heel erg leuk om juist hele andere hoeken...

838
00:45:53,000 --> 00:45:56,000
zoals met jij, de legal, om daarover te horen...

839
00:45:56,000 --> 00:45:58,000
wat daar dan allemaal speelt op dit gebied...

840
00:45:58,000 --> 00:46:02,000
naast de technische invulling die wij geven.

841
00:46:02,000 --> 00:46:04,000
Super bedankt voor al je inzichten.

842
00:46:04,000 --> 00:46:06,000
Graag gedaan en tot de volgende keer.

843
00:46:06,000 --> 00:46:09,000
Zo, hij kwam binnen.

844
00:46:09,000 --> 00:46:11,000
Hatsiekadee.

845
00:46:11,000 --> 00:46:13,000
Het schuifje stond nog open.

846
00:46:13,000 --> 00:46:14,000
Dat heb ik af en toe eens.

847
00:46:14,000 --> 00:46:18,000
Dank je wel dat je luisterde naar weer een interessante aflevering...

848
00:46:18,000 --> 00:46:20,000
van de AIToday Live.

849
00:46:20,000 --> 00:46:24,000
Vergeet je niet te abonneren via je favoriete podcast-app.

850
00:46:24,000 --> 00:46:27,000
En weet dat we tegenwoordig ook een hele interessante nieuwsbrief hebben...

851
00:46:27,000 --> 00:46:29,000
met exclusieve content voor je.

852
00:46:29,000 --> 00:46:30,000
Dus schrijf je in.

853
00:46:30,000 --> 00:46:32,000
Dankjewel voor het luisteren.

854
00:46:32,000 --> 00:46:34,000