S02E04 - Onderzoek naar Explainable AI met Ouren Kuiper (Lectoraat HU)

In deze aflevering spreken we met Ouren Kuiper, onderzoeker AI bij Utrecht University of Applied Sciences. Ouren heeft een onderzoek uitstaan over het gebruik van Explainable AI. We bespreken de voorlopige resultaten van dit onderzoek met hem.

In deze aflevering o.a.:

• Co-pilot GitHub
• TNO proeftuin
• AI en De Nachtwacht
• Onderzoek naar gebruik van Explainable AI
• Welke tools en platformen worden er gebruikt voor Explainable AI in de markt?
• Wat zijn de valkuilen bij Explainable AI?

Links

• Paper ‘Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead” - Cynthia Rudin - https://arxiv.org/abs/1811.10154
• Het lectoraat AI van de Hogeschool Utrecht doet onderzoek naar Explainable Artificial Intelligence, bijvoorbeeld in de vorm van een korte vragenlijst van 5-10 minuten gericht op data scientists en AI-ontwikkelaars, of mensen die daarmee samenwerken: https://forms.office.com/r/cFBVqz5a5M

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Chapters

• 2:41 AI in het Nieuws
• 16:52 Onderzoek naar Explainable AI
• 33:36 Explainable AI in de praktijk

Transcript

0:00

Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence, ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt hadden gevonden. Dat gaat ons helpen om nog grotere problemen te gaan oplossen. Denk maar aan een computer die zelf kan leren. Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus het is door de mens bedacht. Bij kunstmatige intelligentie denk ik aan data. Zo, kunstmatige intelligentie. Eerlijk gezegd weet ik niet wat dat is. Hi, je luistert naar de podcast AIToday Live van Imageaboard. Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in the enterprise en AI in de praktijk. Welkom allemaal bij de vierde aflevering van de podcast AIToday Live. Leuk dat je weer luistert. We hebben vandaag weer een speciale gast. In deze aflevering hebben we het genoegen dat Oran Kuijper vanuit de hoogschool Utrecht aansluit. Oran, uiteraard welkom bij deze podcast. Voordat we verder gaan, zou je jezelf even kort willen voorstellen aan de luisteraars? Ja, zeker. Dankjewel. Ik ben Oran Kuijper. Het ging toch niet helemaal goed. Het is een erg uitdagende naam. Ja, Oran, als in A-U-R-E-N. Zo schrijft iedereen het, maar het is O-U-R-E-N. Ik werk bij het lectoraat AI van de hoogschool Utrecht. Ik doe daar onderzoek naar zowel de ethische aspect van AI, hoe die te bewaken zijn in het ontwikkelen van AI, maar ook naar de uitlegbaarheid van artificial intelligence. Dus hoe organisaties ook hun modellen uit kunnen leggen, zodat niet alleen de ontwikkelaars het ook een beetje snappen, maar ook alle andere stakeholders. Ik ben Jasmara Beste, een stagiair van mij. Die kan helaas niet bij zijn. Meneer heeft een heel leuke vraaglijst uitgezet, waar we een beetje grip proberen te krijgen op uitlegbare AI, explainable AI, ook technieken, welke er in het bedrijfsleven gebruikt worden in Nederland, wat voor platformen erbij horen en waar het een beetje heen gaat. Het lijkt me heel leuk om daar iets over te vertellen vandaag. Mooi. Dat gaan we doen. Leuk, ja. Laten we de diepte induiken. Precies. Een uitermate interessant onderwerp. We hebben in onze podcast al wat meerdere afleveringen besteed aan explainable AI. Dus dit is een heel mooi verlengde daarvan. Dus we zijn erg benieuwd. Maar dat is het hoofdthema voor ietsje later. We beginnen zoals altijd van wat is ons opgevallen over AI in het nieuws, in het algemeen. Dus laten we daar eerst eventjes naar kijken.[muziek] Ja, Auron, om met jou te beginnen. We hebben die vraag natuurlijk aan jou ook gesteld. Is jou iets opgevallen deze, nou ja, laten we zeggen de afgelopen weken? Ja, ik heb een heleboel interessante dingen die ik tegenkwam. Ik wil beginnen met eentje die me heel erg aansprak. Dat is de Nachtwacht, een heel bekend schilderij. Is kennelijk ooit een keer bij een verhuizing. Past dat niet helemaal, hebben ze een stuk van afgeknipt. Zoals dat vroeger mooi ging, lekker hap-snap. En nu met behulp van generatieve AI heeft het Rijksmuseum er tijdelijk een soort de zijkanten er weer bij hersteld. Ik had gezien hoe dat eruit zag, niet live helaas. Maar überhaupt de hele generatieve AI, ook met de GTP3 en ook DALI, een soort visuele varianten van. Moet je er maar eens naar kijken. Volgens mij van DeepMind. Ik ben even kwijt wie dat heeft gemaakt. Maar wat er tegenwoordig kan met wat gans, met wat generatieve netwerk is echt wonderbaarlijk. Het is gewoon helemaal in de stijl van Rembrandt. Ik zou heel erg graag vinden dat ze die missinglijke stukken nog eens terugvinden. Dat je ook kan nagaan, klopt het nou een beetje wat zo'n AI ervan maakt? Ja, of je de rest van het schilderij in moet vullen. Dat vond ik heel interessant. Ja, dat was zeker interessant. En je zei dat er verschillende dingen opgevallen waren. Wat had je nog meer? Ik zag ook dat de World Health Organization een rapport had uitgebracht over AI in de zorg. Het is zo interessant dat heel veel organisaties, non-governmental, maar ook iedereen brengt iets naar buiten over AI. Wat daar nou mee moet. Dit ging ook veel over bias, wat volgens mij jullie vorige podcast ook over ging. Wat ook steeds wel meer een thema is, dat je toch als je een dataset alleen maar traint op één soort mensen. Dat kan ook helemaal, als je medische voorspellingen daarmee gaat doen, kan dat ook echt grote gevolgen hebben. Ik las ook dat MIT had een hele bekende dataset met gezichten. Die hadden ze toch maar neergehaald, want daar zaten ook labels in die... Ik verbaas me dat die daar überhaupt in kwamen, maar die bevatten sleurs. Een hele bekende dataset met gezichten, klein formaat. Dus ook als je daar dan een gezichtsherkenning op traint, dan kan je ook hele gekke dingen krijgen. En de World Health Organization richt zich ook verrassend veel daarop. Maar ook over het beheren van privacygevoelige gezondheidsdata. Hij raakt het volgens mij ook vaak heel erg, deze AI-discussie, toch ook een beetje aan de... Tot door de GDPR, de AVG wordt afgedekt. Het belang van een soort recht op bescherming van je persoonlijke data. En nog los of daar dan voorspellingen op mogen gedaan worden. Wat bij mij opviel, dat MIT die hele dataset offline hebben gehaald, in plaats van die verbeteren of daar de problemen uit halen. Dus dat ze ervoor kozen, blijkbaar dat dat... Tenminste, ik neem aan dat de afweging was dat het herstellen daarvan uiteindelijk veel duurder was dan de verbetering daarvan. Ik vond het nogal een rigoureuze beslissing. Ja, is dat niet een beetje risicomijdend ook? Laten we hem eerst maar gewoon afhalen, zodat hij niet verkeerd gebruikt wordt met alle commotie die er tegenwoordig wel online natuurlijk speelt op dit vlak. Dus wie weet is het ook gewoon risicomijdend om nu eerst even down te brengen en daarna misschien wel weer beschikbaar te gaan stellen. Ja, maar dat misschien beschikbaar stellen heb ik in ieder geval niet meer gehoord. Nee, nee, nee. Ik vond dat rigoureus. Hoe kijk jij daarnaar, Owen? Nee, ja, leuke opmerking. Ja, volgens mij zou dat prima iets zijn wat te herstellen is. Of ook een beetje vanuit het perspectief van explainability, is toch ook vaak gewoon transparant zijn. Geef gewoon aan, deze dataset is ontzettend... Want hij was ook gewoon asymmetrisch, zo heet dat. Nou, heel bekend voorbeeld. Vaak zijn het toch meer foto's van witte mensen dan mensen die niet wit zijn. Geef dat gewoon aan. Dan weten in ieder geval mensen die erop gaan trainen, dat daar echt een tekort in zit. Dan kan je misschien meer data verzamelen. Dat is in ieder geval een deel van de oplossing, want... Ja, het is wel ook zonde voor heel veel mensen die even met grote datasets een modelletje willen trainen voor studenten of zo. Dat je daar geen toegang meer mee toe hebt. Precies. Nee, dat zou ik ook verwachten. Wees daar inderdaad transparant over. Ja, en dat lijkt me dan veel duidelijker. Uiteindelijk in iedere dataset zullen er mogelijke problemen zijn. Dus je kan er beter transparant over zijn dan iedere keer die data maar weghalen. En het zou een stimulans moeten zijn om het juist te verbeteren, zou ik zeggen. Klopt, ja. Het is een mooie uitnodiging om een dataset te maken die wel aan die verwachting van gelijkwaardigheid of wat dan ook voldoet. Ja. Misschien een beetje in het verlengde. Wat bij mij was opgevallen, is dat TNO heeft een paper uitgebracht. Niet echt een wetenschappelijke paper, maar een paper over dat zij... Die heet trouwens 'Op zoek naar de mens in AI', waarbij zij voorstellen om een proeftuin te creëren, waarbij dan blijkbaar... In dit geval ging het vooral namelijk over overheidsmodellen, dat die in een proeftuin proef zouden kunnen draaien en dat daar op de een of andere manier controle zou plaatsvinden die op een andere manier niet zou kunnen. Ik weet niet of een van jullie daar ook over gelezen heeft. Dat is een van de drie die ik hier voor me heb staan, Joop. Oké, kijk. Inderdaad, de experimenten van de burgers in de proeftuinen van AI. Ik vond het wel een heel mooi aanpak om eigenlijk wel ermee aan de slag te gaan en in een transparante omgeving met elkaar te experimenteren. Ik denk dat dat laat zien van 'dit is de mogelijk'. Hier moet je aan denken. En de mogelijkheid om vanuit verschillende perspectieven dus naar die proeftuin te kijken. Ja, ik vind het sowieso een goed initiatief. Ik heb wel na het lezen van de paper nog wel wat bedenkingen. Dus ik heb het idee dat het vooral nu nog een concept is die niet helemaal nog is uitgewerkt. De paper doet dat wel lijken, want het is een 16-paginatellend document. En een van de voorbeelden die zij bijvoorbeeld gebruiken, waarvan zij zeggen dat ze die dan denk ik op kunnen lossen met een proeftuin, gaat over een voorbeeld bij het CJIB. Het Centraal Justitieel Incassobureau. Ik denk dat we allemaal wel eens een keer mee te maken hebben gehad. En dat ging er dan vooral over om mensen uit problematische schulden te houden met behulp van AI. Dus dat je blijkbaar die mensen kan klassificeren. Deze hebben mogelijk problematische schulden of komen door een bepaalde verkeersboete in die situatie. En een van de effecten die zij beschrijven, die daar als negatief uitkwam, hoewel dat model met ethics by design ontworpen was, kwamen er toch nog wat onverwachte bijwerkingen uit. En een daarvan was dat ambtenaren uiteindelijk meer werk kregen, langer bezig waren met de mensen rondom die problematische schuldhulpverlenings, waardoor ze minder tijd hadden voor andere zaken om die te beoordelen. En dat lijken me nou typisch effecten die heel moeilijk uiteindelijk uit een proeftuin te halen zijn. En daardoor dacht ik ook van ja, volgens mij zijn er vanuit de software development al genoeg manieren die al bedacht zijn om dingen in de praktijk uit te proberen. Je kan betas introduceren of schaduw draaien of een kleinere groep nemen. Dus ik was er nog niet helemaal over uit. Weet je, idee heel goed. Over de uitvoering denk ik nou, misschien moet TNO daar nog iets beter over nadenken. Maar dat is mijn mening. Ik kan dat niet in de details melden, want ik heb het artikel helaas niet gelezen. Ik heb alleen een samenvatting ervan gelezen. Inderdaad, en daar kwam met name het idee naar voren en niet de voorbeeld die je net noemt. Dus het idee inderdaad vond ik mooi. Deze kanttekeningen die laden mij aan om in ieder geval het artikel even in depth te gaan lezen. Ja, dat denk ik ook. Want ze hebben het echt in blokken over ontwerpen, demonstreren, implementeren. En dan geven ze nou heel kort weer van wat ze daar willen. En ik ben wel heel benieuwd naar de werkelijke invulling van hoe dat dan echt in de diepste kan bijdragen, dat je de problemen voorkomt. Want het voorkomen, daar ben ik helemaal voor. Ik had er toevallig ook over gehoord, laatst een gesprek met iemand van TNO, Jasper van der Wa. Ik weet wat ze zei in TNO Zusterberg, waar ik ook nog even lang geleden een stage heb gelopen. Dat ze daar ook echt leuke dingen doen met ook explainable AI. Ook echt zelf daar dingen ontwikkelen. En ik hoorde ook over die proeftuin. Ik vond het wel een hele mooie aanpak. Om ook een keer echt de interactie met de mens mee te nemen. Er wordt heel veel over geschreven. Toch vaak ook vanuit modelontwikkelaars. Of een beetje vanuit het hele grote plaatje van de maatschappij ofzo. Maar ja, hopelijk kunnen ze wat vraagstukken vinden die echt goed in te zetten zijn in die proeftuin. Ik vind het zelf interessant, hoe leg je nou, heel soms een bekend voorbeeld is, je rekening wordt afgewezen door een voorspellend algoritme. Of je lening, sorry. Hoe kan je nou iemand uitleggen die misschien niet zo'n hoge opleiding zo heeft. Die echt niks weet van modellen. Hoe kan je die uitleggen dat op een automatisch proces zijn lening is afgewezen. Ik denk dat dat uitvinden ook echt alleen maar kan door het met proefpersonen misschien te doen. Maar dat is maar één aspectje van... Ja, en op dat gebied, dat je op die manier onderzoek doet en dat soort dingen, daar geloof ik ook helemaal in. Ik ben het met je eens. Dat je daar dan je eigen tooling ontwikkelt is alleen maar mooi. Ik had ook nog eentje in het nieuws. Eentje die heel recentelijk even voorbij kwam. Ik dacht, die wil ik toch wel even noemen. Is de copilot van GitHub. Ik weet niet of jullie hem al voorbij hebben zien komen. Nee? Ik heb net even zitten kijken inderdaad. Ik heb de preview nog niet geïnstalleerd. Maar ik ga er zeker weer aan de slag. Eigenlijk ga je peer-review, peer-coding, peer-programming doen met AI. De AI-programmer denkt met je mee terwijl je functies aan het schrijven bent in misschien je bekende taal. Of misschien net een andere taal waar je nog een beetje in moet leren. En die gaat je eigenlijk aanvullen. En zo erg dat hij zelfs bepaalde functies ook gewoon volledig voor je gaat invullen. Dus terwijl je aan het developpen bent, krijg je een soort van intellisense. Alleen dan niet even woorden en entiteiten die hij voor je aanvult. Maar gewoon hele klasses, hele stukken code, hele functies die hij gewoon voor je neerzet. En waar je weer op verder kan borduren. En het zag er wel indrukwekkend uit in de preview. Dus zeker weer iets om in de gaten te houden om te kijken hoe kunnen we daar de efficiëntie verhogen. Maar ook daar, ik heb daar nog niet iets gezien van hoe gaan we nou inderdaad feedback krijgen wat goed is. En hoe geef je dat weer terug aan het model. Daar heb ik nog niet over kunnen vinden hoe je dat weer gaat doen in deze situatie. Maar ik ben er wel heel erg benieuwd naar. Ja leuk. Het grappige is, een van onze studenten in het Research Center AI, heeft dit een aantal jaar geleden gedaan met unit-testen. Unit-testen zijn natuurlijk echt van die dingen die vervelend schrijven. Het moet, het levert heel veel op en het draagt heel veel bij. Maar niet iedere developer heeft daar evenveel zin in. Waarbij wij ook zeiden, ook een soort van co-pilot-achtig idee van de unit-test wordt met je meegeschreven terwijl je aan het coderen bent. Fantastisch toch? Heel fijn voor studenten van me ook. Die hier dit zouden kunnen inzetten om eindelijk gewoon een keer helemaal net een stukje te coderen. Ik had wel opgeschreven ook, ja straks gaat iedereen op dezelfde manier denken. Soms is het ook wel mooi om te zien dat de student een hele gekke oplossing bedenkt. En al bij wijze van, ja, dit is best voor AI gaan inzetten. Ik hoop dat het niet leidt tot een tunnelvisie van, dit is hoe het hoort. Goede kanttekening, want dat is misschien niet hoe het hoort, dat is hoe hij het aangeeft inderdaad. Het is inderdaad een advies, eigenlijk misschien nog niet eens een advies, maar meer een idee. Maar wel een goede kanttekening die hij aangeeft inderdaad. Ik denk dat dat gevaar er wel is, want uiteindelijk zie je dat nu ook bij het Stack Overflow coderen. Dat mensen gewoon code zomaar kopiëren uit Stack Overflow zonder dat ze weten wat dat doet. En hoe dat misschien voor jou wel of niet toepassing is. Hoe makkelijker dat uiteindelijk gemaakt wordt, hoe groter dat gevaar is dat je dat gewoon zomaar overneemt. Ja, maar dat is denk ik niet een nieuw gevaar. Als we kijken naar hoeveel diensten en stukken code er online al aangeboden worden. En libraries die beschikbaar gesteld worden, waar je ook niet altijd weet wat er onder de motorkap gebeurt. Vind ik dit een redelijk vergelijkbare kant op gaan. Ja, ook het inzetten van, misschien kunnen we het daar zo over hebben, van explainable AI, technieken of libraries. Dat is allemaal stukken makkelijker. Ik had daar met collega over, ook wat ik tegen collega's zeg, het is prima om dingen te gebruiken zonder het zelf te hebben gebouwd. Uiteraard, maar je moet het wel een beetje snappen. Anders wordt het wel... Zeker weten. Ik denk een mooi bruggetje om de stap te maken naar het hoofdthema van deze aflevering.[Muziek] Ja, Auren, jullie hebben natuurlijk onderzoek gedaan naar explainable AI. Zou je in het kort kunnen vertellen wat dat onderzoek inhoudt? Ja, zeker. Yasmara Beste, dat is een stagiair bij het Lekterhuis AI, waar ik werk. Daar hebben we samen een onderzoek mee opgezet, waarin we eigenlijk een kaart wilden brengen. Je leest best wel wat en je hoort ook wat over explainable AI en bepaalde technieken en platformen die daar handig voor kunnen zijn. Maar voor ons, volgens mij weinig bronnen geven aan, wat wordt er nou echt gebruikt? Waar is behoefte aan? Waar gaat het een beetje heen? Is het een vraag vanuit de business dat mensen meer explainability willen? Of zijn het gewoon de modelbouwers die meer uitleg willen om hun modellen te verbeteren? Zodat mij heeft Yasmara een vraaglijst uitgezet. Die is verspreid bij wat verschillende partijen. Onder andere hoe ik in contact kwam met Info Support. Dus dat is al een grote win. We zijn nog een beetje bezig met data verzamelen. Ik hoop nog wat meer. We hebben nu iets van 30 sponsors van data scientists van allerlei verschillende organisaties. Ook werkzaam in allerlei sectoren. Vooral healthcare en finance kwam vaak terug. En ook algemeen in IT. En allemaal een beetje de resultaten. We gebruiken allerlei... We vragen een beetje wat voor machine learning modellen gebruiken jullie nu? Dat was echt van een netwerk tot regressies. En dan een interessante vraag. Wat voor explainable AI technieken worden er gebruikt door jullie in jullie werkzaamheden? En eigenlijk ook wat Yasmara in haar literatuurstudie vond. Er worden er een hoop genoemd. Er waren ook naar vragen. Dan kent ze zijn Shep Lyme. Enkers, Chirps, Daleks is er ook eentje. En dan heb je nog wat grotere libraries met verschillende dingen. Maar net als in de literatuur viel ons op dat het grootste van de mensen gebruikt Shep en/of Lyme. En dan vaak in combinatie met iets anders. Maar van de mensen die het gebruikten gebruikten volgens mij 75% een van die twee. Wat een interessante fonds is. Ik wist wel dat het vrij dominant was. Eigenlijk die twee, Shep en Lyme. Maar dat zijn echt de twee go-to explainability tools. Dat is ook wat we zagen. Ik heb met Marten van den Berg, collega van me. Hebben we ook vanuit een project samen met banken en toezichthouders. Daar ook een beetje in kaart gebracht hoe explainability in de financiële sector belangrijk is. Ook met modelontwikkelaars gesproken. Heel nuttig onderzoek wat hopelijk ook binnenkort gepubliceerd wordt. Het is nu intern gepubliceerd. Maar daar kwam ook uit. Wat gebruiken jullie nu? En was het antwoord heel vaak Shep. Dus dat is wel leuk om te zien. Dat heeft echt de plek verhogerd. Voor zover ik kan zien van de go-to tool library om even je model verklaarbaar te maken. Het is ook lekker, je kan het op ieder model toepassen. Wat is dat denk je de reden waarom het zo groot is in gebruik? Ik denk dat dat een grote reden is. Het heeft een soort sterke basis in Shepley values. Die bestaan al heel lang. Dit is dan een implementatie die eigenlijk een benadering is. Want echt helemaal uit het werk rekenen Shepley values is computationeel meestal niet haalbaar. Ik had ook gelijk wat de diepte geduikt met Rianne van Olsen, een collega van mij bij de electoraat. Die was ook een beetje in techniek gedoken. Het viel eigenlijk op dat toch wel veel mensen zich niet bewust zijn van de assumptions die uiteindelijk achter zo'n tool als Shep zitten. Zoals dat het toch een soort benadering is. Het gebruikt ook een soort kernel. Dat je toch een beetje van punten in de buurt met de lime. Kijkt wat de effect is als je een feature wat verschuift. Zou je dat iets kunnen uitleggen voor de luisteraar? Want het wordt vaak niet gezien dat het eigenlijk meer een benaderingskwestie is dan echt pinpointer. Het lijkt zo alsof hij echt weergeeft van hier op basis hiervan is het. Maar het is eigenlijk meer een berekening. En die berekening kan natuurlijk net niet helemaal goed uitvallen. Zou je kunnen uitleggen hoe die dat doet? Hoe Shep dat komt? Daar kan ik een poging toe wagen. Ik ben daar ook geen expert in helaas. Iets waar ik wel in wil duiken. Misschien is Rianne een leuke gast voor de volgende keer. Die is sterk onderlegd. Wat Shep in ieder geval als output geeft is per feature. Dit is de invloed op de uitkomst. Bijvoorbeeld je geslacht was van zoveel punten effect op de uitkomst. En je postcode van zoveel punten misschien de andere kant op. En dat doet het door middel van eigenlijk te kijken naar. Je gaat uit van een soort puntenwolk van alle data die je wel hebt. En wat als je één feature nou een beetje verschuift. Dus je verandert alleen maar je postcode. Maar je laat al andere dingen gelijk. Wat doet dat dan met de uitkomst? En op basis van nog een bepaalde heuristieke logica. Die ik ook niet helemaal scherp heb. Maar het kijkt in ieder geval niet naar. Zoals Shepley values naar alle mogelijke combinaties. Dat wil Shepley values eigenlijk. Een soort van de wiskundige theorie die wil dat. Maar dat is niet haalbaar. Dus ze gebruiken een kernel. Iets van een soort van selectie maniertje. Om te zeggen nou voor de omliggende punten. Als ik het goed begrijp. Kijken we wat het verschil van verschuiven die features is. Dus naar het effect. En dat maakt het haalbaar qua berekeningen. Maar waar Michieling me altijd aan doet denken. Is toch ook een soort van vaak mijn college statistiek die ik heb gehad. En dan werd me altijd op het hart gedrukt. Dat je ook echt de assumptions van de technieken die je gebruikt. De manieren die je gebruikt. Dat je die wel goed moet nagaan. En wat ik heb kunnen lezen is Shep redelijk robuust. Maar ik had het er ook nog eens met collega over. Het is leuk om na te gaan. Zijn mensen zich bewust van situaties waarin zo'n Shep wordt toegepast. Maar dat eigenlijk je data er helemaal niet bij past. Misschien zit er een hele grote correlatie tussen je features. Shep bedoel ik van je inkomen per maand en je inkomen per jaar. Of de prijs van je huis. Iets wat heel erg samenhangt. Dat breekt heel vaak een beetje. Nou ook op traditionele statistiek. Maar als ik het goed begrijp misschien ook wel Shep. En volgens mij is dat iets waar veel mensen zich ook niet bij stilstaan. En dat hangt weer samen met waar we het net over hadden. Het is zo makkelijk om het gewoon op te zetten. Je gooit het gewoon over je model heen. En je krijgt dan ook een mooi gekleurd plaatje eruit. Mooi rood en blauw. Van ah ja deze feature, deze, deze, dat. Eigenlijk heel interessant. Het is ook een soort black box dat Shep. En Lime ook. Het geeft je iets terug. En dat vertrouw je maar. Eigenlijk verleg je het probleem misschien. Van een black box AI model. Naar een black box XAI model. Ja. En ik denk dat dat niet gezien wordt. Over het algemeen. Ik denk dat we zeg maar. Die hypothese durf ik wel inderdaad aan. Ja. Ik denk dat dat nog iets is wat moet gaan groeien in de praktijk. Dat we dat ook challengen met elkaar. Van klopt dit wel? Anders hebben we meer dadelijk weer de confirmation bias. Van ja dat is eigenlijk ook wat ik ongeveer had verwacht dat eruit zou komen. Nou dat zal wel goed zijn. Laten we hierop verder gaan. Ja. Zeker. Ik zie dat wel een beetje in parallel met. Ik heb de discussie wel afgelopen jaar. Dat ik bij Electraat werk wel vaak gevoerd. Uiteindelijk. Ik zeg het bijvoorbeeld van een auto. Ik weet ook niet precies hoe een verbrandingsmotor werkt. Of een straalvliegtuig. Of een motorvliegtuig werkt. Maar ik vertrouw dat helemaal. En ik denk dat de meeste consumenten met mij. En dat is omdat er toch heel veel instanties zijn. Die wel weten hoe het werkt. Dus er kan ook best een trend komen. Dat uiteindelijk de wetgevende en controlerende instanties. Helemaal bijvoorbeeld door zoiets als die aankomende EU wetgeving. Waar we misschien ook zo nog even over kunnen hebben. Dat toch een status komt. Of een situatie komt waarin. Ja een soort keurmerken zijn. Dat misschien zelfs zoiets als een Shep 3.0. Dat dat gecertificeerd is. En dat het daarom. Ja. Zo niet begrepen hoeft te worden. In ieder geval niet door de consument. Maar ik ben er zelf niet helemaal over uit. Omdat bij AI de onvoorziene gevolgen. Nog groter kunnen zijn dan bij een. Ja zelfs dan bij een vliegtuig. Want daar weet je in ieder geval nog. Als het fout gaat, dan stort het neer. En als het AI fout gaat. Dan heb je Skynet. Zeg maar. Ja. En de consument. Wie vind je dan in dit geval de consument? Is dat de data scientist? Is dat de business? Is dat de echte eindgebruiker? Wie zie je hier als consument? Goeie vraag. Ik denk dat het sowieso heel goed is. Om die stakeholders. Bij welke AI toepassingen je ook hebt. Om dat goed in kaart te brengen. Want vaak gaat het over uitleg van AI. Maar een uitleg aan wie? Uitleg op zichzelf. Is niet zo veel. Want afhankelijk van wie het is. Moet je een ander niveau. Van uitleg op complexiteit. En ook andere focus. Met consument denk ik meestal. Echt aan de eindgebruiker. Als in. Sorry dat is ook weer verwarrend. Iets van een consument. Of een klant. Als je een bedrijf hebt. Wat natuurlijk ook wel iemand is. Die heel erg wisselt in expertise niveau. Soms natuurlijk de gebruiker gewoon intern. En ik kan me ook wel voorstellen. Dat je er soms uit kan gaan. Dat puur de model developer. Ook een soort van eindgebruiker is. In ieder geval voordat iets in productie wordt gezet. Ja in ieder geval. Voor wat Shep eigenlijk aan output geeft. Aan uitkomsten. Dat is in eerste instantie op dit moment. Denk ik nog voornamelijk voor de model ontwikkelaar. Dat deed de scientist. En op dit moment vind ik wel. Dat die echt moet weten. Wat daar onder de motorkap gebeurt. Dat die daar wel echt heel bewust van moet zijn. Ja. Als je straks die certificering krijgt. Zou dat misschien wat kunnen verschuiven. Ja. Persoonlijk vind ik als ik rijd naar de eind. Dan ben ik wel graag de consument. Of degene op wie het effect heeft. Dat is volgens mij degene om wie het draait. Op wie heeft het bepaald effect van het algoritme. Dat vind ik eigenlijk de consument van het algoritme. Ja maar ook daar zijn wel meerdere niveaus. Zeker. Want de uitleg van Shep. Kan je misschien ook weer gebruiken. Om dat te tonen aan. Aan de gebruiker weer van jouw applicatie. Daar moet je wel wat Arun zegt. Je moet wel heel goed nadenken over de stakeholders. En wie wat voor type uitleg krijgt. En ook op welk niveau en op welke manier. Zeker. Er zijn allemaal verschillende lagen. Ik zie er ook wel een mooie brug uit. Ik weet het wel van ook een bedrijf. Zonder details te noemen. Die ook echt in hun productie Shep gebruiken. Om aan mensen die intern. Die niet data scientist wat dan ook zijn. Om te helpen met een bepaalde aflevering te maken. Volgens mij over een lening verstrekking ofzo. Maar ze liepen er tegenaan zeiden ze. Van ja wij geven deze informatie door. Wat uit dat Shep package komt. Maar het is best wel complex om dat uit te leggen. Ze hadden ook wel wat features. Die niet echt heel natuurlijk afleesbaar waren. Dus dan krijg je als je eindgebruiker. Maakt niet uit wie het is. Of je stakeholder. Als dat een niet model developer is. Dan zit er zo nog zo'n slag van. Hoe vertaal je dat nou? Waar volgens mij Duitser trekken nog heel veel werk in. Helemaal uiteindelijk ben ik het helemaal eens met je Niels. Heel veel AI toepassingen hebben. Als eindgebruiker. Eindstakeholder. Ja de hele maatschappij. Of iedereen die daar impact op heeft. Steeds meer dingen. Als een verzekeraar wel mensen bepaalde premies geeft. Anderen niet. Dan heeft iedereen daar wel last of profijt van. En hoe leg je iedereen eigenlijk nou via AI model uit? En daar zit nog een hele slag. Want we hebben nu wel technische tools voor de techneuten. En wanneer komen nou de vertaalslaven. Hoe moet die gemaakt worden naar bredere groep stakeholders? Ja interessant. Hey en waren er nog meer resultaten uit het onderzoek gekomen? Ja. Wat ook wel heel interessant was dat TensorFlow werd heel veel gebruikt. En daarmee ook samenhangend Amazon SageMaker en Azure Machine Learning. En we zagen ook dat veel mensen daar ook XAI componenten van gebruikten. Dat hing een beetje samen met het gebruiksgemak. Soms is het ook omdat je in zo'n platform werkt. Wordt het je ook een beetje aangereikt. Dus dat kan ook enerzijds een manier zijn waardoor mensen er makkelijker bij kunnen pakken. Explainability tools. Kan ook een manier zijn om er nog minder kritisch over na te denken. Als je het niet zelf in elkaar zet dan ga je er ook niet aan twijfelen. Wat doet het nou echt? Die vraag is dan wat minder aan de hand liggen misschien. Misschien ook wel wat leuke puntjes die ik had noemen. Heel veel developers zeiden toch ook zoals ik al zei. XAI dingen als Shep help je ook echt met je model snappen. Dat vond ik ook wel leuk om te zien. Dat ze dat ook belangrijk vinden. Het moet gewoon valide zijn en dat testen wij ook op deze manier. De respondenten gaven ook aan dat zeker qua andere partijen die uitleg hoeven. Dat de business dat ook wel echt wou. Echt maar 6 gemiddeld op een schaal van 1 tot 7. Dat lijkt me het schaal. Dat is hoog. Mooi. Ja, dat viel mij ook op. Bij de developers gaven de meesten ook aan dat ze wel wat meer uitleg konden gebruiken. Bij de klant was het echt een mix. Zat het uiteindelijk gemiddeld ook wel op 5,5 als ik het goed heb onthouden. Maar er waren ook respondenten die aangaven dat klant niet zoveel hoeft. Of ja, sorry. De vraag was. Is er een vraag naar Explainable AI in jouw perspectief vanuit de klant? Dat was heel gemengd. Volgens mij lopen sommige bedrijven al tegenaan dat ze klanten krijgen die een uitleg verwachten. Of eindgebruikers. Ik denk dat het heel erg afhangt van de context. Ja, logisch. Misschien wel het laatste. Wat ik zelf ook heel interessant vond is. Gaat dit nou de kant op dat we dit lekker uitbesteden aan een van de platformen die het allemaal voor ons regelt. Of gaan we weer meer kennis in huis nemen. Dat we dit zelf gewoon gaan uitvogelen. Of ja, de kennis leren om het ook echt te snappen. Echt zo'n chat bijvoorbeeld. Of überhaupt gewoon het echt te snappen. En dat is altijd een mix. Sommige mensen gaven aan ja, we gaan echt toe naar meer outsourcing. En sommigen zeiden nee, we gaan het gewoon helemaal in huis houden. En ja, helaas kan ik niet meer, ook vanuit privacy redenen, niet terugzien welke bedrijven er naar wat waren. Maar even door de oogharen gezien van de data die we nu hadden. Leek dat grote bedrijven, begrijpelijkerwijs. Dat is mensen die bij bedrijven van meer dan 250 mensen werkten. Die zeiden waarschijnlijk gaan we meer outsourcen. De kleinere partijen, van ik vermoed dat het kleinere clubjes van die data science achtige bedrijven. Die zeiden nee, wij gaan het juist op ons nemen. Dat vond ik wel een hele leuke voorlopige uitkomst. Ja, zeker. Ja, want we moeten er inderdaad wel bij zeggen. Want het zijn allemaal nog voorlopige uitkomsten. Het onderzoek loopt nog. Misschien voor de luisteraar, dat we dat even extra duidelijk maken. Het zijn voorlopige resultaten. Maar ja, heel interessant moet ik zeggen. Interessante uitkomsten. Zullen we eens kijken van wat zou dat betekenen in de praktijk? Ja, dus we hebben heel mooi gehoord over jouw onderzoek, Aurun. En de voorlopige resultaten. Inderdaad, de brug naar de praktijk. Wat zouden we nou mee kunnen nemen? Misschien als advies. Of wat zou jouw advies zijn? Voor een gemiddeld bedrijf die met AI bezig is. Op basis van de resultaten van dit onderzoek. Ik vind het heel fijn om te zien dat we hadden weinig respondenten die zeiden. Ik gebruik machine learning iedere dag. Of ik gebruik machine learning, maar ik gebruik niks van explainable AI. Dus dat vind ik een fijne trend. Dat mensen proberen hun modellen beter te begrijpen. In verspellingen. Ja, een advies. Eigenlijk waar we het net al over hadden. Kijk uit met het gewoon blind gebruiken van de bestaande libraries, packages. Van, oh, dit wordt veel gebruikt. Dus dan past het vast ook wel op mijn algoritme, mijn dataset. Want dat is een vrij lastige kwestie. Maar volgens mij zou je in een situatie kunnen komen waarbij het toch niet zo goed past. Hoe zou je daar achter kunnen komen? Waar begin je dan om dat te onderzoeken? Goeie vraag. Daar ben ik zelf ook nog niet helemaal over uit. Ik was ook nog vanochtend een beetje de documentatie van Shabby Values aan het doorlezen. Om die assumptions die erachter zitten nou een beetje in kaart te brengen. Volgens mij gaan we vanuit Lekteraarten hier denk ik ook nog meer aan de slag. We willen ook eigenlijk toewerken naar, nou bij het HBO. Ik kom van de universiteit, die is niet gedaan. Maar bij het HBO willen we volgens mij ook graag ook handvaten bieden aan het bedrijfsleven. Dus hopelijk hebben we over een jaar gewoon een soort van lijst met, hé, dit zijn aspecten waar je moet letten als je XAE toepast. Ja, dat zou heel mooi zijn. Dat is voor ons ook nog uitvinden. Maar ik denk dat die gewoon wel heldere advies over te geven zijn. Als je dan kijkt uit voor sterke correlatie in je features ofzo. Dat kan misschien effect hebben op deze manier. Alleen al dat soort tips, dat zou handig zijn. Want het is nu nog, denk ik voor veel ook een beetje uitzoeken. Ja, maar deze is heel concreet. Daar kan je heel makkelijk achter komen. Of je zoveel features hebt die gecorreleerd zijn. En dat zou wel eigenlijk in ieder geval een vlaggetje kunnen zijn van, kijk eens even goed, zit je wel goed? En ik denk precies wat jij zegt, het is ook nog vrij onvolwassen, laat ik het zo noemen, weet je. Het vakgebied XAE is nog vrij onvolwassen. Dus we moeten dat eigenlijk allemaal nog ontdekken met elkaar. Hoe gaan we het gebruiken? Hoe zet je het goed in? Wat zijn wel de mogelijkheden? Wat zijn de onmogelijkheden? En ik denk dat dat de aankomende, echt op korte termijn, wat jij zegt een jaar, twee jaar, gaat er heel veel ontwikkeling plaatsvinden. Ja, dus eigenlijk hebben we het hier gewoon over een explainer van de explainer. En dan we dus moeten weten van wat zijn nou die randvoorwaarden om deze explainer te gebruiken en dat dat ook nog eens verklaard gaat worden. Ja, als je maar niet het probleem verder verlegt. Ik bedoel, zo komen we steeds verder af van waar het om ging. Maar daar komen we misschien wel terug. - Ik heb wel een mooie paper gelezen. Ik ben even de naam kwijt van diegene, maar ook daar kunnen we weer eens een linkje opnemen. In de beschrijving van de podcast, een mooie paper van als het over hoog risicomodellen gaat, dat eigenlijk je keuze misschien eerst maar eens moet vallen op interpreteerbare modellen. Dat je daarna kijkt, dat je ook gaat kijken van wat kan ik daar uithalen met feature engineering, aan je data, dat je eigenlijk daar alles op alles zet om eerst maar het interpreteerbaar model goed te krijgen. En de kans dat dat lukt is vrij hoog voordat je overstapt naar allerlei blackbox modellen. En dat zou je wel in overweging moeten nemen. En ik geloof ook wel dat we dat soort checklisten ook veel meer gaan krijgen. Dat je na gaat denken over wat is het doel, waar wil je naartoe, waar we het er straks al over hebben, wat is je doelgroep, wat heb je dan nodig. En dan is explainable AI misschien één van je methoden of manieren die je gaat gebruiken.- Ja, ik dacht ook gelijk toen ik hoorde van het uitleggen van je explainable AI, moet je ook weer uitleggen, maar ja, moeten we niet gewoon transparant maken?- Ik dacht zelf ook aan een stuk van Rudin in Nature volgens mij twee jaar geleden. Ook van stop explaining blackbox machine learning models, maar gebruik gewoon interpretabele modellen. Helemaal wat je zegt voor high risk dingen. De Europese wetgeving, draft, voorstel, die noemt ook expliciet high risk aspecten of niveaus van risk. Ik kan me heel goed voorstellen dat in die high risk primaire infrastructuur, gezondheidszorg, dat je het volledig uitlegbaar en misschien zelfs interpretabel, gewoon geen random forest modellen, dat mag gewoon niet. Dat is gewoon te moeilijk uit te leggen.- En in ieder geval dat je dat gewoon echt primair aan overweging neemt. Dat we niet te snel gewoon denken van, oh ja, we klappen er een neuraal netwerk tegenaan, want dan ben ik af van die feature engineering, lekker makkelijk. Misschien voor even in het begin die ontwikkeling, maar dat is maar zo'n klein stukje uiteindelijk van waar je mee bezig bent. Maar dat je heel goed nadenkt. Bij de klanten waar ik kom, geef ik ook altijd het advies van, kijk eerst zelfs of je het gewoon regelgebaseerd op kan lozen. Want is het überhaupt wel een AI of machine learning probleem? Laten we daar eens mee beginnen. Als het dat niet is en je komt gewoon weg met, of wat, maar echt met regels en met if-then-else statements, gewoon business rules, uiteindelijk is dat duidelijker en makkelijker en eenvoudiger dan welk model dan ook.- Ja, helemaal met eens. Volgens mij nog drie jaar geleden zei iedereen, we willen iets met data doen. En nu zit volgens mij, we willen iets met AI doen. Vaak zonder de gedachte van, past ons probleem, onze data, wel bij zoiets.- Hopelijk stappen we dan niet erover, dat stukje data hebben we achter ons gelaten, we gaan met AI aan de slag. Hopelijk doen ze dat data stukje echt nog wel eerst en gaan ze daarmee aan de slag voordat ze met AI aan de slag gaan. Want anders hebben we daar ook weer een leuke uitdaging te pakken.- Komt er echt een data engineer naar boven, niet?- Ja, dan komt de passie van data weer omhoog. Dat moet eerst goed zijn. En dan moeten we ook weten wat erin staat en wat niet. Dus dat begint gelijk te kriebelen inderdaad. Dat is goed gezien, Joop.- Heb je nog meer van dit soort praktijk-anecdotes, Auren?- Praktijk-anecdotes over...- Explainable AI.- Ja, misschien wat hier al bij aansluit is ook dat ik het idee heb, bijvoorbeeld ook in de financiële sector, dat mensen heel erg, of financiële instellingen, of verzekeraars, zijn best wel afwachtend, want ze willen echt niet een toezichthouder tegen het zere been schoppen. En ook wel heel terecht. Andersom heeft volgens mij die toezichthouder vaak nog niet helemaal een uitgekristalliseerd beeld van wat wel en niet mag. Wat mij opviel, maar dit is geen onderzoek, dit is ook een beetje speculatie, is dat afhankelijk van de situatie er wel echt meer kan. Bijvoorbeeld bij iets als fraude-detectie. Dan zijn er wat meer kans op... Oké, dat is misschien een heel slecht voorbeeld als ik aan een toeslagenaffaire denk. In ieder geval wel dat wij detecteren van witwassen, dat ze daar banken volgens mij iets meer uit proberen, met het idee van, als het gewoon echt beter lijkt te werken, en we gaan niet per ongeluk, dat is wel heel belangrijk, daar is wel iedereen bewust van, verkeerde mensen, onschuldige mensen aanmerken, dan kan daar wat meer. Terwijl het geven van een lening bijvoorbeeld, wordt heel vaak gebruikt als voorbeeld, bij allerlei machine learning online-blogpost voorbeelden. Maar dat is voor een heel groot deel ook gewoon dichtgetimmerd door de leennorm bijvoorbeeld. Dus afhankelijk, ook weer hangt beeldweg samen met in die zin, hoop ik dat die EU-wetgeving wat concreet wordt, van wat is nou high risk, wat is low risk. Dat geeft bedrijven ook wat meer ruimte, van in dit gebied kunnen we misschien wat meer. Volgens mij is er nog heel veel afstemming nodig met de toezichthouder. Het een beetje wat je nu ziet, volgens mij met de AVG, dat wordt nu een beetje duidelijk wat de verwachtingen zijn. Terwijl die wet ligt er al jaren. Ik denk dat het ook zo met de EU-wetgeving, die over één of twee jaar waarschijnlijk eraan komt. We hebben waarschijnlijk ook wat presidentwerking nodig, dat er gevallen in de media komen van, dit kan niet. Waarbij iets concreetere kaders worden geschapen. Waarschijnlijk zijn het ook de grote partijen die even als voorbeeldfunctie zullen dienen. Ook wel maatschappelijk terecht volgorde. Er blijven denk ik al processen dat zijn voordat de wet helemaal duidelijk is. En ook de toezicht erop duidelijk is, rondom AI. En de verwachtingen, dat gaat allemaal nog wel even duren. Ik verwacht wel dat het een grote impact gaat hebben, die EU-wetgeving. Ja, dat denk ik ook. Waarbij ik me wel afvraag, juist denk ik dat er heel veel parallellen zijn met die AVG-wetgeving. Dat ik dan benieuwd ben van welke toezichthouder dan hierna gaat kijken. En als dat de autoriteit persoonsgegevens is, dan ben ik wel bang op dat toezicht. Want volgens mij geven die iedere keer aan dat ze nu al overlopen en overstromen. En als daar zo'n nieuwe bulk bovenop komt, dan ben ik toch wel heel erg benieuwd hoe ze dat gaan doen. Ja, die hadden nu al 4 keer het erin. Ja, dat merkte ik ook wel. De ontwikkelingen gaan zo snel, dat het ook echt lastig is voor alle partijen om het soms bij te houden. Zeker ook volgens mij voor toezichthouders. En als de AP al veel te weinig geeft. Volgens mij zijn er geluiden op aan het gaan, dat de Europese landen gewoon een dedicated AI-toezichthouder zou moeten krijgen. Ik weet niet hoe concreet dat idee is. Dat klinkt in mijn oren wel gepast. Dan kan je ook meer die kennis misschien wat op orde krijgen, wat centraliseren. Ja, je ook volgens mij. Je staat op het punt waar je een tijd terug een artikel over had geschreven. Over inderdaad dat er best wel wat in de overheid moet veranderen op dit vlak. Volgens mij was het een minister van Digitale Zaken waar je het over had geschreven. Minister van Digitale Zaken. En vooral eigenlijk inderdaad ook een plek, a la de medicijnen dat je in de la hebt, waarbij je aan kan gaan geven van ja, we hebben ongewenste resultaten, ongewenste bijwerkingen uiteindelijk van een bepaald publiek model. Ja, want de keerste mensen hebben terecht dat het ook over de risico's van AI. Maar ik heb het idee dat veel bedrijven zich ook al een beetje geremd voelen om echt van alles te doen. Dus het is ook echt goed voor het bedrijfsleven als er gewoon duidelijk wat wel en wat niet mag. Als het duidelijk is, dan kan je ook lekker aan de slag gaan met dat soort modellen. Ik hoop dat dat er ook komt snel. Ja, daar ga ik vanuit dat moet. Als we vooruit willen, hebben we dat gewoon nodig. Ja, zeker. Hé Arjen, dankjewel. Ik denk dat we heel veel wijzer zijn geworden weer over het thema explainable AI. En zeker wat ik echt mooi vind, weet je, je hebt gewoon in de praktijk getoetst van hoe wordt het gebruikt? Wie gebruikt wat? Waar lopen mensen tegenaan? Wat zijn de voordelen ervan? Ik denk dat dat een heel mooi overzicht geeft. Dankjewel ervoor. Graag gedaan. Heel leuk om mee te doen, jullie van gedachten te wisselen. Wordt vervolgd hopelijk. Ja, ik had nog een klein vraagje. Hoe lang staat het onderzoek nog open? Goeie vraag. Ik denk zeker nog wel een paar maanden. Als ik heel eerlijk ben als onderzoeker, voel ik me al een beetje in een lastig parket. Als ik nog mensen meelaat doen, dan invloedt dat misschien een beetje resultaten. Maar ik word zeker pas in de zomer het afsluiten. In de zomer afsluiten. Dus als we luisteraars hebben, dan zouden die nog eventueel online kunnen gaan om die in te vullen? Ja, zeker. Je kan mij ook een mailtje sturen op aaron.kuiper@hu.nl Of me via LinkedIn benaderen. Zelfs de korte URL is wat lang om je te delen. Maar heel leuk. Dus als je iets met AI-modellen doet, neem contact op. En als je wil, wij kunnen ook in de beschrijving van de podcast het linkje opnemen naar je survey. Als dat kan, zou dat helemaal fantastisch zijn. Ja, tuurlijk. Dan doen we dat. Hierbij besloten. En we blijven vanuit Lekterhaat zeker... Er wordt nu ook zelfs gewerkt aan een onderzoekslijn XAI. Zodat we ook iets meer uit gaan werken. Na de zomer hebben we dan een document waarin onze richting wat meer staat. Want we zien ook wel in, dit is iets dat ook een beetje de laatste paar jaar een buzzword. Maar dit blijft. Want bijvoorbeeld Europese wetgeving, maar ook vanuit andere kanalen. De CEO van Instagram had laatst ook een post gemaakt van 'zo werkt ons algoritme'. Er is zoveel vraag naar 'leg het nou eens uit'. Op alle niveaus. Dat blijft er wel. Daar ben ik ook heilig van overtuigd. Dankjewel. En we maken heel graag een keer een vervolgafspraak als het onderzoek is afgerond. Dan kunnen we eens kijken naar de definitieve resultaten. Daar hadden we het al stiekem een beetje over gehad. Hopelijk in die zin tot snel. En dankjewel dat je mee wilde doen aan de podcast. Ja, graag gedaan. Ik wens jullie een hele fijne dag verder. Jij ook. Doei Niels, doei Joop. Leuk dat je luisterde naar de AIToday Live podcast. Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen. En kijk voor meer interessante informatie over kunstmatig intelligentie op AIToday.ai. Dankjewel voor het luisteren. Tot de volgende keer.