S02E02 - Explainable AI met Eduard van Valkenburg (Microsoft)

In deze aflevering bespreken we met onze gast Eduard van Valkenburg (Senior Cloud Solution  Architect Data &AI @ Microsoft) het thema Explainable AI. 

In deze aflevering o.a.:

• Over de Netflix-film Coded Bias
• Explainable AI en hoe Microsoft daar aan bijdraagt
• Explainable AI in de praktijk

Dit zijn de links die worden genoemd in de podcast:

• Responsible AI volgens Microsoft: https://www.microsoft.com/en-us/ai/responsible-ai-resources
• Guidelines voor Human-AI interaction: https://www.microsoft.com/en-us/research/project/guidelines-for-human-ai-interaction/

Meer weten over Explainable AI? Lees erover op onze insights pagina en download de gratis whitepaper.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence, ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt hadden gevonden. Dat gaat ons helpen om nog grotere problemen te gaan oplossen. Denk maar aan een computer die zelf kan leren. Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus het is door de mens bedacht. Bij kunstmatige intelligentie denk ik aan data. Zo, kunstmatige intelligentie. Eerlijk gezegd weet ik niet wat dat is. Hi, je luistert naar de podcast AIToday Live van Inversupport. Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in the enterprise en AI in de praktijk. Welkom allemaal bij de tweede aflevering van de AIToday Live podcast. Leuk dat je luistert. We hebben vandaag een speciale gast, Eduard van Valkenburg van Microsoft. Eduard, leuk dat je meedoet vandaag. Zou je je misschien even willen voorstellen aan de luisteraars? Ja, zeker. Leuk om hier te zijn al eerst. Ik ben Eduard van Valkenburg, ik ben Cloud Solution Architect in de partnergroep van Microsoft. Ik werk met partners zoals Inversupport om te zorgen dat zij alles uit onze technologie halen wat erin zit en daar uiteindelijk onze klanten mee helpen. Ja, leuk dat je mee wilt doen vandaag. Het thema is vandaag explainable AI. Het gaat over uitleg van AI modellen. Volgens mij weet je daar behoorlijk wat van en kan je daar straks ook vanuit de praktijk dingen toevoegen. Dat is hartstikke leuk. We zitten samen ook met Niels. De vorige aflevering, Niels, we waren zo enthousiast dat we gewoon begonnen zijn. En eigenlijk heb jij ook nog een introductie gehad van wie je bent, wat je doet. Laten we dat even inhalen vandaag. Goed punt. Ik zat de tweets allemaal te doen. Nieuw format, nieuw gezicht, nou ja, eigenlijk nieuwe stemmen. Hadden we inderdaad mezelf even in vorm moeten stemmen. Dus bij deze inderdaad, ik ben Niels Neklee. Ik ben werkzaam bij Info Support, ben daar chapter lead data en AI en hou me eigenlijk bezig van techniek tot inrichting bij klanten, processen, alles omtrendt data en AI en het inzetten daarbij bij klanten. En gegevenaars ook training en allerlei andere zaken waar ik me mee bezig mag houden. Ja, precies. Vrij gevarieerd. Zeker. Leuk, leuk. We hebben altijd drie onderwerpen, tenminste drie brokken in de podcast zitten. En de eerste is AI in de Nieuws. Laten we eens even kijken van wat ons is opgevallen. En wie weet hebben we misschien zelfs wel ergens een link met het thema vandaag. Dus laten we starten met AI in de Nieuws. Niels, wil jij misschien eens beginnen met wat jou opgevallen is? Ja, zeker. En heb je dat gevoel wel eens dat als je aan het zoeken bent, dat je in een bubbel belandt? Zeker. Ja, nou, dat had ik dus ook. Het onderwerp is Explainable AI, dus dan ga je nog wat extra artikels lezen en je gaat er nog even verder induiken. En toen ik op zoek ging naar nieuws, interessante nieuwstopics van wat is me nou eigenlijk opgevallen, kwam ik eigenlijk allemaal weer op Explainable AI, vertrouwen in modellen en dat soort zaken tegen. Maar er is eigenlijk één die ik er toch even uit wil halen. Hij bestaat al een tijdje. Hij is op Netflix, Coded Bias. Veel mensen hebben ervan gehoord. Ik hoor veel collega's erover, van ja, ja, heb ik al van gehoord, maar heb ik hem nog niet gezien. Ik weet niet, hebben jullie hem al gezien? Hebben jullie hem al een keer gehoord van Coded Bias? Ja, zeker. Ik had hem ook vandaag als topic eigenlijk voor AI in de Nieuws. Ja, cool. Ja, nee, het is echt een echte aanrader. Ik had hem, ik denk een paar maandjes geleden kwam ik hem met Netflix tegen. Dat is wel hartstikke slecht weer in Nederland, regen. Ik ga hem toch eens kijken, zondat je hem mislist. Maar het is eigenlijk met dit onderwerp echt een must see. Er wordt zo mooi aangestipt van wat eigenlijk de zwarte zijde kan zijn van Artificial Intelligence als je er niet goed bij stilstaat. Dus voor iedereen die er wel eens van gehoord heeft, maar nog niet gekeken heeft, ga hem alsjeblieft kijken, want het is echt een hele mooie weergave van wat er ook kan gebeuren. Ja, helemaal mee eens. Wat ik daar zelf mooi aan vond, of mooi eigenlijk, niks is ongeveer mooi in de documentaire. Dat maakt het wel. Je krijgt er wel de kriebels van. Laat ik het zo zeggen, wat voor mij een soort van toch wel eye-opener was, want uiteindelijk is er niks nieuws aan wat er mis kan gaan, is dat het best wel in eerste instantie ver van een bad show leek. Dat is typisch iets voor de Amerikaanse samenleving en in China. Maar dat is ook heel mooi om te laten zien hoe het mis ging in Londen met gezichtsherkenning. Dat een jongen van 15 wordt aangehouden met zijn vrienden omdat hij gewoon herkend wordt op straat en dat hij wordt aangemerkt als, ja, wat zal het zijn, mogelijk crimineel, mogelijk terrorist. En wat een invloed en impact dat heeft op zo'n jonge jongen. Dat was echt verschrikkelijk eigenlijk om te zien. En dat ze dan ook lieten zien dat er geen wettelijke grondslag lag om die gezichtsherkenning in te zetten. En waarbij ook de vraag was van, ja, maar hoe accuraat, hoe nauwkeurig is het en hoe is dat getest? Ja, bijzonder inderdaad. En ze werden er ook op aangesproken, de politie in Londen. En ze stapten gewoon eroverheen van het wordt wel of niet toepast. Nee, we doen het. En je houdt je er maar gewoon aan. Wij gaan nu, we mogen gewoon aan jou vragen om inderdaad te fouilleren en te onderzoeken en gaan eigenlijk op dat recht springen ze naar binnen en hebben het eigenlijk helemaal niet meer over het AIO-model. Ja, echt confronterend inderdaad. Ja, en wat eruit gekomen was dat IBM in ieder geval voorlopig voor dit soort projecten gezichtsherkenning niet meer inzet. Misschien meteen een vrij impertinente vraag aan jou, Eddie White, maar weet je eigenlijk wat de stelling van Microsoft hierin is? Ik weet het niet precies, maar ik weet wel dat al dit soort trajecten worden in ieder geval, wordt door een board binnen Microsoft doorgelicht om te kijken van, moeten dit willen, zeg maar. En er zijn natuurlijk ook prima redenen om te zeggen, we doen het wel. Maar er wordt wel eerst goed over nagedacht, goed risico's in kaart gebracht en echt gekeken. Dit zijn onze guidelines, dit zijn onze criteria voor wanneer we wel of niet iets doen. Valt het naar binnen of niet? En dan beslissen we. Ja, wat ik vooral ook mooi vind bij Microsoft is dat je nu van die datasheets en factsheets hebt voor een hele hoop modellen waarbij ook risico's en use cases eigenlijk wordt aangegeven van hier is het goed bruikbaar voor en let op. Kan je daar nog iets mee over vertellen? Nou ja, dus we kijken eigenlijk heel erg vanuit een veel groter perspectief naar iets als explainable AI, wat uiteindelijk een doel is in je toolbox om op een goede manier AI te doen. Dus wij noemen dat responsible AI vaak. Dat is meer hoe we daar naar kijken. Want heel veel dingen rondom de AI gaat gewoon om de mensen en om de processen en om op de juiste manier het inzetten, de juiste manier bouwen en nadenken over oké wat doen we nou als er een false positive is of juist wat doen we als er een false negative is. Al dat soort dingen proberen we van tevoren over na te denken, zodat je niet achteraf achterkomt, shit dit hadden we eigenlijk gewoon niet moeten doen. Of dat je achteraf in een keer terug moet gaan krabbelen en zeg van ah ja ja eigenlijk hadden we het hiervoor niet moeten inzetten. Dus juist ook oké wat is de bias van het model en van de data die erin gaat. Soms is die bias er en kun je daar eigenlijk ook niks aan doen. Dus dan moet je in ieder geval transparant zijn over oké dit is de bias en dit betekent dat je het onder deze omstandigheden eigenlijk niet moet gebruiken. Ja ik vind het wel mooi dat dat nu echt helder gedocumenteerd wordt. Ja dus daar wordt heel hard aan gewerkt nu. Dus binnen alle AI teams zitten nu mensen echt specifiek op die documentatie op het echt heel erg duidelijk neerzetten van oké dit zijn de voorwaarden, dat antwoord voor het gebruik van dit model. Dus we hebben ook nu een custom text to speech service, die met deep learning super goed iemand stem kan nadoen. Nou die kan je als klant ook al zou het technisch wel kunnen, die kan je als klant niet zomaar inzetten. Wij willen contractueel van degene van wie de stem is een handtekening zien dat die daar toestemming voor heeft gegeven. Ja precies. Dus ik weet op een gegeven moment dat er een bedrijf was, ik weet de naam even niet meer precies maar een modebedrijf, die wou de stem van hun founder die inmiddels overleden is, wouden ze gebruiken daarmee om in reclames en op de website of een chatbot of zoiets met stem van de founder te maken. Maar toen zeiden we ja dat doen we niet, want die founder die kan niet consent geven hierop, dus helaas. En nou daar zie je wel echt een shift, want het was natuurlijk altijd het kan dus we doen het omdat het kan en nu gaan we echt van tevoren gaan we hard zeggen, nee ja soms kan het niet. Dat besef komt er steeds meer he? Oh sorry. Ja mooi om te zien, want dit is niet iets wat er in het begin al was. Want ik heb toen het net uit was de service, ik heb er naar gekeken en ik ben nog steeds van plan om de nieuwsbotten verder af te gaan bouwen, zodat voice voor mij als antwoord gegeven kan worden. Gelukkig kan dat nog wel als ik zelf consent geef, maar het is goed dat er over nagedacht wordt, want je kan het voor zoveel andere doeleinden inzetten voor scams, maar ook gewoon voor publicaties. Ja, we kijken de hele ziekte wereld. Dus het is wel mooi om dat te zien dat die ownership eigenlijk gewoon gepakt wordt vanuit Microsoft. Hopelijk doen de andere partijen dat ook. Ja en wat ik net wilde zeggen van gelukkig komt er steeds meer besef dat dit soort dingen ook nodig zijn. Dat niet inderdaad alleen maar de technologie leidend is, maar dat we ook gaan nadenken over welke gevolgen heeft, wat voor consequenties kan het hebben en willen we dat en hoe gaan we dat dan afdekken. En soms kan dat zijn dat je het, net wat jij zegt Eduard, dat je dat contractueel bepaalt. Misschien zeg je op sommige delen zelfs dat je dat via de wetgeving wil afdekken. Dat je zegt, dit staan we maar gewoon hier toe, hier trekken we een grens. Maar dat er in ieder geval over nagedacht wordt. Daar ben ik blij om dat dat steeds meer gebeurt. Nee, dus wij zijn ook zowel in Europa als in Amerika heel hard aan het pushen op wetgeving rondom facial recognition. Dus juist zo'n case als in Londen, met gewoon op straat dat je eruit gepikt wordt omdat jouw gezicht met 80% accuracy matcht. Ja, moet je dat willen als samenleving? En ja, dat zou gewoon de overheid moeten zijn die dat neerzet. En onder deze voorwaarden of in deze situatie of gewoon niet. Ja, en wat ook in die documentaire zat, want dat was hetzelfde in Londen. Want ze hadden dan mensen van, ik weet eigenlijk niet meer hoe die organisatie heette, maar die streden hier tegen. In ieder geval zeg maar tegen de inbreuk in de privacy. Dus ze spraken mensen op straat ook aan van, ja weet dat die bus die daar staat, daar staan camera's op, dus je wordt herkend. En een man had echt zoiets van, ja maar daar heb ik helemaal geen zin in. Dus die deed, wat deed hij? Hij zette zijn shirt omhoog. Ja, oh ja, z'n shirt gewoon omhoog, ja. Meer deed hij niet. Alleen op basis daarvan werd hij aangehouden, omdat daarom de gezichtsherkenningssoftware hem niet kon identificeren. En er was genoeg om hem aan te houden, weet je. Dan denk je echt, oeh, want het gaat echt wel ver. En dat is gewoon hier in Europa. Ja, bizar is dat. Ja, daar willen we echt niet naar toe. Wel echt enge dingen om over na te denken. Ja. Dat het gewoon 20%-er getrackt kan worden en dat ze gewoon, en je kan nu al, je zou nu al kunnen bouwen dat jij op straat loopt, naar een winkel kijkt en gaat lachen of gaat flonzen en dat je op basis daarvan reclame krijgt. Ja. Is er. Ja. Wil je dat? Ja, ik wil het inderdaad. En dat zijn de goede vragen die gesteld moeten worden. Ja, want het kan, is niet meer een reden om het te doen. Je moet erover nadenken. Je moet het willen, inderdaad. Ja. We kunnen nu zoveel. Ja, ja, dat is echt, echt niet meer de bottleneck. Nee. Zijn er, Joop, nog andere zaken die bij jou zijn opgevallen in de, in het nieuws? Nee, ik had echt precies hetzelfde met Code Barriers. Dus ik weet niet of, ik bedoel, bij Eduard vallen we er zo in. Of jij iets hebt waarvan je zegt van, hé, maar dit is echt me de afgelopen maand een beetje opgevallen. Hoeft verder niks met Explainable AI te maken te hebben, maar iets waarvan je zegt van, ja, dat wil ik wel, dat wil ik wel inbrengen. Nou ja, echt niet, niet iets specifieks. Ik had ook niet deze vraag voorbereid. Nee, nee, sorry. Sorry, daar overvallen we je ook mee. Laten we gewoon naar het hoofdthema gaan, Explainable AI. Dus we kijken wat, nou, wat het is en wat we daarmee kunnen. Ja, laten we eens beginnen met, wat is Explainable AI? Misschien dat jij zou kunnen vertellen wat dat voor jou is. Nou ja, dat, laten we dat eerst eens even uitdiepen. Wat is Explainable AI eigenlijk, voor de luisteraar? Misschien voor jou Eduard? Eduard, ja. Oh ja, sorry. Ja, Explainable AI is eigenlijk een set aan technologieën om met name de inmiddels heel veel gebruikte deep learning modellen meer inzicht te laten geven in waarom ze tot een bepaalde voorspelling zijn gekomen. Even heel plat gezegd, een machine leert van de data die je erin stopt en vervolgens krijgt die een enkele record over een persoon of over een situatie of waar dan het model ook voor is. Dat krijgt hij binnen en dan doet hij voorspelling. En die voorspelling, om daar meer context bij te geven, kun je dus Explainable AI technologieën gebruiken om eigenlijk te kunnen zeggen van nou, zowel welke factoren van al die input die je geeft, heeft het meeste invloed op deze voorspelling. Maar bijvoorbeeld ook, wat is de sensitivity? Dus als jij een van die waardes een heel klein beetje omhoog of een heel klein beetje omlaag doet, krijg je dan een andere voorspelling of krijg je dan eigenlijk hetzelfde nog eruit. Dus allemaal dat soort inzichten in wat er nou eigenlijk gebeurt binnen dat soort hele complexe, de 10, 20, 100 lage, diepe neural networks. Dat is waar we het meest over hebben als het over Explainable AI hebben. En dat zijn eigenlijk wat wij dan noemen de black box modellen die je gaat doorlichten. Dan heb je aan de andere kant van het spectrum, heb je ook wat we dan noemen glass box modellen. En dat zijn dus modellen waar in de rente al veel makkelijker te zien is wat er nou eigenlijk gebeurt. Dus we nemen de decision tree, die kan je bij wijze van spreken uitprinten en op een muur hangen. En dan kun je gewoon er doorheen lopen en zeggen oké, dit is waarom we hier eindigen. Ja, we zijn echt interpreteerbaar. Ja, dan meen je natuurlijk nog steeds niet waarom die de grens nou net op 5,5325, weet ik veel hoeveel cijfers achterkomen, want dat is wat machine learning natuurlijk wel daaruit trekt. En waarom die op dat getal is uitgekomen. Maar dan in ieder geval dat je weet oké, dit is hoe we bij dit antwoord zijn gekomen. Ja, duidelijk. Hoe betrouwbaar is dan die uitleg die eruit komt? Ja, dat is een hele goede vraag. En die is denk ik direct gerelateerd aan hoe betrouwbaar het model is. Uiteindelijk heeft de machine learning model altijd een bepaalde betrouwbaarheid. Die is nooit 100%. Die zeldzaam case dat het wel zo is, even bij de beschouwing laten. Eigenlijk zou die niet moeten bestaan, want er zijn geen machine learning gebruiken. Precies. Dus er zit altijd onzekerheid in. En dus ook in de data die je krijgt uit zo'n analyse, uit zo'n explainable AI analyse, daar zit dus ook onbetrouwbaarheid in. Ik weet niet of je die een op een aan elkaar kan matchen, maar ik vermoed dat dat dicht bij elkaar in de buurt zal zitten. Want dat lijkt mij logisch op de een of andere manier. Ja, maar ik denk dat dat wel goed is om aan te stippen. Dat dat hetzelfde is als die, nou ja, het is niet regelgebaseerd. Dus je hebt geen inderdaad 100% ja/nee. En dat geldt voor die uitleg denk ik precies hetzelfde. Het heeft een bepaalde mate van betrouwbaarheid. Ja. En hoe belangrijk is explainable AI in het algemeen, vind jij? Ja, ik zou bijna zeggen dat je tegenwoordig, als je nu een nieuw model gaat bouwen voor iets, dat je niet meer kan zeggen we gaan dat niet meenemen. Ook de technologie is inmiddels dusdanig makkelijk dat je eigenlijk gewoon niet kan verantwoorden dat je zegt nee we gaan dat vinkje niet aanzetten in de tool die we gebruiken. Want inmiddels is het op dat niveau. Het is een kwestie van een vinkje aanzetten en een klein beetje compute en dan heeft ie een resultaat. Dan is eigenlijk nog de veel belangrijke vraag, gebruiken mensen het ook nog nadat ze het model getraind hebben? Dus blijven ze erbij houden en blijven ze er ook naar refereren? Is het echt onderdeel van het proces van de lifecycle van zo'n model over de tijd? In plaats van alleen maar iets wat je één keer bekijkt nadat je model goed genoemd is. Heel mooi punt. Dat vind ik zelf wel een hele belangrijke inderdaad. Leuk dat we een bepaald test gebruiken. Ik hoop dat we daar al heel veel andere zaken gebruiken om onze modellen te testen. En dat dit eigenlijk een addition is die we erbij krijgen en moeten gebruiken tegenwoordig. Maar dit is iets wat je eigenlijk continu moet blijven monitoren en kijken of ook daar geen hele grote verschillen in gaan ontstaan. En dat is eigenlijk weer een middel om ook in productie wat mij betreft in controle te blijven van het model en de explainability daarvan. Ja, daar ga ik aan meneer. Ja, en ik denk dat het belangrijk is dat je goed van tevoren nadenkt voor wie je ook de uitleg nodig hebt. Want je hebt natuurlijk op verschillende niveaus heb je uitleg nodig. Dus als je het hebt over gedurende de modelontwikkeling is typisch natuurlijk de data scientist of de machine learning engineer die het nodig heeft. Maar we hebben natuurlijk ook te maken met eventueel een domein expert die moet snappen wat het is. Een eindgebruiker die moet misschien vertrouwen krijgen in het model. Die heeft weer ander type uitleg nodig voor juridische zaken of voor wetgeving. Heb je misschien weer andere explainers nodig. Dus daar moet je wel van tevoren denk ik heel goed over nadenken. En ik ben het helemaal met jou eens Eduard. Je kan geen model eigenlijk bijna meer maken zonder dat je dit gebruikt. Zonder dat je nadenkt. Waar heb je dit voor nodig. Dat je het heel vroeg in je design proces meeneemt. Maar dat ook in je standaard workflow eigenlijk blijft herhalen. Ja, het is wat mij betreft inmiddels echt op het niveau van dat je een applicatie continu test bij elke update en bij alles wat er gebeurt. Met een continuous integration achtige manier van denken. Daar zou dit eigenlijk ook in moeten zitten. Inclusief van rapportages, automatisch naar de juiste stakeholders. Om te zorgen dat er ook echt mee gebeurt. Want het inzicht hebben ze één. Acteren erop is natuurlijk nog een tweede. Ja, precies. En hoe zie jij dit thema zich ontwikkelen de aankomende jaren. Daar ben ik wel benieuwd naar. Nou, ik heb daar wel vertrouwen in dat dat echt nog meer standaard wordt. Ook in alle tools. En ook dat juist gericht op die verschillende soorten gebruikers hiervan. Daar ook steeds meer variaties binnen die tools komen. Dat je kan zeggen, nou echt voor de data scientist. En voor hele specifieke dingen die je wil weten. Zoals bias en dat soort dingen. Dat daarvoor gewoon een variant van die tool ontstaat. Die gewoon alleen maar dat en heel duidelijk in hele makkelijke taal of visuals of wat dan ook weergeeft. En hetzelfde voor een business gebruiker. En hetzelfde voor een eindgebruiker. Ik kan me zo voorstellen dat je steeds meer ook in apps die een algoritme gebruiken. Dat je daar ook gewoon in gaat laten zien. Dit is hoe zeker we zijn van deze voorspelling. Of deze vijf dingen wogen het zwaarste bij het komen tot deze voorspelling of zoiets. Dat dat steeds meer de norm gaat worden. En ik hoop vooral dat overheden daar echt op gaan inzetten. Want als er één domein is waar ze het heel goed kunnen gebruiken om veel meer modellen te gebruiken. Maar het nog belangrijker is dat het op de goede manier gebeurt. Dan is het in de overheid. Ja, helemaal met je eens. Dat zou heel mooi zijn voor ons allemaal. Want volgens mij zit daar echt heel veel waarde in. Maar ze moeten het wel echt op de hele goede manier doen. Ja. Er zijn natuurlijk ook veel meer mensen die daar juist op letten. Omdat het de individu en de burger ook echt raakt. Dus ze zitten in het gevoelige gebied. Dus het goede voorbeeld geven is daar nog belangrijker. En als je kijkt naar de partners met wie je samenwerkt. En dat zou ook bij veel omgevingen komen. Zie je daar ook al echt de awareness? En de mensen die er echt veel mee aan de slag gaan? Of is het meer van, nee, we zijn er nu over aan het praten. Of zien het ook al vaak toegepast worden? Nee, ik zie de meeste partners die echt serieus met machinelearning bezig zijn. Dat echt naar productie brengen. En echt een standaard methodes hebben om de hele ML op zin te richten. En al dat zingen. Dat die ook eigenlijk allemaal dit wel aan het meedoen zijn. Dus ze mogen er best wat meer over praten. Dus ik ben ook heel blij dat jullie zowel in Pabedaar een paar weken geleden. Als hier het zo expliciet op de kaart zetten. Dat kan nooit gehaald worden. Mooi om te horen. Ja, wat ik zelf zie is op het gebied van research. Zit er echt wel nu een zwaartepunt ook op Explainable AI. We hebben in onze research center ook. Is dat ook een van de drie main topics waar we research op legen. Maar ik zie dat dat echt wereldwijd gebeurt. En dat geeft mij ook wel het idee. Daar gaan natuurlijk ook steeds meer nieuwe ontwikkelingen uitkomen. Nu is het toch wel vaak dat de uitkomsten van Explainable AI. Toch wel voor experts interpreterbaar zijn. Dat je echt wel moet snappen wat eruit komt. En de volgende stap wordt natuurlijk echt van. Hoe maak je dat voor veel grotere doelgroepen inzichtelijk en begrijpelijk. Zo zitten wij zelf samen met de universiteit onder andere van Twente. In een Europees project met allerlei. Ik geloof dat het iets van 11 andere universiteiten zijn. En andere business partners. Waar gekeken wordt van. Hoe zou je nou een natuurlijke taalgeneratie daar aan kunnen koppelen. Zodanig zelfs dat het gekoppeld is aan jouw profiel. En dan moet je echt denken bijvoorbeeld in de gezondheidszorg. Waar een arts uitleg geeft aan jou. Maar als het goed is dat ook een beetje op jou afstemt. Wat de uitleg is van de onderzoeken die gedaan zijn. Want dat is uiteindelijk voor mij natuurlijk ook een black box. Als ik bijvoorbeeld in een MRI heb gelegen ofzo. Dan kan hij mij de foto's laten zien. Of nog erg een rundige foto. Want voor mij zijn dat alleen maar zwart witte vlekken. En dan zeggen ze kijk hier zie je dat. En dan gaat hij uitleg geven. En dan zie ik dat nog steeds niet op die rundige foto. Maar door zijn uitleg begrijp ik in ieder geval wat er aan de hand is. En als het goed is schat hij dan een beetje in. Hoeveel uitleg of hoe diep ik dat wil hebben. Nou zoiets wil je eigenlijk ook met X-Flame in de Boljaar. Ja dat is ook wel een mooie analogie. Dat je zegt nou een dokter die naar een X-ray. Of een MRI of iets kijkt. En zegt hier zit net een verschil ten opzichte van normaal. Dat verschil highlighten en laten zien en teruggeven. Dat is een feit dat je met X-Flame in de Boljaar ook wil doen. Dat je niet alleen zegt oké dit is hier een plaatje. Maar je ook zegt nou hier zit een verschil van dit plaatje. Versus het standaard plaatje. Of versus. Ja en dat betekent. En dat betekent ja. Dus dat er zoveel onderzoek nu wordt gedaan. Geeft mij ook wel een gevoel. We hebben volgens mij nu een eerste fundament. Maar dat daar echt op doorgebouwd gaat worden. En dat dit in de aankomende jaren ook verbeterd en uitgebreid gaat worden. Ja ik heb er ook heel veel vertrouwen in. Mooi. Even kijken hoor. Dit waren denk ik wel een beetje mijn vragen. Niels had jij nog specifieke vragen? Nou wat ik nog gewoon nieuwsgierig naar was. We zijn nu bezig in Europa natuurlijk met wetgeving. Op AI vlak. Het is een hele grote paper geworden. Het ligt nog allemaal ter discussie natuurlijk. Maar wat ik me afvraag is hoe gaat dat dadelijk met Microsoft en andere grote partijen. Dat als er in de EU bepaalde wetgeving gaat plaatsvinden. Wat gaat dat doen met de diensten die wereldwijd worden aangepoden? Ja dat is voor ons heel simpel. Wij gaan aan de wet voldoen. Dat is flink heel makkelijk. Maar zo simpel is het uiteindelijk wel. Want wij gaan natuurlijk niet zeggen. Oh we mogen geen feestje werken in de zomer. Nou dan doen we dat heel lekker anders. Dus dan zullen we zeker onze diensten daarop moeten aanpassen. Nou zijn we sowieso al heel erg hard bezig. Om te zorgen dat we alles wat we aan Europese planten aanbieden. Vanuit Europese datacenters doen. Met alle GDPR guidelines. En allemaal dat soort dingen. Dus inmiddels zijn we geen vreemden meer in hoe we daarmee om moeten gaan over de hele wereld. En meestal wat we bijvoorbeeld met privacy doen. Is dat we gauw gezegd hebben. We pakken de strengste wetgeving. Dat is op dit moment GDPR en een beetje Californië. En dat maken we gewoon voor onszelf wereldwijd standaard. En dan hebben we nog maar een ding te doen. En dan zitten we goed zeg maar. Tot er weer een strengere komt. Dus dat moeten we weer aanpassen. Maar dat hoort erbij. Dus het zou me niks verbazen dat we op een gegeven moment hetzelfde zeggen voor dit. Als er inderdaad in Europa een strenge wetgeving komt. Rondom noem maar facial recognition of speech generation. Dat we ook zeggen. Dan nemen we vanaf nu dat als markt voor de hele wereld. Ik denk een hele mooie transparante aanpak daarin ook. Een andere vraag die bij mij nog leeft is van explainable AI. Is een ding. Maar volgens mij is het maar één onderdeel in het grotere plaatje. Daar moet ik het over vertellen. Dat is ook iets wat ik erg belangrijk vind. Dat mensen daar ook over nagenikt. Want uiteindelijk is explainable AI een tool om die modellen die je hebt gebouwd. Om die meer inzichtelijk te maken. Maar waarom doe je dat? Dat doe je niet om het inzichtelijk te maken. Dat doe je uiteindelijk omdat je daar iets mee wil bereiken. De manier waarop wij dat zelf binnen Microsoft gedaan hebben. Is dat we zijn we echt even terug gegaan en achteruit gestapt. En gekeken wat zijn onze principes voor hoe we AI willen gebruiken. Dat heeft dus helemaal niks met technologie te maken. Die principes zijn fairness. Is het eerlijk het model? Dus het discrimineert het niet? We hebben heel veel documentatie over wat precies fairness is. Maar dat is de eerste. Accountability. Kun je daadwerkelijk degene die het gebouwd heeft. Kan die laten zien hoe hij het gebouwd heeft. Kun je daar als eindgebruiker als jij het door geraakt wordt. Kun je dan je gram halen? Om het maar heel wat beter te zeggen. Transparantie. Dat zit in dingen als de datasheets. Waar we het over gehad hebben. Dus echt expliciet laten zien. Dit is de dataset die we gebruikt hebben. Dit zijn de algoritmes. Dit zijn de parameters. Al dat soort dingen dat je daar zoveel mogelijk van documenteert. En vastlegt en kan overleggen. Inclusiveness. Dus dat gaat heel erg om discriminatie. En echt de nog wat naardere kant van fairness. En dan eigenlijk de twee soorten van verdraging die eronder moeten zitten. Reliability en safety. Dus gebruik je het op een manier. Als het in een cruciaal proces zit. Wat gebeurt er dan als het model in een keer wegvalt? Of dat soort dingen. Dus dat je daar ook over nadenkt. En dan privacy en security. Dus kan het model niet geabused worden. Doordat mensen gaan spammen. Hoe zit het met de privacy van de dataset die je gebruikt hebt. Van jou als jij in een app zit en daar een call naar doet. Dus heel veel van dat soort echt IT-achtige dingen. Dat die ook geregeld zijn. Nou en eigenlijk hebben we dan binnen Microsoft nog een team. Die principles neemt en daar dan echt guidelines over schrijft. Dat zijn echt handboeken van. Oké ik ga nu als team een model bouwen voor mijn app. Wat moet ik doen? Nou en dan heb je. Dus we hebben er bijvoorbeeld eentje die het zelf erg goed vindt. Die staat publiek gedocumenteerd. Dat is onze guidelines for human AI interactions. Dus voor alle cases waarbij een persoon met een AI in aanraking komt. Dat kan zijn in een chatbot. Dat kan zijn in zo'n speech-to-text service. Dat kan zijn in een app die een algorithma gebruikt. En daar zitten 18 blokken in waar je over moet nadenken. Dus dat zijn oké hoe maak je duidelijk aan de gebruiker wat het systeem doet. Als je nadenkt over Google. Hoe stelt Google die ranking samen? Nou dat kan je niet uitgelegd krijgen. Dus daar gaat het wel mis zeg maar.'Make clear how well the system can do what it can do.' Dus hoe goed is het systeem in wat hij zegt dat hij doet. Dus daar kom je bij de reliability van je model. Bij de accuracy. Allemaal dat soort metrics. En hoe geef je dat ook aan de gebruiker. Dat die daarmee een beslissing kan nemen over. Oké ik kan dit vertrouwen of ik zeg ik wil het überhaupt niet. Nou dan tijdens de interactie. Nou daar zit ook een aantal dingen in. Er zit bijvoorbeeld dat je relevante informatie vanuit de context laat zien. Dus als jij naast, als jij voor een of ander image recognition ding. Naast de foto die je uploadt ook vijf andere foto's gaat meenemen. Nou dan moet je dat laten zien. Als jij zegt we gaan ook je gps locatie gebruiken. Moet je laten zien. Dat moet natuurlijk sowieso bij gps locatie. Maar juist dat je ook duidelijk maakt. Dit is wat we allemaal gebruiken voor jouw ding. Nou dan een heel aantal over wat doen we als we het fout hebben. Dus kun je dan als gebruiker in beroep gaan. Kun je uitleggen waarom het systeem gedaan heeft wat het heeft gedaan. Kan de gebruiker een verbetering doorvoeren. Of het negeren. Dus allemaal dat soort dingen. En dan het laatste paar zijn over. Wat gebeurt er nou over de tijd heen met dat model. Dus leert ie van de gebruikers in het verleden. Dus eigenlijk doe je retraining. Dus eigenlijk doe je mhops. En niet alleen maar model en de wereld in en negeren. Gebruik je feedback van gebruikers. Laat je ook weten aan de gebruiker als jij zijn feedback verwerkt hebt. En er is een nieuwe versie. Allemaal dat soort dingen zitten erin. En deze guidelines. Die worden nu gewoon verwacht dat elk team in Microsoft. Die iets met een AI-model gaat bouwen. Dat ze deze buckets allemaal langs haalt. En allemaal documenteren hoe gaan we om met dit blokje. Hoe gaan we om met dit blokje. Dus dat is echt het niveau van die principes pakken. En een handboek geven waar iedereen die hiermee aan het werk is. Een goede manier kan zorgen dat ie op een nette manier dat model opbouwt. Zo hebben we daar ook nog een aantal andere. Bijvoorbeeld eentje specifiek voor chatbots. Want dat is nog een heel ander interactiemodel. Dus daar moet je ook op een andere interactie. Dus daar zitten bijvoorbeeld dingen in. Hoe makkelijk is het om uiteindelijk een human operator aan de lijn te krijgen. Moet je dan duizend keer vragen. Send me to a human, send me to a human, send me to a human. Of als je ook maar één keer zegt ik snap niet wat je bedoelt. Dat je dan gelijk al netjes wordt overgebracht. Dat ding zit er daar in. En dan moet je er ook transparant mee over. Nou dan ook die datasheets. Dus documenteren van dit is de data, dit is hoe we daar aan gekomen zijn. Nou dan zit er een heleboel tooling. Dus over zowel dingen als explainable AI en Fairlearn en allemaal dat soort pakketten. Maar ook alles rondom. De standaard IT tooling van zit je API netjes met HTTPS en certificaten. Al dat soort standaard hoop je. Maar jammer genoeg niet altijd standaard. Ik denk dat dat aangenemmer is. Ja precies. En dan ook controle. Dus monitoren van welke calls gaan naar jouw model. Wat is daar de voorspelling van. Log je dat weer. Kun je dat weer hergebruiken bij het checken van je model. En bijvoorbeeld ook iets als data drift detection. Allemaal dat soort tools om tijdens de lifecycle goed te kunnen snappen wat er gebeurt met je model. En dan als laatste hebben we dan echt governance. Dus echt gewoon, oké hoe organiseer je nou jezelf om op een goede manier hiermee om te gaan. Dus wij hebben zelf in de Microsoft een chief responsible AI officer. Die niks anders doet dan rapporteren over en die guidelines schrijven. Dus het team daaronder die bouwt die guidelines. Om uiteindelijk te zorgen dat als iemand vraagt oké hoe doet Microsoft responsible AI. Nou dit is dit is het team die dat helemaal kan uitleggen. Die je er helemaal doorheen kan nemen. En die ook dus toezicht houden op alle teams die dingen aan het bouwen zijn. Hebben jullie daadwerkelijk die guidelines gebruikt. Hoe heb je je fairness getackled. Hoe heb je dit gedaan. Hoe heb je dat gedaan. Dat is de buitste schil van het hele verhaal over oké. Dit is hoe we op een goede manier als organisatie AI bouwen. Want die 18 blokken waar je het over had. Die zijn inderdaad open te krijgen. Die kunnen we ook wel een linkje delen in de beschrijving van de podcast. Want die zijn echt wel heel nuttig om door te nemen. Voor ieder die bezig is met het maken van AI modellen. Want er zitten echt hele goede vragen tussen. Dus het is niet alleen maar de vragen. Het is echt uitgediept. Ik vind het echt een heel mooi systeem. Ik heb dat zelf ook gebruikt. Dus dat is echt van toegevoegde waarde. Hoe zit dat met die andere wat je had over die governance. Is dat ook vrij in te zoeken. We hebben het meeste hiervan hebben allemaal gedocumenteerd. Dus we kunnen de link daarna even in de show notes stoppen. Want we zijn hier ook heel transparant over hoe wij dit zelf hebben aangepakt. Zodat andere bedrijven daarvan kunnen leren. Dus we willen ook juist dat het gebruikt wordt. Ja dat is heel duidelijk. En dat is ook heel fijn dat je op deze manier......kennis met elkaar gewoon hergebruiken. En dat we er met z'n allen beter van worden. Dat is echt een mooie initiatief. Het belang voor allemaal inderdaad staat boven. Dat vind ik mooi om te zien. Dat we dat bij elkaar kunnen delen en leren van elkaar. En wat ik ook mooi vond. Een paar kerndingen die ik eruit vond. Dat was een heel mooi uitleg. Maar volgens mij is het documentatie en transparantie. Is echt gewoon key. Wat ik er in ieder geval uit wil uitleggen. Uit de mooie voorbeelden die je net noemde. Ja en dat is ook... Ik zou bijna zeggen het makkelijkste. Ja, daarom is het mooi dat er over gepraat wordt. Want het is het makkelijkste. Het is gewoon documenteren wat we gebouwd hebben. Waarom we het gebouwd hebben. Hoe we het gebouwd hebben. Dat is een kwestie van doen. En als we er nu genoeg rugbereid en weerbaarheid aan geven. Dat we het met elkaar hierover hebben. Dat we het belangrijk vinden. Dat we daar helpen met handboeken. Dan gaat dat ook gebeuren. En dan gaan we er allemaal profijt van hebben inderdaad. Want het hoeft dus niet moeilijk te zijn. Daarom wil ik nog even een vraag. Ik had hem voor Joop al even gesteld. Maar we blijven allemaal even kijken hoe we er tegenaan komen. Hoe ga je hier nou mee starten? Want het klinkt veel. Het klinkt governance. Heel veel documentatie. Maar volgens mij is het iets wat we eigenlijk morgen al met elkaar moeten gaan starten. Gewoon met kleine stapjes. Als je nog niet begonnen bent. Dus laat me even beginnen. Joop, wil je beginnen? Waar start je? Zullen we dat meenemen in de praktijk? Nog mooier. Als we dat in de praktijk aankoppelen. Helemaal mooi. Ja, dus Niels. Je vroeg van hoe start je hier nu mee? Nou, het belangrijkste is dat je het... Ik had het net ook al een beetje aangestipt eerder met Oker. Is dat je namelijk gewoon vroeg in je traject neem je dit mee. Dus het mooiste is als je het in je standaard workflow hebt. Dat als je na je exploratory data analysis daar al begint. Na te denken van wat hebben we nodig. Dus welke tooling heb je nodig. Maar liever nog. Wie krijgt de uitleg? Waarvoor doe je dit? Is het voor dat juridisch wetgevend? Is het om te kunnen debuggen, testen? Allemaal dat soort dingen ga je vast bedenken. En je zorgt dat je het in iedere cycle van trainen dat je het meeneemt. Dat je kijkt. Zeker als je bijvoorbeeld op Microsoft Azure je trainingen doet. Dan krijg je standaard grafieken erbij. Krijg je inzicht. Dat je kijkt hoe gedraagt het model zich. Het is een kwestie van. Het klinkt heel flauw. Maar waar start je? Door te beginnen. Het is niet zo moeilijk. Goede afspraken maken. Wij kennen ons eigen guidance framework. Daar staat in op een aantal punten. Hier en hier en hier. Let je op de privacy, op bias. Op al dat soort zaken. Fairness. En wat je daarvoor gebruikt. Er is nu zoveel tooling. Dat je niet meer kan zeggen waarom je het niet zou doen. Ben je het daarmee eens Edward? Zeker. Ik heb een toevoeging. Dit is bottom-up. Elke data scientist zou dit moeten doen. Ik vind het belangrijk dat ook vanaf boven. Bedrijven op C-level dit gaan bespreken. En gaan kenbaar maken dat ze dit belangrijk vinden. Als je in de stress zit van een project dat af moet. Dan kan het makkelijk zijn. Dat zie je ook met documentatie. Het kan makkelijk zijn om het aan de zijkant te zetten. En dat doen we later wel. Dus het van bovenaf aangeven. Dit moet gecoverd zijn. Anders mag je niet naar productie. Dat is een belangrijk component. Van beide kanten het goed krijgen. Helemaal mee eens. Dat zorgt er ook voor dat je een mindset hebt. Dat je niet denkt dat je het gaat doen. Dat je het niet doet. Het is net zo goed als te zeggen. We gaan geen ongeteste software in productie brengen. Dat dat zo geïnternaliseerd wordt. Als iemand daar maar over begint. Dat iedereen gaat stijgen. Dit gaat gewoon niet gebeuren. Dat zou hetzelfde moeten met explainable AI. Dat is een goede. Wat kan ik hier nog aan toevoegen. Bottom-up en top-down. Als ik er nog eentje van de zijkant noem. Je moet hier met elkaar over praten. Als je ziet dat het niet gebeurt. En met elkaar over praten. Dat moet in de fibers van het organisatie zitten. Dat dit van belang is. Dit geldt niet alleen voor AI. Dit gaat over software. Documentatie. Je moet het er met elkaar over hebben. En elkaar op aanspreken. De accountability. Dat is een belangrijk punt. De accountability van het team. De product-owner. Je moet elkaar erop aanspreken. Als iets niet gebeurt. Dat werkt alleen met top-down en bottom-up. Eduard, heb jij een voorbeeld. Waarbij de explainable AI verschil heeft gemaakt. Dat kan positief of negatief zijn. Niet zo op de top van mijn head. Ik hoorde in de webinar die we hebben gehad. Met Sarah Bird. Ze had een mooi voorbeeld. Dat er een model was ontwikkeld. Om risico's te classificeren. Of mensen grotere kans hadden op longontsteking. Of patiënten longontsteking hadden. Waar zij mee kwam. Dat model deed het heel goed. Maar toen ze de explainable AI op los lieten. Dat was een van de regels die ze ontdekten. Dat astma-patiënten als laag risicopatiënten werden gezien. Op longontsteking. Het probleem was dat die astma-patiënten. Juist heel risicovol zijn. We hebben veel risico op longontsteking. Maar omdat die al goed in de gaten worden gehouden. Door artsen. Omdat die data er niet in zit. Werden ze geclassificeerd als laag risico. Door explainable AI toe te passen. Dat is data die we niet meenemen. Daarom moeten we het model goed in de gaten houden. Waar zitten nog andere van dit soort gevallen in. Dan kun je ook zeggen. Dat je een apart model moet maken. Voor niet-astma-patiënten. En een eigen model voor astma-patiënten. Dat is iets wat uit je analyse komt. En hoe gaan we er dan mee om. Ik weet er zelf nog een. Ik kan explainen sowieso geen kwaad. Je wordt er altijd bij zijn. Maar we worden er met z'n allen beter van. Dat moet je niet vergeten. Bijvoorbeeld tijdens de show. We hadden Bas al over de blauwe overhemd. Het persoon herkennen. Ik had er zelf een prototype voor gemaakt. Er zijn veel varianten. Zo snel kan het fout gaan. Als je het niet goed doet. Dan gaat het mis. Je wordt er altijd beter van. Het is niet alleen over het goed of fout. Het kan je ook helpen met kostbesparing. Er zijn modellen ontwikkeld voor grote vervoerder. Waarbij gekeken kan worden. Of de energie bespaard kan worden. Met treinen. Als je die laat uitrollen. In plaats van dat je gaat remmen. Dat een machinist een seintje kan krijgen. Nu kan je het gas loslaten. En kom je op de juiste plek aan. Dat kan veel energie besparen. Door explainers in te zetten. Konden ze in een vroegtijdig stadium. Uit het model filteren. Het moest ook getest worden in de praktijk. Dat zijn dure testen. Dan moeten er machinisten met treinen rijden. De explainers kunnen je enorm helpen. Om die kosten naar beneden te krijgen. Het gaat om het ontwerpen van het model. In plaats van waar zitten we mis. Het is een wat grotere vraag. Het is een andere insteek. Ondersteuning bij je development en design. Ja, zeker. Het is ook wel interessant. Je kan op basis daarvan kijken. Waar moeten we nog extra data gaan verzamelen. Dat verzamelen is vaak het duurste. Dat je dat kan targeten. We zien dat we hier een grote klasse. We moeten meer data hebben. In plaats van dat je bulk meer data gaat verzamelen. We gaan gericht extra data verzamelen. Om te zorgen dat we een betere set hebben. Helemaal mee eens. Daar zit het probleem. De data verzameling. Meestal is dat het grootste component. Er zit 70 tot 80 procent van je klasse. En de tijd en energie erin zit. Een voorbeeld die ik zelf nog niet ben tegengekomen. Maar wel over gelezen heb. Waar het ook gebruikt wordt. Zeker bij de deep learning modellen. Om te kijken welke onbekende patronen er geleerd zijn. Omdat je met zoveel data bezig bent. Dat er dusdanig veel data in zit. Dat je het niet kunt verzamelen. Dat er dusdanige verrassingen uitkomen. Die zo niet intuïtief zijn. Waardoor je daadwerkelijk ontdekkingen doet. Dat vond ik ook een hele mooie case. Dat is de belofte van de hele AI wereld. Dat je door zoveel data te processen. Patronen ontdekt in die data. Die je mensen niet kan voorstellen. En dat je dat niet kunt veranderen. Dat je dat niet kunt bevroeden. En dat je dat niet kunt vinden. Een manier om dat eruit te krijgen. Is precies dezelfde technologie. Als wat je nodig hebt om te snappen waarom die tot een beslissing komt. En dan krijg je er ook uit. Welk patroon heeft die gevonden. Wat we nog niet kennen. Ja, leuk. Ik denk dat we er wel doorheen zijn. Al is het maar vanwege de tijd. Edewaard, ik wil jou echt hartelijk danken. Voor je deelname. Ik denk dat je mooi inzicht hebt gegeven. Ook vanuit jezelf. En hoe Microsoft tegen Explainable AI aankijkt. En waar het naartoe gaat. Hartelijk dank voor je deelname. En voor ons een bijzondere podcast. Want voor ons was je ook de eerste gast. Het is erg leuk dat je mee wilde doen. Niels, heb jij nog afsluitende woorden? Hartelijk bedankt dat je aan wil haken. Ik hoop dat je het leuk vond. Ik hoop dat de luisteraars het leuk vonden. Ik sta altijd open voor tips. Voor collega's of mensen die in je kring zitten. Een leuke gast om bij de podcast te hebben. Tip hem en geef hem door. Of voor de luisteraars. Laat het bij ons achter. We zijn makkelijk te vinden op social media. Op naar de volgende.*** Leuk dat je luisterde naar de AIToday Live Podcast. Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen. En kijk voor meer informatie over kunstmatig intelligentie op AIToday.ai Dank je wel voor het luisteren. Tot de volgende keer.***