S02E03 - Bias in AI met Ossama Sijbesma (Hogeschool Windesheim)

In deze aflevering vertelt onze gast Ossama Sijbesma van Hogeschool Windesheim over zijn onderzoek naar bias in AI.

In deze aflevering o.a.:

• Wat is Bias en welke soorten zijn er?
• Hoe kun je Bias detecteren?
• Mag je onderscheid maken met AI?
• Bias en Explainable AI
• Wat kun je doen om Bias te verminderen?

Links besproken in deze aflevering:

• Error Analysis

Meer weten over AI? Kijk dan op AIToday.ai

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

Copy Transcript Copied

0:00

Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence, ervoor zorgt dat die zoveel kunnen rekenen dat ze uiteindelijk bij een antwoord komen waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt hadden gevonden. Dat gaat ons helpen om nog grotere problemen te gaan oplossen. Denk maar aan een computer die zelf kan leren. Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is. Dus het is door de mens bedacht. Bij kunstmatige intelligentie denk ik aan data. Zo, kunstmatige intelligentie. Eerlijk gezegd weet ik niet wat dat is. Hi, je luistert naar de podcast AIToday Live van Info Support. Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in Enterprise en AI in de praktijk. Zo, welkom bij de derde aflevering van AIToday Live podcast. Leuk dat je weer luistert. We hebben vandaag weer een speciale gast. Ossama Sijbesma hebben we in de aflevering. Ossama, zou je je even voor kunnen stellen? Ja, zeker. Aangenaam kennis te maken. Ik ben Ossama Sibesma, een Friese Marokkaan, zoals we dat wel zeggen. Ik ben dol op verhalen en ik ben een afstudeerstage aan het doorlopen bij Info Support. Ja, leuk. En je afstudeerstage gaat ook over AI. Ja. Ja, dus geweldig dat je mee wil doen. De eerste deel van wat wij hier altijd doen is dat we naar AI in het nieuws kijken. Maar niet voordat ik verteld heb wat het thema van deze aflevering is. En dat is bias in AI. Hoe gaan we hier om? Waar moeten we op letten? En we zijn natuurlijk erg benieuwd straks naar je onderzoek. Maar laten we eerst even beginnen met wat is ons nou de afgelopen maand opgevallen in het nieuws? Zeker. Zal ik beginnen, Joop? Ja. Niet heel onverwacht. We hebben het over bias. Dan ga je weer zitten zoeken en je komt weer in het bubbeltje van bias. Dus dat is ook mij ook opgevallen weer. En vorige keer hebben we het al voorbij horen komen de AI regulations in Europa. En het mooie was, het is niet één artikel. Het zijn echt volgens mij vijf, zes verschillende artikelen die ineens hierover gaan schrijven. Ik zag dat er in Amerika zijn ze ook bezig om de ethical AI verder op te pakken. En mensen, former CEO van Google is ermee aan de slag van ja, maar dat kan toch niet? Dat gaat ook weerslag hebben op, daar gaan we niet snel genoeg. Dus het is mooi om te zien dat in de media de aandacht er is en dat we met elkaar het gesprek gaan voeren. Door eigenlijk de eerste versie al gewoon aan te kondigen. Dus ik vind het mooi om die beweging te zien. En eigenlijk door heel de wereld heen dat ze er nu eens over hebben, over die regulatie. En ja, wat is van belang is waar gaan we op letten met elkaar? Dus dat vond ik wel een heel belangrijk punt die ik in de media. Ja, goeie, goeie. Osama, zeg ik je naam zo goed? Ja. Ja, was jou iets opgevallen? Ja, inderdaad wat Niels zei. Dat was mij ook opgevallen. Ik las ook in dat artikel over de CEO van Google, of de oud-CEO. En ik vond het wel vrij bijzonder inderdaad, want hij was er eigenlijk wel op tegen. Maar in de eerste instantie dan denk je van, oké waarom is hij er dan op tegen? En dat gaat inderdaad gewoon om de ontwikkeling. Dat dat dan op een gegeven moment gestald wordt. Maar de rest, wat er omheen draait, dat is net zo belangrijk denk ik dan zelf. Dus ik vind het enigszins, ik snap hem wel, maar aan de andere kant vind ik het ook wel weer jammer dat hij dan zo veel op tegen is. Ja, ook wel conflicterende belangen. Want volgens mij was het ook zo dat hij het met name onderdeel wil maken van de government, deze AI-oplossingen. En ja, dit zou er dus voor zorgen dat dat misschien weer niet kan. Dus waar ligt dat dan aan? En volgens mij streef hij juist met z'n allen naar een transparante, ethisch verantwoorde manier. En als dan inderdaad zo'n iemand zoiets roept, ja dat heeft nogal wat impact. Dus het is goed dat daar reuring over is, want volgens mij moeten we daar gewoon gelijk op reageren. Nee, dat willen we niet als wereld. We willen daar gewoon goed mee omgaan. Kijken en jij zegt van ja, dit moeten we niet willen. Maar dat 'we', dat is ook afgebakerd hè. Dus in China is er een andere beleving van privacy dan in Europa. En hier is er weer een andere beleving dan in Amerika. Ik zou bijna zeggen dat je het over bias hebt. Ja, en als je ook naar de wetsvoorstel van Europa kijkt, die is ook inderdaad best wel tegen de Chinese praktijken. Dus dat je op een gegeven moment op afstand gaat identificeren wie iemand is of iets in die geest. Dat is best wel snel ook. Zolang het in belang is van het individu, is het vaak wel toegestaan. Maar zodra je daar buiten gaat handelen, dan zegt de Europese Unie al heel gauw van nee, dat willen we liever niet. Ja, inderdaad. En de implicaties zijn natuurlijk ook heel groot daarvan. Want het is niet alleen degene die het ontwikkelt deze oplossing, die dadelijk verantwoordelijk gesteld kan worden. Maar ook de gebruikers van weer services die dat dan doen. Dus ze trekken het ook wel heel breed. Dus dat zorgt er wel weer voor dat je erover na gaat denken. Ja, nog wat anders? Had je nog wat anders wat je opgevallen was? Was het van Niels het gelijke? Wat mij ook wel opgevallen was, dat is wel een tijdje terug. Maar dat is van Google I/O. En dat is dat ze op een gegeven moment een app gaan... Ze hebben een app geannounced. En daarmee willen ze op een gegeven moment dat je zelf door middel van je camera, van je telefoon, skin diseases of skin conditions kan detecteren. Dus dan gebruik je je camera om bijvoorbeeld de moedervlek te identificeren. Kan door middel van machine zien of dat dus kwadarig is of niet. En dat doen ze niet op een specifieke conditie, maar dat doen ze heel erg breed. En dat vond ik wel heel bijzonder. Want normaal gesproken zie je dus inderdaad dat image class is single purpose. Dus alleen voor tuberculose of iets in die geest. Maar Google trekt dat dus een stapje verder. Wat Google ook nog eens doet, is dat ze het beschikbaar maken voor de consument. Dus dat is wel heel erg impactful, denk ik wel. Ja. Nou, dat is denk ik een mooi bruggetje naar die van mij namelijk. Want het nieuws is voor mij op dit moment dichtbij. Wij als Info Support zijn business partner namelijk voor een AI lab, een ICAI lab hier in Nederland. Dat wij samen met onder andere de Radboud Universiteit en het Radboud Ziekenhuis gaan kijken......dat we ook weer aan de hand van een mobiele telefoon......dat je bewegingsstoornissen kan klassificeren van patiënten. Op dit moment is het heel erg moeilijk om de hele specifieke bewegingsstoornis te diagnosticeren. Dat is ook echt moeilijk voor de artsen zelf. Nou, bij de Radboud zijn ze er echt zeer gespecialiseerd in. En dat gaat niet alleen de artsen helpen. Maar het einddoel is dat dat ook naar eindgebruikers gaat. Gewoon naar de consument. Dat als je daar een vermoeden hebt, dat je dat kan doen. En de arts die hier de grote aanjager van is, professor Bas Bloem......die heeft ook echt het idee van, ja, maar dit moet ook naar mensen toe die weinig toegang hebben tot de zorg. Dus in Nederland heeft eigenlijk iedereen toegang tot de zorg. In de wereld, hij noemde een aantal, die weet ik niet meer. Onwaarschijnlijk veel mensen die geen of slechte toegang tot zorg hebben. En die zouden bijvoorbeeld wel als een diagnose kunnen stellen of gerustgesteld kunnen worden. En wij hebben, ik zou haast zeggen, de eer dat wij daar de technologiepartner zijn. Dus wij gaan ook die modellen gaan wij ontwikkelen samen met ze. In het lab gaan vijf PhD-studenten gaan aan de slag. Het is ook wel een lang traject, het is niet zo van volgend jaar is dit op de markt. Er moet heel veel research gedaan worden. Maar wat mij betreft was dat mijn nieuws. Daar ben ik trots op dat wij dit gaan doen. Daar mogen we ook zeker trots op zijn inderdaad. Dit is echt ook gewoon een nobel doel waar we aan bij kunnen dragen. En ook iets waar we eigenlijk continu over hebben. Explainability is denk ik ook key in. En daar kunnen laten zien hoe pas je dat nu in de praktijk toe. Volgens mij echt een prachtverhaal. Explainability, bias komt hier ook zo direct naar voren. Dat je genoeg diversiteit in je trainingsset hebt zitten. Maar daar gaan we het denk ik zo over hebben. Wat dat allemaal betekent. Maar al dat soort elementen komen daar zeker aan bod. Ik vind het ook heel mooi dat je zegt dat je het beschikbaar wil stellen voor de consument. En inderdaad ook niet alleen hier in Nederland, maar ook daar buiten. Inderdaad wat je zegt, de meeste mensen hebben gewoon tegenwoordig. Daar hebben ze sneller een telefoon dan dat ze een laptop of een computer hebben. Dat is heel mooi om te zien eigenlijk. Ja, het is echt een heel uitdagend traject. Dus ik kijk daar met veel plezier alvast vooruit. Ik ben er aan het volgen. Ik zou zeggen laten we maar ook af en toe even terugkomen. Wat we daar geleerd hebben en wat we daar zien. Dat is mooi om af en toe even terug te laten komen. Uiteraard, uiteraard. En misschien is dit dan weer het mooie dooropstapje naar ons hoofdthema. Over bias. Ossa, maar zou jij op het gebied van bias, dat zit in jouw opdracht. Om te beginnen zou je eens kunnen vertellen van wat jouw opdracht inhoudt. En wat je aan het doen bent bij Info Support. Of wat je gedaan hebt, want je bent geloof ik bijna klaar. Ja, ik heb recent alles mogen inleggen. Dat is mooi. Maar inderdaad, ik heb dus kreditaanvragen van een kredietverstrekker beoordeeld. Door middel van machine learning. En dat zijn geen simpele machine learning algoritmes. Maar dat zijn SVMs en een single layer neutraal netwerk. Dus dat zijn blackbox machine learning algoritmes. Dus dat is vrij interessant. Ja, dat is zeker interessant. En wat was de opdracht die aan je gevraagd werd? Wat moest je gaan uitzoeken? Daar was ik eigenlijk best wel vrij in. En dat is ook wel heel mooi gebleken. Want op een gegeven moment, ik wist nog niet heel veel van machine learning af. Ik moest me daar nog heel veel in ontwikkelen. En tijdens die ontwikkeling kwam ik er eigenlijk achter... dat bias een groot gevaar vormde voor de inclusiviteit en eerlijkheid van mijn machine learning models. Maar vervolgens zag ik dus niet hoe je dat kon oplossen. Of wat bias nou precies was. Of wat je er tegen kon doen. En dat vond ik best wel schokkend. Hoe kwam je daarachter? Dat het een gevaar vormde. Nou ja, dat het erin zat en die gevolgen. Wat triggerde je daarin? Het werd vaak wel gezegd."Hey, er is bias. Let op.""Dat is super gevaarlijk." En vervolgens hield het daarbij op. Wat mij dan erin... Waar dacht je toen aan toen ze zeiden "Let op die bias."? Wat dacht je? Wat is dat dan? Wat kwam er in je op? Ja, ik wist niet eens wat het was. Ik kon het eigenlijk niet goed bevatten. Ik zat ernaar te kijken en ik dacht "Er komt wat meer informatie." Nee, dat was het. Er is bias en dat is super gevaarlijk. Het kan best desastreus zijn. Je kan je systeem helemaal overhoop gooien. Maar meer informatie gaven ze niet. En op een gegeven moment... En wat was het moment dat je bias gedetecteerd had dan? Nu zit ik met een bias in mijn dataset of in de output. Waar kwam je daarachter? Toen ik de definitie eigenlijk door kreeg. Want dat is het mooie aan bias. En ik snap nu ook wel waarom het niet echt uitgelegd werd. Bias heeft niet één definitie. Het heeft meerdere definities. En onder die definities heb je ook nog eens honderden verschillende... Dus eigenlijk allerlei typen bias heb je. Ja, exact. Dus je hebt inderdaad ook verschillende categorieën. Je hebt in de sociale psychologie bias. Maar je hebt ook culturele biases. Je hebt neurale netwerken, waar het weer iets heel anders betekent. Dus die definitie wordt ook wel vrij breed getrokken. En in machine learning spreken we dus over één van die definities. Dus het is vrij lastig om mee om te gaan. En welke is die één van de definities waar je nu aan denkt dan? Statistical bias bijvoorbeeld. Daar heb je ook weer verschillende soorten in. Bijvoorbeeld representation bias. Als je bijvoorbeeld een populatie selecteert, data, groep. En die moet dan bijvoorbeeld wel representatief zijn naar je doelgroep toe. En als dat niet zo is, dan heb je representation bias. En cultural bias is weer iets heel anders. En bijvoorbeeld cultural bias die heb je altijd. Want we werken altijd naar onze cultuur toe. Iets dat in onze cultuur heel normaal is, hoeft niet normaal te zijn in een andere cultuur. En wij handelen daar ook gewoon uit. Wij handelen uit cultuur. Dus cultural bias zal je altijd hebben. Dat is trouwens niet altijd zo. Dat is een uitzondering. En dat vond ik ook wel best wel grappig om te zien. Wikipedia, de Engelstalige variant, die is het minst cultural bias. Omdat juist alle verschillende culturen daar op één plek komen. En daar aan bijdragen. Dus de Engelse variant van Wikipedia, dat is misschien wel het minst biased van alle nieuwsartikelen. Van alle overige artikelen. Dus dat is best wel bijzonder om te zien. Ja, mooi. Maar daarmee geef je denk ik ook aan van hoe moeilijk het is om die cultural bias uiteindelijk niet in je dataset te hebben. Het is zelfs onmogelijk, denk ik. Onmogelijk, maar je kan er wel rekening mee houden. En hoe doe je dat? Hoe hou je daar rekening mee? Om het te erkennen. Dus op een gegeven moment moet je dus analyseren van wat zit er allemaal in mijn dataset en hoe ziet mijn dataset eruit. Maar ook hoe je machine learning model acteert. Dus op een gegeven moment ga je dan ook benchmarks uit met bijvoorbeeld minority groups. En te kijken van sluit het daarop aan of niet. Ja, en dat is denk ik zowel in je trainingsset, dat je kijkt van zijn die genoeg vertegenwoordigd. Maar ook eigenlijk in je output, dat je daar ook de juiste distributie hebt van de output die eruit komt. Bijvoorbeeld bij een kredietbeoordeling. Dat je kijkt van krijgen die gedistribueerd eigenlijk een gelijksoortige kredietbeoordeling. Dan niet minority groep. Ja, en dat is op zich misschien ook wel heel bijzonder. Want ik ben juist heel erg aan discrimineren in mijn machine learning models. En dat is expres geweest. Ja, en discrimineren is eigenlijk groepen onderkennen. Ja, exact. Ja, dat is een andere... Met welke reden heb je dat gedaan dan? Juist om het individu te beschermen. En dat is dus ook wel heel mooi. Want op een gegeven moment, wat ik heb gedaan, is om doelen te stellen. Ik heb doelen gesteld op wat mijn machine learning model moest bereiken. En die moest dus op een verantwoorde manier kredietaanvragen beoordelen. En om op een verantwoorde manier mijn kredietaanvragen te beoordelen, moest ik dus discrimineren op wie een persoon was. Dus wat zijn leeftijd is, met wie hij getrouwd is, wat zijn nationaliteit is. Om juist een goede beoordeling te geven. Zou ik dat niet gedaan hebben, dan heeft dat gewoon hele grote consequenties. Want dan strek je krediet aan een persoon die geen krediet hoort te krijgen. En die kan dan vervolgens in de schulden belanden. En die schulden, het Nederlands schuldensysteem, die is niet bepaald zachtzinnig. Ja. Dus dat... Wat je eigenlijk zegt, is je gaat eerst onderscheid maken. Om met dat onderscheid, laat je de machine eigenlijk leren, wat zijn nou ook de onderscheidende factoren waarop je keuze maakt, iemand wel of niet. Dus daar ben je heel erg bezig met onderscheid maken. En aan de andere kant wil je dat het eerlijk is. En dat er niet, zeg maar, onevenredig onderscheid wordt gemaakt. Of onethisch onderscheid wordt gemaakt. Exact. En daar zit een spanningsveld in. En hoe ga je daar dan mee om? Dat is het hele vraagstuk. Ja. En er zijn mensen die daar gewoon gespecialiseerd in zijn. Vaak. Die houden zich daar echt helemaal mee bezig. Dat is ook een hele kunst. Dus die gaan dan ook echt bepalen van dat kan dus wel door de bocht en dat kan dus niet. Maar ik vind het wel belangrijk om dan het in voordeel van het individu te doen. Sterker nog, dat is volgens de Nederlandse algemene wet gelijke behandeling verplicht. Als je op bepaalde kenmerken discrimineert, zoals leeftijd, nationaliteit en meer, dan moet dat in belang zijn van het individu. Als je dat niet doet, dan overtreed je de wet. Net als wat bij de toeslagaffaire is gebeurd. Ja. Wat zouden jouw tips zijn om te gaan met dit? Allereerst moet je het gewoon heel goed aan een grondige exploratory data analysis doen. En je moet dus ook echt doorhebben hoe jouw data eruit ziet en waar de ongelijkheden in zitten. Eigenlijk zeg je, je moet heel actief op zoek naar de ongelijkheid. Volgens mij hoorde ik je er straks zeggen, je moet het erkennen. Dus dat betekent dat je zegt van, ik ga er vanuit dat mijn dataset biased is. De vraag is alleen, hoeveel, hoe erg en waar? En daar ga je naar op zoek, denk ik. Je wordt een soort van Sherlock Holmes, dat je gaat kijken van waar zit het? Dus niet de andere kant op van, nou het zal wel goed zijn, wij hebben geen bias, want zo zitten we niet in elkaar. Nee, je draait het om, het is er en ik moet aantonen waar het zit. Exact. En welke technieken zou je daarvoor kunnen gebruiken? Er zijn verschillende technieken, dus gewoon inderdaad een simpele exploratory data analysis is waarmee je start. Maar vervolgens heb je ook hele mooie tools die je kan gebruiken, zoals de DEDA van de Universiteit Utrecht. Ja, dan bedoel je de ethische data assistente, DEDA. Ja, exact. Je hebt Fairlearn van Microsoft en daarbij kijk je dan expliciet naar de gevoelige kenmerken zoals... Ik kwam laatst ook nog op een nieuwe tool van Microsoft uit, maar ik ben even de naam vergeten. En die gaf daar ook wel aardig... Ja, die hebben we ook in die sessie gehad, in die webinar, ik ben hem ook even kwijt. Die kunnen we wel even opzoeken en in de link straks bij de beschrijving van de podcast zetten. Dat is een erg interessante nieuwe. Maar als we even naar Fairlearn kijken, want jij zegt dat hij naar leeftijd kijkt, maar wat houdt dat in? Kijken naar leeftijd? Ja, dus hij kijkt bijvoorbeeld hoeveel... Wat hij bij mij in mijn systeem heeft gedaan is, ik heb de leeftijd opgedeeld in 5 bins. De jongste leeftijd zit bij elkaar gegroept en de oudste zit ook weer bij elkaar gegroept. En dan kijkt hij bijvoorbeeld hoeveel procent van die leeftijd goedgekud. Van de oudere mensen zag ik dat er 10 of 20 procent goedgekud werd, maar van de jongeren al heel gauw 60 tot 70 procent. En dat heeft gewoon te maken omdat leeftijd een rol speelt in mijn beslissing. Dus ja, dat is wel lastig om soms mee om te gaan. Want je kan ook met Fairlearn vervolgens zeggen van oké, ik trek dat recht. Ik zorg ervoor dat iedereen met een verschillende leeftijd hetzelfde behandeld wordt. Maar dat is in mijn geval dus niet nodig gebleken, omdat ik anders een slechte beoordeling zou geven. Want iemand die 80 is, die wil je niet een krediet verstreken van 2 ton. Nou, in ieder geval niet voor een meerderjarig. Misschien wel voor 2 maanden ofzo. Maar eigenlijk zeg je daarmee ook de context en de bedrijfsetiek speelt hier ook een rol. Ja, exact. Daar moet je rekening mee houden. Dus eigenlijk die tooling helpt je om mogelijke bias te uithalen. De beoordeling van de data scientist, de business, een domeinexperts. Om na te gaan, is het ook ongewenste bias? Ja, en soms is die lijn best wel dun. Bijvoorbeeld in mijn systeem, het kredietnaam vragen. Het verschil tussen man en vrouw, dat kan uitmaken. Want mannen werken vaak best wel lang door, dus fulltime. En die stoppen vaak niet met werken totdat ze hun AOW leeftijd hebben bereikt. Maar vrouwen die zullen al gauw parttime gaan werken of stoppen met werken zodra ze hun kinderen hebben. En een kredietverstrekker moet dus daar dan de beslissingen maken. Wil je dat je daar rekening mee houdt en daardoor een vrouw minder krediet verpleent? Of wil je dat juist gelijk trekken en zeggen van oké, mannen en vrouwen die horen gelijk behandeld te worden. En daarom zal ik dat dus ook gewoon enforcen. Ook al resulteert dat misschien in slechtere resultaten. Ja, dat zijn afwegingen. Interessante vraagstukken, dat ethische vraagstuk en ook vanuit het bedrijf, hoe gaan we daarmee om? Hoe zitten wij daarin voor de maatschappij? Want dat is nogal wat als je daar verschillen in maakt. Want ja, historisch is dat zo, maar wie zegt dat het in de toekomst ook zo is? Ja, precies. En ja, uiteindelijk. Goed zo, heel goed. Mooi. En als ik het goed begrepen had, we hebben natuurlijk al eens even wat voorbesproken. En dan vertelde je mij ook dat je bezig was geweest met een stukje explainable AI. En juist omdat wij in de vorige aflevering hebben het helemaal gehad over explainable AI, was ik toch wel benieuwd qua aansluiting van wat jij daarin gedaan hebt en wat je daar ook in gebruikt hebt. Ja, dat is best wel bijzonder inderdaad. Want ik ben op een gegeven moment, ik had mijn onderzoek gedaan en daarin zei ik dus ook, je moet tools gebruiken, zoals SHAP en LIME. En wat ging ik dus doen? Ik had SHAP, mijn hele dataset en model mee geëxplained. En toen kwam ik tot een best wel schokkende conclusie, dat al mijn beslissingen vooral gebaseerd waren op één feature. Dat was niet heel prettig om te zien. Eigenlijk best wel schokkend. En hoe is dat met je nauwkeurigheid? Want die zal misschien best heel goed geweest zijn, of niet? Precies, ja. Dat maakt het extra schokkend, toch? Ja. En uiteindelijk heb ik dus alsnog technieken toegepast om het allemaal wat gelijk te trekken, dus data wrangling. Toen kreeg ik ook een hogere nauwkeurigheid in de eerste instantie. Dus dat heeft positieve bijdrage, maar het is nu ook duidelijk hoe dat dus ontstaan is. Kan je voor de luisteraars even toelichten, wat is SHAP? Er zullen ongetwijfeld mensen die dit nog niet eerder van gehoord hebben. SHAP is een tool, daarmee kan je dus een machine learning model of een blackbox model mee explainen. En dat doet hij door middel van shapely values. En wat hij daarbij doet, is dat het een soort van spellogica is. Dus je hebt een observatie, dat is dan een spel. En de features, dat zijn dus de spelers. En die features, die kwantificeert hij vervolgens. Dan bekijkt hij dus wat de bijdrage is van elke feature aan het spel. Met name dat hij het ook visueel maakt, want dat vond ik wel heel gaaf uitzien. Het werd heel erg visueel en gelijk zichtbaar wat de meeste impact had. En dat vond ik wel mooi. En dat is best wel mooi eigenlijk. Ja, want daarom kon je exact zien van eigenlijk is het maar één feature die een rol speelt in de voorspelling. Is iemand kredietwaardig genoeg? Ja. En daarmee had je zoiets van oei, dit gaat niet goed. Ja, en op een gegeven moment kwam ook in de tijd dat ik mijn afstudeertraject volgde, toen kwam de Artificial Intelligence Act ook in beeld. En toen werd het zelfs verplicht, of nou ja, dat is nu nog steeds niet verplicht, maar als die wordt aangenomen, wel, dan wordt het verplicht om explainable AI toe te passen in blackbox models. En daar heb ik dus ook rekening mee gehouden. Ik heb mijn machine learning model, heb ik ook door middel van shop, heb ik die data gewoon naar mijn client gestuurd en in mijn client heb ik wat grafiekjes en dergelijke gemaakt. En die vervolgens, en daarmee heb ik ook explainable AI naar de client toegebracht. Dus zodra een acceptant mijn kreditaanvraag zou inzien, dan zou die kunnen achterhalen waarom een kreditaanvraag geaccepteerd of afgewezen is. En dat vond ik ook wel heel sterk eigenlijk. Ja, je zou ook zeggen van dat is het bijna een must, want anders krijg je alleen maar computers as no, of yes. En dat kan natuurlijk nooit voldoende zijn. Dat mogen we eigenlijk niet accepteren. Ja, heel mooi. Hé, laten we eens, want ik denk dat we een aardig beeld hebben over wat is bias en wat kan je ermee, dat we even naar het laatste blok in de podcast gaan en dat is AI in de praktijk. Dus dan gaan we kijken wat jij nou geleerd hebt, hoe zou je dat nou in de praktijk kunnen toepassen? Iets niet van, maar Info Support heeft een guidance framework. En die heeft een stukje over AI en die heeft daar een workflow in. Die workflow vind ik heel erg mooi. Die neemt ook heel veel elementen mee op het gebied van explainable AI en analyses. Die complete workflow, ik weet niet of je die kan delen met de rest, maar dat zou wel heel mooi zijn eigenlijk. Want als je dat zou opvolgen en ook gewoon al die stappen zou doorlopen, dan zou zelfs een hoog risicoclassificatiemodel gewoon goed in de markt kunnen passen. Ja, wij kunnen ook weer een linkje in de beschrijving opnemen naar die workflow. Ja, die is zeker open. Heel goed. En als je nou klanten die met AI bezig zijn of willen beginnen, een tip zou willen geven van waar start je nou eigenlijk met die bias detectie? Hoe begin je? Ja, toch wel door een exploratory data analysis, want dat is toch wel de basis. En het is ook belangrijk om te kijken waar de data vandaan komt. Want heel vaak krijgen machine learning experts, die krijgen dus op een gegeven moment een dataset binnen en met die dataset gaan ze verder. Maar het is ook wel belangrijk om te weten van waar komt de data vandaan? En wat is er met de data gedaan? En wie heeft er aan gezeten? En over wie gaat het? Dat is wel heel erg belangrijk. Dus nieuwsgierig blijven en niet aannemen wat je binnenkrijgt, doorvragen. Exact. En ik denk ook wel heel goed documenteren van welke data wordt nou een bepaalde feature. Dus een echte input voor je model. En de resultaten van het onderzoek naar die bias. En dat is denk ik niet eenmalig, maar dat is natuurlijk een repeterend traject. Iedere keer als je een retraining doet, moet je opnieuw gaan kijken van waar zit de bias? Wat hebben we eraan gedaan? Welke keuzes hebben we gemaakt? Net als wat jij zei van met de mannen en de vrouwen of leeftijden. Dat je dat ook vastlegt. We weten dat die bias zo en zo zit, maar er is besloten om, in jouw geval, mannen en vrouwen gelijk te trekken. Dus dat heeft ook de trainingset waarschijnlijk veranderd. En daar vervolgens ook weer transparant over zijn, zoals we eigenlijk vorige podcast ook noemd hebben. Dat weer inderdaad teruggeven van dit doen we zo omdat. En inderdaad de vastlegging en documentatie daarvan. En ben je ook met meerdere mensen daarnaar aan het kijken? Of heb je er met name zelf naar gekeken? Hoe zit het met inclusiviteit met diegenen die na die data kijken? Heb je daar ook een tip van? Ik heb er inderdaad voornamelijk zelf naar gekeken, helaas. Maar wat is misschien ook wel een leuke observatie geweest. Op een gegeven moment ging ik dus inderdaad bepaalde dingen gelijk trekken. Dat mannen en vrouwen dat is gelijk en dit en dit is ook gelijk. En toen keek ik namelijk de nauwkeurigheid van. Die daalde drastisch. En dat zit zo verwoven in de data die je al had. En ook gewoon de keuzes die nog steeds gemaakt worden. Dat het af en toe ook wel raar resultaat. En wat heb je daar dan aan gedaan? Ja, dan moet je weer overwegen van wil ik het wel of wil ik het niet. Dus ik heb leeftijd bijvoorbeeld wel gewoon erin gelaten. Om het daarop te gedenken. Nou ja, laten we het onderscheid noemen in dit geval. Want uiteindelijk is het geen echte discriminatie. Het heeft met risico's te maken. Exact. Dus om het individu te beschermen. Ja, precies. In enigszins ook het bedrijf. Ja, ja, dat beweegt uiteraard mee. Allemaal bij het risico, inschatting inderdaad. Ja. En die tooling waar je het over had. Bijvoorbeeld Shed a Lime. Hoe moeilijk is dat als je daarmee wil beginnen? Kan je daar iets over zeggen? Toen je daarmee begon. Is dat intuitief? Moest je je goed inlezen? Heb je daar valtuilen gezien? Het is eigenlijk heel simpel opgezet. Ik heb zelf met SkiKit Leun gewerkt. En Python. En de documentatie is gewoon heel erg compleet. Van zowel Shed a Lime. En dan kan je gewoon eventueel voorbeelden opzoeken. En best practices. En dan kan je dat zelf ook toepassen. En dat gaat eigenlijk heel erg gemakkelijk. Daarbij dus wel misschien even kanttekening. Shed werkt anders dan Lime. Ze explainen allebei blackbox models. Maar ze doen dat op een hele andere manier. En Shab gebruikt dus Shapely values. Maar Lime, dat is heel erg... Wat zij doen is maken van één complex model. Dus een support vector machine bijvoorbeeld. Heel veel simpele modellen. Dus allemaal lineaire regression models. Die wel explainable zijn. En dat is dus ook een hele andere techniek. En je krijgt dus ook hele andere resultaten. En dat is wel belangrijk om in je achterhoofd te houden. Ja, en het zijn ook... Het klinkt als explanations, maar het zijn natuurlijk inschattingen. Van hoe uiteindelijk dat model werkt. Exact. Door de termen worden we wel eens op het verkeerde been gezet. Uberhaupt, artificial intelligence. Daar heb ik zo mijn bedenkingen bij. Bij de term zelf. En dat geldt hier ook. Het is niet dat je de blackbox echt openmaakt. Waardoor de contexten te veranderen. Of inderdaad het model te proberen te benaderen. Allemaal dat soort technieken worden er gebruikt. Waardoor je een inschatting krijgt van hoe het model werkt. Maar je weet nog steeds niet exact hoe die aan de binnenkant eruit ziet. En hoe die tot zijn resultaat is gekomen. Ja, en daarbij... Ga je gaan. Jij eerst of ik? Ga je gaan. Wat ik ook zag is dat op een gegeven moment met SHAP... moet je dus ook data meegeven. Om vervolgens daarop de kwantificaties te baseren. Dus op een gegeven moment hoe meer data je meegeeft... hoe nauwkeuriger dus die inschattingen zijn. Of tenminste, dat claimen ze. En als je dus heel veel data meestuurt... dan kost zo'n beoordeling op een gegeven moment ook gewoon... drie, vier seconden voordat die is doorlopen. Of misschien zelfs langer. Ik heb bijvoorbeeld 150 samples meegegeven. En dat kostte al twee seconden. En dat is al vrij intensief. En dat moet je ook meenemen. Want machine learning, daar zit het grootste voordeel dat het lekker snel is. Dus dat, ja... Dan ga je een afbeelding maken. Ja, dan wordt het ook weer een balans zoeken van... hoe nauwkeurig wil je zijn in de explanation. Ten opzichte van de performance en hoe zit je proces in elkaar. Ja, een hele goede... Nou, heel interessant. Leuke opdrachten, denk ik. Je hebt je afstudeerverdediging nog, hè? Ja. Ja, ik denk dat ik ook van Niels mag spreken... dat hij daar heel veel succes bij wil wensen. Superbedankt dat je mee wilde doen aan deze podcast. We hebben er een hoop van geleerd. We hebben gezien van bias, wat is het, wat kan je ermee, hoe start je. En nog even doorgepraat over de explainability. Erg interessant, toch Niels? Ja, zeker. En ja, het laatste puntje van de taart... die ligt nog voor je klaar natuurlijk. Je afstuderen en daarna denk ik aan de slag in dit vakgebied, of niet? Ja, precies. Ik heb ook recent een vast contract aangeboden gekregen van Info Support. Die mag ik dinsdag ondertekenen. Dus ik ben nu al hartstikke trots. Gaaf, man. Dan gaan we ook lekker met AI in de praktijk bij onze klantenorganisaties. Mooi aan de slag. Leuk, leuk dat je mee wilde doen. Dank je wel. Ja, jullie ook enorm bedankt. En ja, onze oproep weer aan de luisteraars. Deel het. Het is altijd leuk. En we zien je graag... Nou, zien, zien hè. Ik hoop dat je de volgende keer weer luistert. Zeker. En zijn er luisteraars die vragen hebben, zaken die ze willen bespreken? Deel het met ons. We zijn altijd op zoek naar interessante gastsprekers. Dus meld je ook bij ons aan. Het staat allemaal wel op de podcast. Dus ik zou zeggen tot de volgende keer allemaal. Leuk dat je luisterde naar de AIToday Live podcast. Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen. En kijk voor meer interessante informatie over kunstmatig intelligentie op AIToday.ai. Dank je wel voor het luisteren. Tot de volgende keer.