{"version":"1.0.0","segments":[{"startTime":0.001,"endTime":6.4,"body":"Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence,"},{"startTime":6.4,"endTime":10.44,"body":"ervoor zorgt dat die zoveel kunnen rekenen dat ze uiteindelijk bij een antwoord komen"},{"startTime":10.44,"endTime":13.76,"body":"waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt"},{"startTime":13.76,"endTime":14.76,"body":"hadden gevonden."},{"startTime":14.76,"endTime":18.8,"body":"Dat gaat ons helpen om nog grotere problemen te gaan oplossen."},{"startTime":18.8,"endTime":22.92,"body":"Denk maar aan een computer die zelf kan leren."},{"startTime":22.92,"endTime":29.72,"body":"Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is."},{"startTime":29.72,"endTime":31.72,"body":"Dus het is door de mens bedacht."},{"startTime":31.72,"endTime":34.72,"body":"Bij kunstmatige intelligentie denk ik aan data."},{"startTime":34.72,"endTime":36.72,"body":"Zo, kunstmatige intelligentie."},{"startTime":36.72,"endTime":39.72,"body":"Eerlijk gezegd weet ik niet wat dat is."},{"startTime":39.72,"endTime":43.72,"body":"Hi, je luistert naar de podcast AIToday Live van Info Support."},{"startTime":43.72,"endTime":49.72,"body":"Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in Enterprise en"},{"startTime":49.72,"endTime":52.72,"body":"AI in de praktijk."},{"startTime":52.72,"endTime":56.72,"body":"Zo, welkom bij de derde aflevering van AIToday Live podcast."},{"startTime":56.72,"endTime":58.72,"body":"Leuk dat je weer luistert."},{"startTime":58.72,"endTime":60.72,"body":"We hebben vandaag weer een speciale gast."},{"startTime":60.72,"endTime":63.72,"body":"Ossama Sijbesma hebben we in de aflevering."},{"startTime":63.72,"endTime":66.72,"body":"Ossama, zou je je even voor kunnen stellen?"},{"startTime":66.72,"endTime":67.72,"body":"Ja, zeker."},{"startTime":67.72,"endTime":69.72,"body":"Aangenaam kennis te maken."},{"startTime":69.72,"endTime":75.72,"body":"Ik ben Ossama Sibesma, een Friese Marokkaan, zoals we dat wel zeggen."},{"startTime":75.72,"endTime":84.72,"body":"Ik ben dol op verhalen en ik ben een afstudeerstage aan het doorlopen bij Info Support."},{"startTime":84.72,"endTime":85.72,"body":"Ja, leuk."},{"startTime":85.72,"endTime":89.72,"body":"En je afstudeerstage gaat ook over AI."},{"startTime":89.72,"endTime":90.72,"body":"Ja."},{"startTime":90.72,"endTime":94.72,"body":"Ja, dus geweldig dat je mee wil doen."},{"startTime":94.72,"endTime":101.72,"body":"De eerste deel van wat wij hier altijd doen is dat we naar AI in het nieuws kijken."},{"startTime":101.72,"endTime":104.72,"body":"Maar niet voordat ik verteld heb wat het thema van deze aflevering is."},{"startTime":104.72,"endTime":106.72,"body":"En dat is bias in AI."},{"startTime":106.72,"endTime":107.72,"body":"Hoe gaan we hier om?"},{"startTime":107.72,"endTime":109.72,"body":"Waar moeten we op letten?"},{"startTime":109.72,"endTime":112.72,"body":"En we zijn natuurlijk erg benieuwd straks naar je onderzoek."},{"startTime":112.72,"endTime":116.72,"body":"Maar laten we eerst even beginnen met wat is ons nou de afgelopen maand opgevallen in het nieuws?"},{"startTime":116.72,"endTime":121.72,"body":"Zeker."},{"startTime":121.72,"endTime":123.72,"body":"Zal ik beginnen, Joop?"},{"startTime":123.72,"endTime":124.72,"body":"Ja."},{"startTime":124.72,"endTime":127.72,"body":"Niet heel onverwacht."},{"startTime":127.72,"endTime":128.72,"body":"We hebben het over bias."},{"startTime":128.72,"endTime":132.72,"body":"Dan ga je weer zitten zoeken en je komt weer in het bubbeltje van bias."},{"startTime":132.72,"endTime":135.72,"body":"Dus dat is ook mij ook opgevallen weer."},{"startTime":135.72,"endTime":140.72,"body":"En vorige keer hebben we het al voorbij horen komen de AI regulations in Europa."},{"startTime":140.72,"endTime":143.72,"body":"En het mooie was, het is niet één artikel."},{"startTime":143.72,"endTime":147.72,"body":"Het zijn echt volgens mij vijf, zes verschillende artikelen die ineens hierover gaan schrijven."},{"startTime":147.72,"endTime":153.72,"body":"Ik zag dat er in Amerika zijn ze ook bezig om de ethical AI verder op te pakken."},{"startTime":153.72,"endTime":158.72,"body":"En mensen, former CEO van Google is ermee aan de slag van ja, maar dat kan toch niet?"},{"startTime":158.72,"endTime":160.72,"body":"Dat gaat ook weerslag hebben op, daar gaan we niet snel genoeg."},{"startTime":160.72,"endTime":166.72,"body":"Dus het is mooi om te zien dat in de media de aandacht er is en dat we met elkaar het gesprek gaan voeren."},{"startTime":166.72,"endTime":171.72,"body":"Door eigenlijk de eerste versie al gewoon aan te kondigen."},{"startTime":171.72,"endTime":173.72,"body":"Dus ik vind het mooi om die beweging te zien."},{"startTime":173.72,"endTime":177.72,"body":"En eigenlijk door heel de wereld heen dat ze er nu eens over hebben, over die regulatie."},{"startTime":177.72,"endTime":180.72,"body":"En ja, wat is van belang is waar gaan we op letten met elkaar?"},{"startTime":180.72,"endTime":184.72,"body":"Dus dat vond ik wel een heel belangrijk punt die ik in de media."},{"startTime":184.72,"endTime":185.72,"body":"Ja, goeie, goeie."},{"startTime":185.72,"endTime":188.72,"body":"Osama, zeg ik je naam zo goed?"},{"startTime":188.72,"endTime":189.72,"body":"Ja."},{"startTime":189.72,"endTime":192.72,"body":"Ja, was jou iets opgevallen?"},{"startTime":192.72,"endTime":195.72,"body":"Ja, inderdaad wat Niels zei."},{"startTime":195.72,"endTime":197.72,"body":"Dat was mij ook opgevallen."},{"startTime":197.72,"endTime":201.72,"body":"Ik las ook in dat artikel over de CEO van Google, of de oud-CEO."},{"startTime":201.72,"endTime":205.72,"body":"En ik vond het wel vrij bijzonder inderdaad, want hij was er eigenlijk wel op tegen."},{"startTime":205.72,"endTime":210.72,"body":"Maar in de eerste instantie dan denk je van, oké waarom is hij er dan op tegen?"},{"startTime":210.72,"endTime":212.72,"body":"En dat gaat inderdaad gewoon om de ontwikkeling."},{"startTime":212.72,"endTime":214.72,"body":"Dat dat dan op een gegeven moment gestald wordt."},{"startTime":214.72,"endTime":221.72,"body":"Maar de rest, wat er omheen draait, dat is net zo belangrijk denk ik dan zelf."},{"startTime":221.72,"endTime":229.72,"body":"Dus ik vind het enigszins, ik snap hem wel, maar aan de andere kant vind ik het ook wel weer jammer dat hij dan zo veel op tegen is."},{"startTime":229.72,"endTime":233.72,"body":"Ja, ook wel conflicterende belangen."},{"startTime":233.72,"endTime":239.72,"body":"Want volgens mij was het ook zo dat hij het met name onderdeel wil maken van de government, deze AI-oplossingen."},{"startTime":239.72,"endTime":242.72,"body":"En ja, dit zou er dus voor zorgen dat dat misschien weer niet kan."},{"startTime":242.72,"endTime":243.72,"body":"Dus waar ligt dat dan aan?"},{"startTime":243.72,"endTime":248.72,"body":"En volgens mij streef hij juist met z'n allen naar een transparante, ethisch verantwoorde manier."},{"startTime":248.72,"endTime":252.72,"body":"En als dan inderdaad zo'n iemand zoiets roept, ja dat heeft nogal wat impact."},{"startTime":252.72,"endTime":256.72,"body":"Dus het is goed dat daar reuring over is, want volgens mij moeten we daar gewoon gelijk op reageren."},{"startTime":256.72,"endTime":258.72,"body":"Nee, dat willen we niet als wereld."},{"startTime":258.72,"endTime":260.72,"body":"We willen daar gewoon goed mee omgaan."},{"startTime":260.72,"endTime":262.72,"body":"Kijken en jij zegt van ja, dit moeten we niet willen."},{"startTime":262.72,"endTime":266.72,"body":"Maar dat 'we', dat is ook afgebakerd hè."},{"startTime":266.72,"endTime":270.72,"body":"Dus in China is er een andere beleving van privacy dan in Europa."},{"startTime":270.72,"endTime":273.72,"body":"En hier is er weer een andere beleving dan in Amerika."},{"startTime":273.72,"endTime":275.72,"body":"Ik zou bijna zeggen dat je het over bias hebt."},{"startTime":275.72,"endTime":286.72,"body":"Ja, en als je ook naar de wetsvoorstel van Europa kijkt, die is ook inderdaad best wel tegen de Chinese praktijken."},{"startTime":286.72,"endTime":293.72,"body":"Dus dat je op een gegeven moment op afstand gaat identificeren wie iemand is of iets in die geest."},{"startTime":293.72,"endTime":295.72,"body":"Dat is best wel snel ook."},{"startTime":295.72,"endTime":301.72,"body":"Zolang het in belang is van het individu, is het vaak wel toegestaan."},{"startTime":301.72,"endTime":308.72,"body":"Maar zodra je daar buiten gaat handelen, dan zegt de Europese Unie al heel gauw van nee, dat willen we liever niet."},{"startTime":308.72,"endTime":310.72,"body":"Ja, inderdaad."},{"startTime":310.72,"endTime":312.72,"body":"En de implicaties zijn natuurlijk ook heel groot daarvan."},{"startTime":312.72,"endTime":318.72,"body":"Want het is niet alleen degene die het ontwikkelt deze oplossing, die dadelijk verantwoordelijk gesteld kan worden."},{"startTime":318.72,"endTime":322.72,"body":"Maar ook de gebruikers van weer services die dat dan doen."},{"startTime":322.72,"endTime":324.72,"body":"Dus ze trekken het ook wel heel breed."},{"startTime":324.72,"endTime":327.72,"body":"Dus dat zorgt er wel weer voor dat je erover na gaat denken."},{"startTime":327.72,"endTime":331.72,"body":"Ja, nog wat anders? Had je nog wat anders wat je opgevallen was?"},{"startTime":331.72,"endTime":334.72,"body":"Was het van Niels het gelijke?"},{"startTime":334.72,"endTime":337.72,"body":"Wat mij ook wel opgevallen was, dat is wel een tijdje terug."},{"startTime":337.72,"endTime":339.72,"body":"Maar dat is van Google I/O."},{"startTime":339.72,"endTime":342.72,"body":"En dat is dat ze op een gegeven moment een app gaan..."},{"startTime":342.72,"endTime":344.72,"body":"Ze hebben een app geannounced."},{"startTime":344.72,"endTime":350.72,"body":"En daarmee willen ze op een gegeven moment dat je zelf door middel van je camera, van je telefoon,"},{"startTime":350.72,"endTime":355.72,"body":"skin diseases of skin conditions kan detecteren."},{"startTime":355.72,"endTime":360.72,"body":"Dus dan gebruik je je camera om bijvoorbeeld de moedervlek te identificeren."},{"startTime":360.72,"endTime":364.72,"body":"Kan door middel van machine zien of dat dus kwadarig is of niet."},{"startTime":364.72,"endTime":369.72,"body":"En dat doen ze niet op een specifieke conditie, maar dat doen ze heel erg breed."},{"startTime":369.72,"endTime":371.72,"body":"En dat vond ik wel heel bijzonder."},{"startTime":371.72,"endTime":375.72,"body":"Want normaal gesproken zie je dus inderdaad dat image class is single purpose."},{"startTime":375.72,"endTime":379.72,"body":"Dus alleen voor tuberculose of iets in die geest."},{"startTime":379.72,"endTime":382.72,"body":"Maar Google trekt dat dus een stapje verder."},{"startTime":382.72,"endTime":386.72,"body":"Wat Google ook nog eens doet, is dat ze het beschikbaar maken voor de consument."},{"startTime":386.72,"endTime":390.72,"body":"Dus dat is wel heel erg impactful, denk ik wel."},{"startTime":390.72,"endTime":391.72,"body":"Ja."},{"startTime":391.72,"endTime":395.72,"body":"Nou, dat is denk ik een mooi bruggetje naar die van mij namelijk."},{"startTime":395.72,"endTime":399.72,"body":"Want het nieuws is voor mij op dit moment dichtbij."},{"startTime":399.72,"endTime":406.72,"body":"Wij als Info Support zijn business partner namelijk voor een AI lab, een ICAI lab hier in Nederland."},{"startTime":406.72,"endTime":411.72,"body":"Dat wij samen met onder andere de Radboud Universiteit en het Radboud Ziekenhuis gaan kijken..."},{"startTime":411.72,"endTime":416.72,"body":"...dat we ook weer aan de hand van een mobiele telefoon..."},{"startTime":416.72,"endTime":422.72,"body":"...dat je bewegingsstoornissen kan klassificeren van patiënten."},{"startTime":422.72,"endTime":429.72,"body":"Op dit moment is het heel erg moeilijk om de hele specifieke bewegingsstoornis te diagnosticeren."},{"startTime":429.72,"endTime":431.72,"body":"Dat is ook echt moeilijk voor de artsen zelf."},{"startTime":431.72,"endTime":435.72,"body":"Nou, bij de Radboud zijn ze er echt zeer gespecialiseerd in."},{"startTime":435.72,"endTime":438.72,"body":"En dat gaat niet alleen de artsen helpen."},{"startTime":438.72,"endTime":443.72,"body":"Maar het einddoel is dat dat ook naar eindgebruikers gaat."},{"startTime":443.72,"endTime":445.72,"body":"Gewoon naar de consument."},{"startTime":445.72,"endTime":450.72,"body":"Dat als je daar een vermoeden hebt, dat je dat kan doen."},{"startTime":450.72,"endTime":456.72,"body":"En de arts die hier de grote aanjager van is, professor Bas Bloem..."},{"startTime":456.72,"endTime":462.72,"body":"...die heeft ook echt het idee van, ja, maar dit moet ook naar mensen toe die weinig toegang hebben tot de zorg."},{"startTime":462.72,"endTime":465.72,"body":"Dus in Nederland heeft eigenlijk iedereen toegang tot de zorg."},{"startTime":465.72,"endTime":468.72,"body":"In de wereld, hij noemde een aantal, die weet ik niet meer."},{"startTime":468.72,"endTime":473.72,"body":"Onwaarschijnlijk veel mensen die geen of slechte toegang tot zorg hebben."},{"startTime":473.72,"endTime":480.72,"body":"En die zouden bijvoorbeeld wel als een diagnose kunnen stellen of gerustgesteld kunnen worden."},{"startTime":480.72,"endTime":487.72,"body":"En wij hebben, ik zou haast zeggen, de eer dat wij daar de technologiepartner zijn."},{"startTime":487.72,"endTime":491.72,"body":"Dus wij gaan ook die modellen gaan wij ontwikkelen samen met ze."},{"startTime":491.72,"endTime":495.72,"body":"In het lab gaan vijf PhD-studenten gaan aan de slag."},{"startTime":495.72,"endTime":499.72,"body":"Het is ook wel een lang traject, het is niet zo van volgend jaar is dit op de markt."},{"startTime":499.72,"endTime":502.72,"body":"Er moet heel veel research gedaan worden."},{"startTime":502.72,"endTime":504.72,"body":"Maar wat mij betreft was dat mijn nieuws."},{"startTime":504.72,"endTime":508.72,"body":"Daar ben ik trots op dat wij dit gaan doen."},{"startTime":508.72,"endTime":510.72,"body":"Daar mogen we ook zeker trots op zijn inderdaad."},{"startTime":510.72,"endTime":514.72,"body":"Dit is echt ook gewoon een nobel doel waar we aan bij kunnen dragen."},{"startTime":514.72,"endTime":517.72,"body":"En ook iets waar we eigenlijk continu over hebben."},{"startTime":517.72,"endTime":519.72,"body":"Explainability is denk ik ook key in."},{"startTime":519.72,"endTime":522.72,"body":"En daar kunnen laten zien hoe pas je dat nu in de praktijk toe."},{"startTime":522.72,"endTime":524.72,"body":"Volgens mij echt een prachtverhaal."},{"startTime":524.72,"endTime":528.72,"body":"Explainability, bias komt hier ook zo direct naar voren."},{"startTime":528.72,"endTime":534.72,"body":"Dat je genoeg diversiteit in je trainingsset hebt zitten."},{"startTime":534.72,"endTime":537.72,"body":"Maar daar gaan we het denk ik zo over hebben."},{"startTime":537.72,"endTime":538.72,"body":"Wat dat allemaal betekent."},{"startTime":538.72,"endTime":541.72,"body":"Maar al dat soort elementen komen daar zeker aan bod."},{"startTime":541.72,"endTime":547.72,"body":"Ik vind het ook heel mooi dat je zegt dat je het beschikbaar wil stellen voor de consument."},{"startTime":547.72,"endTime":550.72,"body":"En inderdaad ook niet alleen hier in Nederland, maar ook daar buiten."},{"startTime":550.72,"endTime":554.72,"body":"Inderdaad wat je zegt, de meeste mensen hebben gewoon tegenwoordig."},{"startTime":554.72,"endTime":558.72,"body":"Daar hebben ze sneller een telefoon dan dat ze een laptop of een computer hebben."},{"startTime":558.72,"endTime":561.72,"body":"Dat is heel mooi om te zien eigenlijk."},{"startTime":561.72,"endTime":563.72,"body":"Ja, het is echt een heel uitdagend traject."},{"startTime":563.72,"endTime":567.72,"body":"Dus ik kijk daar met veel plezier alvast vooruit."},{"startTime":567.72,"endTime":569.72,"body":"Ik ben er aan het volgen."},{"startTime":569.72,"endTime":572.72,"body":"Ik zou zeggen laten we maar ook af en toe even terugkomen."},{"startTime":572.72,"endTime":574.72,"body":"Wat we daar geleerd hebben en wat we daar zien."},{"startTime":574.72,"endTime":576.72,"body":"Dat is mooi om af en toe even terug te laten komen."},{"startTime":576.72,"endTime":578.72,"body":"Uiteraard, uiteraard."},{"startTime":578.72,"endTime":582.72,"body":"En misschien is dit dan weer het mooie dooropstapje naar ons hoofdthema."},{"startTime":582.72,"endTime":584.72,"body":"Over bias."},{"startTime":584.72,"endTime":592.72,"body":"Ossa, maar zou jij op het gebied van bias, dat zit in jouw opdracht."},{"startTime":592.72,"endTime":596.72,"body":"Om te beginnen zou je eens kunnen vertellen van wat jouw opdracht inhoudt."},{"startTime":596.72,"endTime":599.72,"body":"En wat je aan het doen bent bij Info Support."},{"startTime":599.72,"endTime":601.72,"body":"Of wat je gedaan hebt, want je bent geloof ik bijna klaar."},{"startTime":601.72,"endTime":605.72,"body":"Ja, ik heb recent alles mogen inleggen."},{"startTime":605.72,"endTime":607.72,"body":"Dat is mooi."},{"startTime":607.72,"endTime":612.72,"body":"Maar inderdaad, ik heb dus kreditaanvragen van een kredietverstrekker beoordeeld."},{"startTime":612.72,"endTime":614.72,"body":"Door middel van machine learning."},{"startTime":614.72,"endTime":620.72,"body":"En dat zijn geen simpele machine learning algoritmes."},{"startTime":620.72,"endTime":623.72,"body":"Maar dat zijn SVMs en een single layer neutraal netwerk."},{"startTime":623.72,"endTime":626.72,"body":"Dus dat zijn blackbox machine learning algoritmes."},{"startTime":626.72,"endTime":629.72,"body":"Dus dat is vrij interessant."},{"startTime":629.72,"endTime":631.72,"body":"Ja, dat is zeker interessant."},{"startTime":631.72,"endTime":635.72,"body":"En wat was de opdracht die aan je gevraagd werd?"},{"startTime":635.72,"endTime":637.72,"body":"Wat moest je gaan uitzoeken?"},{"startTime":637.72,"endTime":641.72,"body":"Daar was ik eigenlijk best wel vrij in."},{"startTime":641.72,"endTime":644.72,"body":"En dat is ook wel heel mooi gebleken."},{"startTime":644.72,"endTime":648.72,"body":"Want op een gegeven moment, ik wist nog niet heel veel van machine learning af."},{"startTime":648.72,"endTime":650.72,"body":"Ik moest me daar nog heel veel in ontwikkelen."},{"startTime":650.72,"endTime":653.72,"body":"En tijdens die ontwikkeling kwam ik er eigenlijk achter..."},{"startTime":653.72,"endTime":660.72,"body":"dat bias een groot gevaar vormde voor de inclusiviteit en eerlijkheid van mijn machine learning models."},{"startTime":660.72,"endTime":666.72,"body":"Maar vervolgens zag ik dus niet hoe je dat kon oplossen."},{"startTime":666.72,"endTime":668.72,"body":"Of wat bias nou precies was."},{"startTime":668.72,"endTime":670.72,"body":"Of wat je er tegen kon doen."},{"startTime":670.72,"endTime":672.72,"body":"En dat vond ik best wel schokkend."},{"startTime":672.72,"endTime":674.72,"body":"Hoe kwam je daarachter?"},{"startTime":674.72,"endTime":677.72,"body":"Dat het een gevaar vormde."},{"startTime":677.72,"endTime":682.72,"body":"Nou ja, dat het erin zat en die gevolgen."},{"startTime":682.72,"endTime":684.72,"body":"Wat triggerde je daarin?"},{"startTime":684.72,"endTime":686.72,"body":"Het werd vaak wel gezegd."},{"startTime":686.72,"endTime":688.72,"body":"\"Hey, er is bias. Let op.\""},{"startTime":688.72,"endTime":690.72,"body":"\"Dat is super gevaarlijk.\""},{"startTime":690.72,"endTime":692.72,"body":"En vervolgens hield het daarbij op."},{"startTime":692.72,"endTime":694.72,"body":"Wat mij dan erin..."},{"startTime":694.72,"endTime":697.72,"body":"Waar dacht je toen aan toen ze zeiden \"Let op die bias.\"?"},{"startTime":697.72,"endTime":700.72,"body":"Wat dacht je? Wat is dat dan? Wat kwam er in je op?"},{"startTime":700.72,"endTime":703.72,"body":"Ja, ik wist niet eens wat het was."},{"startTime":703.72,"endTime":707.72,"body":"Ik kon het eigenlijk niet goed bevatten."},{"startTime":707.72,"endTime":711.72,"body":"Ik zat ernaar te kijken en ik dacht \"Er komt wat meer informatie.\""},{"startTime":711.72,"endTime":713.72,"body":"Nee, dat was het."},{"startTime":713.72,"endTime":715.72,"body":"Er is bias en dat is super gevaarlijk."},{"startTime":715.72,"endTime":717.72,"body":"Het kan best desastreus zijn."},{"startTime":717.72,"endTime":719.72,"body":"Je kan je systeem helemaal overhoop gooien."},{"startTime":719.72,"endTime":722.72,"body":"Maar meer informatie gaven ze niet."},{"startTime":722.72,"endTime":724.72,"body":"En op een gegeven moment..."},{"startTime":724.72,"endTime":728.72,"body":"En wat was het moment dat je bias gedetecteerd had dan?"},{"startTime":728.72,"endTime":735.72,"body":"Nu zit ik met een bias in mijn dataset of in de output."},{"startTime":735.72,"endTime":737.72,"body":"Waar kwam je daarachter?"},{"startTime":737.72,"endTime":741.72,"body":"Toen ik de definitie eigenlijk door kreeg."},{"startTime":741.72,"endTime":745.72,"body":"Want dat is het mooie aan bias."},{"startTime":745.72,"endTime":748.72,"body":"En ik snap nu ook wel waarom het niet echt uitgelegd werd."},{"startTime":748.72,"endTime":750.72,"body":"Bias heeft niet één definitie."},{"startTime":750.72,"endTime":752.72,"body":"Het heeft meerdere definities."},{"startTime":752.72,"endTime":756.72,"body":"En onder die definities heb je ook nog eens honderden verschillende..."},{"startTime":756.72,"endTime":758.72,"body":"Dus eigenlijk allerlei typen bias heb je."},{"startTime":758.72,"endTime":760.72,"body":"Ja, exact."},{"startTime":760.72,"endTime":762.72,"body":"Dus je hebt inderdaad ook verschillende categorieën."},{"startTime":762.72,"endTime":766.72,"body":"Je hebt in de sociale psychologie bias."},{"startTime":766.72,"endTime":769.72,"body":"Maar je hebt ook culturele biases."},{"startTime":769.72,"endTime":773.72,"body":"Je hebt neurale netwerken, waar het weer iets heel anders betekent."},{"startTime":773.72,"endTime":778.72,"body":"Dus die definitie wordt ook wel vrij breed getrokken."},{"startTime":778.72,"endTime":783.72,"body":"En in machine learning spreken we dus over één van die definities."},{"startTime":783.72,"endTime":786.72,"body":"Dus het is vrij lastig om mee om te gaan."},{"startTime":786.72,"endTime":789.72,"body":"En welke is die één van de definities waar je nu aan denkt dan?"},{"startTime":789.72,"endTime":794.72,"body":"Statistical bias bijvoorbeeld."},{"startTime":794.72,"endTime":796.72,"body":"Daar heb je ook weer verschillende soorten in."},{"startTime":796.72,"endTime":798.72,"body":"Bijvoorbeeld representation bias."},{"startTime":798.72,"endTime":802.72,"body":"Als je bijvoorbeeld een populatie selecteert, data, groep."},{"startTime":802.72,"endTime":807.72,"body":"En die moet dan bijvoorbeeld wel representatief zijn naar je doelgroep toe."},{"startTime":807.72,"endTime":810.72,"body":"En als dat niet zo is, dan heb je representation bias."},{"startTime":810.72,"endTime":813.72,"body":"En cultural bias is weer iets heel anders."},{"startTime":813.72,"endTime":815.72,"body":"En bijvoorbeeld cultural bias die heb je altijd."},{"startTime":815.72,"endTime":818.72,"body":"Want we werken altijd naar onze cultuur toe."},{"startTime":818.72,"endTime":823.72,"body":"Iets dat in onze cultuur heel normaal is, hoeft niet normaal te zijn in een andere cultuur."},{"startTime":823.72,"endTime":825.72,"body":"En wij handelen daar ook gewoon uit."},{"startTime":825.72,"endTime":827.72,"body":"Wij handelen uit cultuur."},{"startTime":827.72,"endTime":829.72,"body":"Dus cultural bias zal je altijd hebben."},{"startTime":829.72,"endTime":831.72,"body":"Dat is trouwens niet altijd zo."},{"startTime":831.72,"endTime":832.72,"body":"Dat is een uitzondering."},{"startTime":832.72,"endTime":834.72,"body":"En dat vond ik ook wel best wel grappig om te zien."},{"startTime":834.72,"endTime":840.72,"body":"Wikipedia, de Engelstalige variant, die is het minst cultural bias."},{"startTime":840.72,"endTime":844.72,"body":"Omdat juist alle verschillende culturen daar op één plek komen."},{"startTime":844.72,"endTime":847.72,"body":"En daar aan bijdragen."},{"startTime":847.72,"endTime":854.72,"body":"Dus de Engelse variant van Wikipedia, dat is misschien wel het minst biased van alle nieuwsartikelen."},{"startTime":854.72,"endTime":856.72,"body":"Van alle overige artikelen."},{"startTime":856.72,"endTime":858.72,"body":"Dus dat is best wel bijzonder om te zien."},{"startTime":858.72,"endTime":859.72,"body":"Ja, mooi."},{"startTime":859.72,"endTime":868.72,"body":"Maar daarmee geef je denk ik ook aan van hoe moeilijk het is om die cultural bias uiteindelijk niet in je dataset te hebben."},{"startTime":868.72,"endTime":870.72,"body":"Het is zelfs onmogelijk, denk ik."},{"startTime":870.72,"endTime":872.72,"body":"Onmogelijk, maar je kan er wel rekening mee houden."},{"startTime":872.72,"endTime":874.72,"body":"En hoe doe je dat? Hoe hou je daar rekening mee?"},{"startTime":874.72,"endTime":876.72,"body":"Om het te erkennen."},{"startTime":876.72,"endTime":883.72,"body":"Dus op een gegeven moment moet je dus analyseren van wat zit er allemaal in mijn dataset en hoe ziet mijn dataset eruit."},{"startTime":883.72,"endTime":886.72,"body":"Maar ook hoe je machine learning model acteert."},{"startTime":886.72,"endTime":891.72,"body":"Dus op een gegeven moment ga je dan ook benchmarks uit met bijvoorbeeld minority groups."},{"startTime":891.72,"endTime":894.72,"body":"En te kijken van sluit het daarop aan of niet."},{"startTime":894.72,"endTime":899.72,"body":"Ja, en dat is denk ik zowel in je trainingsset, dat je kijkt van zijn die genoeg vertegenwoordigd."},{"startTime":899.72,"endTime":906.72,"body":"Maar ook eigenlijk in je output, dat je daar ook de juiste distributie hebt van de output die eruit komt."},{"startTime":906.72,"endTime":908.72,"body":"Bijvoorbeeld bij een kredietbeoordeling."},{"startTime":908.72,"endTime":915.72,"body":"Dat je kijkt van krijgen die gedistribueerd eigenlijk een gelijksoortige kredietbeoordeling."},{"startTime":915.72,"endTime":918.72,"body":"Dan niet minority groep."},{"startTime":918.72,"endTime":921.72,"body":"Ja, en dat is op zich misschien ook wel heel bijzonder."},{"startTime":921.72,"endTime":926.72,"body":"Want ik ben juist heel erg aan discrimineren in mijn machine learning models."},{"startTime":926.72,"endTime":927.72,"body":"En dat is expres geweest."},{"startTime":927.72,"endTime":931.72,"body":"Ja, en discrimineren is eigenlijk groepen onderkennen."},{"startTime":931.72,"endTime":932.72,"body":"Ja, exact."},{"startTime":932.72,"endTime":934.72,"body":"Ja, dat is een andere..."},{"startTime":934.72,"endTime":936.72,"body":"Met welke reden heb je dat gedaan dan?"},{"startTime":936.72,"endTime":939.72,"body":"Juist om het individu te beschermen."},{"startTime":939.72,"endTime":941.72,"body":"En dat is dus ook wel heel mooi."},{"startTime":941.72,"endTime":946.72,"body":"Want op een gegeven moment, wat ik heb gedaan, is om doelen te stellen."},{"startTime":946.72,"endTime":951.72,"body":"Ik heb doelen gesteld op wat mijn machine learning model moest bereiken."},{"startTime":951.72,"endTime":955.72,"body":"En die moest dus op een verantwoorde manier kredietaanvragen beoordelen."},{"startTime":955.72,"endTime":960.72,"body":"En om op een verantwoorde manier mijn kredietaanvragen te beoordelen,"},{"startTime":960.72,"endTime":965.72,"body":"moest ik dus discrimineren op wie een persoon was."},{"startTime":965.72,"endTime":969.72,"body":"Dus wat zijn leeftijd is, met wie hij getrouwd is, wat zijn nationaliteit is."},{"startTime":969.72,"endTime":973.72,"body":"Om juist een goede beoordeling te geven."},{"startTime":973.72,"endTime":977.72,"body":"Zou ik dat niet gedaan hebben, dan heeft dat gewoon hele grote consequenties."},{"startTime":977.72,"endTime":982.72,"body":"Want dan strek je krediet aan een persoon die geen krediet hoort te krijgen."},{"startTime":982.72,"endTime":985.72,"body":"En die kan dan vervolgens in de schulden belanden."},{"startTime":985.72,"endTime":989.72,"body":"En die schulden, het Nederlands schuldensysteem, die is niet bepaald zachtzinnig."},{"startTime":989.72,"endTime":990.72,"body":"Ja."},{"startTime":990.72,"endTime":991.72,"body":"Dus dat..."},{"startTime":991.72,"endTime":995.72,"body":"Wat je eigenlijk zegt, is je gaat eerst onderscheid maken."},{"startTime":995.72,"endTime":999.72,"body":"Om met dat onderscheid, laat je de machine eigenlijk leren,"},{"startTime":999.72,"endTime":1008.72,"body":"wat zijn nou ook de onderscheidende factoren waarop je keuze maakt, iemand wel of niet."},{"startTime":1008.72,"endTime":1011.72,"body":"Dus daar ben je heel erg bezig met onderscheid maken."},{"startTime":1011.72,"endTime":1014.72,"body":"En aan de andere kant wil je dat het eerlijk is."},{"startTime":1014.72,"endTime":1019.72,"body":"En dat er niet, zeg maar, onevenredig onderscheid wordt gemaakt."},{"startTime":1019.72,"endTime":1023.72,"body":"Of onethisch onderscheid wordt gemaakt."},{"startTime":1023.72,"endTime":1024.72,"body":"Exact."},{"startTime":1024.72,"endTime":1027.72,"body":"En daar zit een spanningsveld in."},{"startTime":1027.72,"endTime":1030.72,"body":"En hoe ga je daar dan mee om?"},{"startTime":1030.72,"endTime":1032.72,"body":"Dat is het hele vraagstuk."},{"startTime":1032.72,"endTime":1033.72,"body":"Ja."},{"startTime":1033.72,"endTime":1038.72,"body":"En er zijn mensen die daar gewoon gespecialiseerd in zijn."},{"startTime":1038.72,"endTime":1039.72,"body":"Vaak."},{"startTime":1039.72,"endTime":1042.72,"body":"Die houden zich daar echt helemaal mee bezig."},{"startTime":1042.72,"endTime":1043.72,"body":"Dat is ook een hele kunst."},{"startTime":1043.72,"endTime":1048.72,"body":"Dus die gaan dan ook echt bepalen van dat kan dus wel door de bocht en dat kan dus niet."},{"startTime":1048.72,"endTime":1052.72,"body":"Maar ik vind het wel belangrijk om dan het in voordeel van het individu te doen."},{"startTime":1052.72,"endTime":1058.72,"body":"Sterker nog, dat is volgens de Nederlandse algemene wet gelijke behandeling verplicht."},{"startTime":1058.72,"endTime":1063.72,"body":"Als je op bepaalde kenmerken discrimineert, zoals leeftijd, nationaliteit en meer,"},{"startTime":1063.72,"endTime":1066.72,"body":"dan moet dat in belang zijn van het individu."},{"startTime":1066.72,"endTime":1068.72,"body":"Als je dat niet doet, dan overtreed je de wet."},{"startTime":1068.72,"endTime":1071.72,"body":"Net als wat bij de toeslagaffaire is gebeurd."},{"startTime":1071.72,"endTime":1072.72,"body":"Ja."},{"startTime":1072.72,"endTime":1077.72,"body":"Wat zouden jouw tips zijn om te gaan met dit?"},{"startTime":1077.72,"endTime":1082.72,"body":"Allereerst moet je het gewoon heel goed aan een grondige exploratory data analysis doen."},{"startTime":1082.72,"endTime":1089.72,"body":"En je moet dus ook echt doorhebben hoe jouw data eruit ziet en waar de ongelijkheden in zitten."},{"startTime":1089.72,"endTime":1093.72,"body":"Eigenlijk zeg je, je moet heel actief op zoek naar de ongelijkheid."},{"startTime":1093.72,"endTime":1097.72,"body":"Volgens mij hoorde ik je er straks zeggen, je moet het erkennen."},{"startTime":1097.72,"endTime":1103.72,"body":"Dus dat betekent dat je zegt van, ik ga er vanuit dat mijn dataset biased is."},{"startTime":1103.72,"endTime":1106.72,"body":"De vraag is alleen, hoeveel, hoe erg en waar?"},{"startTime":1106.72,"endTime":1109.72,"body":"En daar ga je naar op zoek, denk ik."},{"startTime":1109.72,"endTime":1115.72,"body":"Je wordt een soort van Sherlock Holmes, dat je gaat kijken van waar zit het?"},{"startTime":1115.72,"endTime":1121.72,"body":"Dus niet de andere kant op van, nou het zal wel goed zijn, wij hebben geen bias, want zo zitten we niet in elkaar."},{"startTime":1121.72,"endTime":1125.72,"body":"Nee, je draait het om, het is er en ik moet aantonen waar het zit."},{"startTime":1125.72,"endTime":1127.72,"body":"Exact."},{"startTime":1127.72,"endTime":1131.72,"body":"En welke technieken zou je daarvoor kunnen gebruiken?"},{"startTime":1131.72,"endTime":1138.72,"body":"Er zijn verschillende technieken, dus gewoon inderdaad een simpele exploratory data analysis is waarmee je start."},{"startTime":1138.72,"endTime":1145.72,"body":"Maar vervolgens heb je ook hele mooie tools die je kan gebruiken, zoals de DEDA van de Universiteit Utrecht."},{"startTime":1145.72,"endTime":1148.72,"body":"Ja, dan bedoel je de ethische data assistente, DEDA."},{"startTime":1148.72,"endTime":1150.72,"body":"Ja, exact."},{"startTime":1150.72,"endTime":1157.72,"body":"Je hebt Fairlearn van Microsoft en daarbij kijk je dan expliciet naar de gevoelige kenmerken zoals..."},{"startTime":1157.72,"endTime":1165.72,"body":"Ik kwam laatst ook nog op een nieuwe tool van Microsoft uit, maar ik ben even de naam vergeten."},{"startTime":1165.72,"endTime":1167.72,"body":"En die gaf daar ook wel aardig..."},{"startTime":1167.72,"endTime":1174.72,"body":"Ja, die hebben we ook in die sessie gehad, in die webinar, ik ben hem ook even kwijt."},{"startTime":1174.72,"endTime":1182.72,"body":"Die kunnen we wel even opzoeken en in de link straks bij de beschrijving van de podcast zetten."},{"startTime":1182.72,"endTime":1184.72,"body":"Dat is een erg interessante nieuwe."},{"startTime":1184.72,"endTime":1191.72,"body":"Maar als we even naar Fairlearn kijken, want jij zegt dat hij naar leeftijd kijkt, maar wat houdt dat in?"},{"startTime":1191.72,"endTime":1193.72,"body":"Kijken naar leeftijd?"},{"startTime":1193.72,"endTime":1195.72,"body":"Ja, dus hij kijkt bijvoorbeeld hoeveel..."},{"startTime":1195.72,"endTime":1200.72,"body":"Wat hij bij mij in mijn systeem heeft gedaan is, ik heb de leeftijd opgedeeld in 5 bins."},{"startTime":1200.72,"endTime":1205.72,"body":"De jongste leeftijd zit bij elkaar gegroept en de oudste zit ook weer bij elkaar gegroept."},{"startTime":1205.72,"endTime":1210.72,"body":"En dan kijkt hij bijvoorbeeld hoeveel procent van die leeftijd goedgekud."},{"startTime":1210.72,"endTime":1218.72,"body":"Van de oudere mensen zag ik dat er 10 of 20 procent goedgekud werd, maar van de jongeren al heel gauw 60 tot 70 procent."},{"startTime":1218.72,"endTime":1225.72,"body":"En dat heeft gewoon te maken omdat leeftijd een rol speelt in mijn beslissing."},{"startTime":1225.72,"endTime":1229.72,"body":"Dus ja, dat is wel lastig om soms mee om te gaan."},{"startTime":1229.72,"endTime":1233.72,"body":"Want je kan ook met Fairlearn vervolgens zeggen van oké, ik trek dat recht."},{"startTime":1233.72,"endTime":1240.72,"body":"Ik zorg ervoor dat iedereen met een verschillende leeftijd hetzelfde behandeld wordt."},{"startTime":1240.72,"endTime":1247.72,"body":"Maar dat is in mijn geval dus niet nodig gebleken, omdat ik anders een slechte beoordeling zou geven."},{"startTime":1247.72,"endTime":1253.72,"body":"Want iemand die 80 is, die wil je niet een krediet verstreken van 2 ton."},{"startTime":1253.72,"endTime":1257.72,"body":"Nou, in ieder geval niet voor een meerderjarig."},{"startTime":1257.72,"endTime":1260.72,"body":"Misschien wel voor 2 maanden ofzo."},{"startTime":1260.72,"endTime":1266.72,"body":"Maar eigenlijk zeg je daarmee ook de context en de bedrijfsetiek speelt hier ook een rol."},{"startTime":1266.72,"endTime":1269.72,"body":"Ja, exact. Daar moet je rekening mee houden."},{"startTime":1269.72,"endTime":1275.72,"body":"Dus eigenlijk die tooling helpt je om mogelijke bias te uithalen."},{"startTime":1275.72,"endTime":1280.72,"body":"De beoordeling van de data scientist, de business, een domeinexperts."},{"startTime":1280.72,"endTime":1285.72,"body":"Om na te gaan, is het ook ongewenste bias?"},{"startTime":1285.72,"endTime":1290.72,"body":"Ja, en soms is die lijn best wel dun."},{"startTime":1290.72,"endTime":1293.72,"body":"Bijvoorbeeld in mijn systeem, het kredietnaam vragen."},{"startTime":1293.72,"endTime":1297.72,"body":"Het verschil tussen man en vrouw, dat kan uitmaken."},{"startTime":1297.72,"endTime":1302.72,"body":"Want mannen werken vaak best wel lang door, dus fulltime."},{"startTime":1302.72,"endTime":1307.72,"body":"En die stoppen vaak niet met werken totdat ze hun AOW leeftijd hebben bereikt."},{"startTime":1307.72,"endTime":1313.72,"body":"Maar vrouwen die zullen al gauw parttime gaan werken of stoppen met werken zodra ze hun kinderen hebben."},{"startTime":1313.72,"endTime":1319.72,"body":"En een kredietverstrekker moet dus daar dan de beslissingen maken."},{"startTime":1319.72,"endTime":1325.72,"body":"Wil je dat je daar rekening mee houdt en daardoor een vrouw minder krediet verpleent?"},{"startTime":1325.72,"endTime":1332.72,"body":"Of wil je dat juist gelijk trekken en zeggen van oké, mannen en vrouwen die horen gelijk behandeld te worden."},{"startTime":1332.72,"endTime":1335.72,"body":"En daarom zal ik dat dus ook gewoon enforcen."},{"startTime":1335.72,"endTime":1340.72,"body":"Ook al resulteert dat misschien in slechtere resultaten."},{"startTime":1340.72,"endTime":1343.72,"body":"Ja, dat zijn afwegingen."},{"startTime":1343.72,"endTime":1347.72,"body":"Interessante vraagstukken, dat ethische vraagstuk en ook vanuit het bedrijf, hoe gaan we daarmee om?"},{"startTime":1347.72,"endTime":1349.72,"body":"Hoe zitten wij daarin voor de maatschappij?"},{"startTime":1349.72,"endTime":1352.72,"body":"Want dat is nogal wat als je daar verschillen in maakt."},{"startTime":1352.72,"endTime":1355.72,"body":"Want ja, historisch is dat zo, maar wie zegt dat het in de toekomst ook zo is?"},{"startTime":1355.72,"endTime":1358.72,"body":"Ja, precies. En ja, uiteindelijk."},{"startTime":1358.72,"endTime":1361.72,"body":"Goed zo, heel goed. Mooi."},{"startTime":1361.72,"endTime":1368.72,"body":"En als ik het goed begrepen had, we hebben natuurlijk al eens even wat voorbesproken."},{"startTime":1368.72,"endTime":1374.72,"body":"En dan vertelde je mij ook dat je bezig was geweest met een stukje explainable AI."},{"startTime":1374.72,"endTime":1380.72,"body":"En juist omdat wij in de vorige aflevering hebben het helemaal gehad over explainable AI,"},{"startTime":1380.72,"endTime":1388.72,"body":"was ik toch wel benieuwd qua aansluiting van wat jij daarin gedaan hebt en wat je daar ook in gebruikt hebt."},{"startTime":1388.72,"endTime":1391.72,"body":"Ja, dat is best wel bijzonder inderdaad."},{"startTime":1391.72,"endTime":1395.72,"body":"Want ik ben op een gegeven moment, ik had mijn onderzoek gedaan en daarin zei ik dus ook,"},{"startTime":1395.72,"endTime":1398.72,"body":"je moet tools gebruiken, zoals SHAP en LIME."},{"startTime":1398.72,"endTime":1405.72,"body":"En wat ging ik dus doen? Ik had SHAP, mijn hele dataset en model mee geëxplained."},{"startTime":1405.72,"endTime":1408.72,"body":"En toen kwam ik tot een best wel schokkende conclusie,"},{"startTime":1408.72,"endTime":1413.72,"body":"dat al mijn beslissingen vooral gebaseerd waren op één feature."},{"startTime":1413.72,"endTime":1417.72,"body":"Dat was niet heel prettig om te zien. Eigenlijk best wel schokkend."},{"startTime":1417.72,"endTime":1421.72,"body":"En hoe is dat met je nauwkeurigheid? Want die zal misschien best heel goed geweest zijn, of niet?"},{"startTime":1421.72,"endTime":1423.72,"body":"Precies, ja."},{"startTime":1423.72,"endTime":1425.72,"body":"Dat maakt het extra schokkend, toch?"},{"startTime":1425.72,"endTime":1426.72,"body":"Ja."},{"startTime":1426.72,"endTime":1432.72,"body":"En uiteindelijk heb ik dus alsnog technieken toegepast om het allemaal wat gelijk te trekken,"},{"startTime":1432.72,"endTime":1433.72,"body":"dus data wrangling."},{"startTime":1433.72,"endTime":1436.72,"body":"Toen kreeg ik ook een hogere nauwkeurigheid in de eerste instantie."},{"startTime":1436.72,"endTime":1442.72,"body":"Dus dat heeft positieve bijdrage, maar het is nu ook duidelijk hoe dat dus ontstaan is."},{"startTime":1442.72,"endTime":1445.72,"body":"Kan je voor de luisteraars even toelichten, wat is SHAP?"},{"startTime":1445.72,"endTime":1449.72,"body":"Er zullen ongetwijfeld mensen die dit nog niet eerder van gehoord hebben."},{"startTime":1449.72,"endTime":1456.72,"body":"SHAP is een tool, daarmee kan je dus een machine learning model of een blackbox model mee explainen."},{"startTime":1456.72,"endTime":1458.72,"body":"En dat doet hij door middel van shapely values."},{"startTime":1458.72,"endTime":1463.72,"body":"En wat hij daarbij doet, is dat het een soort van spellogica is."},{"startTime":1463.72,"endTime":1466.72,"body":"Dus je hebt een observatie, dat is dan een spel."},{"startTime":1466.72,"endTime":1469.72,"body":"En de features, dat zijn dus de spelers."},{"startTime":1469.72,"endTime":1472.72,"body":"En die features, die kwantificeert hij vervolgens."},{"startTime":1472.72,"endTime":1477.72,"body":"Dan bekijkt hij dus wat de bijdrage is van elke feature aan het spel."},{"startTime":1477.72,"endTime":1481.72,"body":"Met name dat hij het ook visueel maakt, want dat vond ik wel heel gaaf uitzien."},{"startTime":1481.72,"endTime":1485.72,"body":"Het werd heel erg visueel en gelijk zichtbaar wat de meeste impact had."},{"startTime":1485.72,"endTime":1487.72,"body":"En dat vond ik wel mooi."},{"startTime":1487.72,"endTime":1492.72,"body":"En dat is best wel mooi eigenlijk."},{"startTime":1492.72,"endTime":1498.72,"body":"Ja, want daarom kon je exact zien van eigenlijk is het maar één feature die een rol speelt in de voorspelling."},{"startTime":1498.72,"endTime":1500.72,"body":"Is iemand kredietwaardig genoeg?"},{"startTime":1500.72,"endTime":1501.72,"body":"Ja."},{"startTime":1501.72,"endTime":1506.72,"body":"En daarmee had je zoiets van oei, dit gaat niet goed."},{"startTime":1506.72,"endTime":1512.72,"body":"Ja, en op een gegeven moment kwam ook in de tijd dat ik mijn afstudeertraject volgde,"},{"startTime":1512.72,"endTime":1515.72,"body":"toen kwam de Artificial Intelligence Act ook in beeld."},{"startTime":1515.72,"endTime":1521.72,"body":"En toen werd het zelfs verplicht, of nou ja, dat is nu nog steeds niet verplicht,"},{"startTime":1521.72,"endTime":1528.72,"body":"maar als die wordt aangenomen, wel, dan wordt het verplicht om explainable AI toe te passen in blackbox models."},{"startTime":1528.72,"endTime":1532.72,"body":"En daar heb ik dus ook rekening mee gehouden."},{"startTime":1532.72,"endTime":1538.72,"body":"Ik heb mijn machine learning model, heb ik ook door middel van shop,"},{"startTime":1538.72,"endTime":1545.72,"body":"heb ik die data gewoon naar mijn client gestuurd en in mijn client heb ik wat grafiekjes en dergelijke gemaakt."},{"startTime":1545.72,"endTime":1550.72,"body":"En die vervolgens, en daarmee heb ik ook explainable AI naar de client toegebracht."},{"startTime":1550.72,"endTime":1555.72,"body":"Dus zodra een acceptant mijn kreditaanvraag zou inzien,"},{"startTime":1555.72,"endTime":1561.72,"body":"dan zou die kunnen achterhalen waarom een kreditaanvraag geaccepteerd of afgewezen is."},{"startTime":1561.72,"endTime":1564.72,"body":"En dat vond ik ook wel heel sterk eigenlijk."},{"startTime":1564.72,"endTime":1572.72,"body":"Ja, je zou ook zeggen van dat is het bijna een must, want anders krijg je alleen maar computers as no, of yes."},{"startTime":1572.72,"endTime":1577.72,"body":"En dat kan natuurlijk nooit voldoende zijn. Dat mogen we eigenlijk niet accepteren."},{"startTime":1577.72,"endTime":1578.72,"body":"Ja, heel mooi."},{"startTime":1578.72,"endTime":1585.72,"body":"Hé, laten we eens, want ik denk dat we een aardig beeld hebben over wat is bias en wat kan je ermee,"},{"startTime":1585.72,"endTime":1590.72,"body":"dat we even naar het laatste blok in de podcast gaan en dat is AI in de praktijk."},{"startTime":1590.72,"endTime":1596.72,"body":"Dus dan gaan we kijken wat jij nou geleerd hebt, hoe zou je dat nou in de praktijk kunnen toepassen?"},{"startTime":1596.72,"endTime":1602.72,"body":"Iets niet van, maar Info Support heeft een guidance framework."},{"startTime":1602.72,"endTime":1607.72,"body":"En die heeft een stukje over AI en die heeft daar een workflow in."},{"startTime":1607.72,"endTime":1610.72,"body":"Die workflow vind ik heel erg mooi."},{"startTime":1610.72,"endTime":1617.72,"body":"Die neemt ook heel veel elementen mee op het gebied van explainable AI en analyses."},{"startTime":1617.72,"endTime":1623.72,"body":"Die complete workflow, ik weet niet of je die kan delen met de rest, maar dat zou wel heel mooi zijn eigenlijk."},{"startTime":1623.72,"endTime":1627.72,"body":"Want als je dat zou opvolgen en ook gewoon al die stappen zou doorlopen,"},{"startTime":1627.72,"endTime":1635.72,"body":"dan zou zelfs een hoog risicoclassificatiemodel gewoon goed in de markt kunnen passen."},{"startTime":1635.72,"endTime":1639.72,"body":"Ja, wij kunnen ook weer een linkje in de beschrijving opnemen naar die workflow."},{"startTime":1639.72,"endTime":1641.72,"body":"Ja, die is zeker open. Heel goed."},{"startTime":1641.72,"endTime":1654.72,"body":"En als je nou klanten die met AI bezig zijn of willen beginnen, een tip zou willen geven van waar start je nou eigenlijk met die bias detectie?"},{"startTime":1654.72,"endTime":1655.72,"body":"Hoe begin je?"},{"startTime":1655.72,"endTime":1660.72,"body":"Ja, toch wel door een exploratory data analysis, want dat is toch wel de basis."},{"startTime":1660.72,"endTime":1664.72,"body":"En het is ook belangrijk om te kijken waar de data vandaan komt."},{"startTime":1664.72,"endTime":1672.72,"body":"Want heel vaak krijgen machine learning experts, die krijgen dus op een gegeven moment een dataset binnen en met die dataset gaan ze verder."},{"startTime":1672.72,"endTime":1676.72,"body":"Maar het is ook wel belangrijk om te weten van waar komt de data vandaan?"},{"startTime":1676.72,"endTime":1682.72,"body":"En wat is er met de data gedaan? En wie heeft er aan gezeten? En over wie gaat het?"},{"startTime":1682.72,"endTime":1684.72,"body":"Dat is wel heel erg belangrijk."},{"startTime":1684.72,"endTime":1689.72,"body":"Dus nieuwsgierig blijven en niet aannemen wat je binnenkrijgt, doorvragen."},{"startTime":1689.72,"endTime":1690.72,"body":"Exact."},{"startTime":1691.72,"endTime":1700.72,"body":"En ik denk ook wel heel goed documenteren van welke data wordt nou een bepaalde feature."},{"startTime":1700.72,"endTime":1703.72,"body":"Dus een echte input voor je model."},{"startTime":1703.72,"endTime":1708.72,"body":"En de resultaten van het onderzoek naar die bias."},{"startTime":1708.72,"endTime":1713.72,"body":"En dat is denk ik niet eenmalig, maar dat is natuurlijk een repeterend traject."},{"startTime":1713.72,"endTime":1719.72,"body":"Iedere keer als je een retraining doet, moet je opnieuw gaan kijken van waar zit de bias?"},{"startTime":1719.72,"endTime":1723.72,"body":"Wat hebben we eraan gedaan? Welke keuzes hebben we gemaakt?"},{"startTime":1723.72,"endTime":1728.72,"body":"Net als wat jij zei van met de mannen en de vrouwen of leeftijden."},{"startTime":1728.72,"endTime":1730.72,"body":"Dat je dat ook vastlegt."},{"startTime":1730.72,"endTime":1739.72,"body":"We weten dat die bias zo en zo zit, maar er is besloten om, in jouw geval, mannen en vrouwen gelijk te trekken."},{"startTime":1739.72,"endTime":1744.72,"body":"Dus dat heeft ook de trainingset waarschijnlijk veranderd."},{"startTime":1744.72,"endTime":1748.72,"body":"En daar vervolgens ook weer transparant over zijn, zoals we eigenlijk vorige podcast ook noemd hebben."},{"startTime":1748.72,"endTime":1751.72,"body":"Dat weer inderdaad teruggeven van dit doen we zo omdat."},{"startTime":1751.72,"endTime":1754.72,"body":"En inderdaad de vastlegging en documentatie daarvan."},{"startTime":1754.72,"endTime":1760.72,"body":"En ben je ook met meerdere mensen daarnaar aan het kijken?"},{"startTime":1760.72,"endTime":1762.72,"body":"Of heb je er met name zelf naar gekeken?"},{"startTime":1762.72,"endTime":1765.72,"body":"Hoe zit het met inclusiviteit met diegenen die na die data kijken?"},{"startTime":1765.72,"endTime":1767.72,"body":"Heb je daar ook een tip van?"},{"startTime":1767.72,"endTime":1770.72,"body":"Ik heb er inderdaad voornamelijk zelf naar gekeken, helaas."},{"startTime":1770.72,"endTime":1774.72,"body":"Maar wat is misschien ook wel een leuke observatie geweest."},{"startTime":1774.72,"endTime":1777.72,"body":"Op een gegeven moment ging ik dus inderdaad bepaalde dingen gelijk trekken."},{"startTime":1777.72,"endTime":1780.72,"body":"Dat mannen en vrouwen dat is gelijk en dit en dit is ook gelijk."},{"startTime":1780.72,"endTime":1782.72,"body":"En toen keek ik namelijk de nauwkeurigheid van."},{"startTime":1782.72,"endTime":1784.72,"body":"Die daalde drastisch."},{"startTime":1784.72,"endTime":1791.72,"body":"En dat zit zo verwoven in de data die je al had."},{"startTime":1791.72,"endTime":1795.72,"body":"En ook gewoon de keuzes die nog steeds gemaakt worden."},{"startTime":1795.72,"endTime":1797.72,"body":"Dat het af en toe ook wel raar resultaat."},{"startTime":1797.72,"endTime":1799.72,"body":"En wat heb je daar dan aan gedaan?"},{"startTime":1799.72,"endTime":1804.72,"body":"Ja, dan moet je weer overwegen van wil ik het wel of wil ik het niet."},{"startTime":1804.72,"endTime":1808.72,"body":"Dus ik heb leeftijd bijvoorbeeld wel gewoon erin gelaten."},{"startTime":1808.72,"endTime":1810.72,"body":"Om het daarop te gedenken."},{"startTime":1810.72,"endTime":1812.72,"body":"Nou ja, laten we het onderscheid noemen in dit geval."},{"startTime":1812.72,"endTime":1816.72,"body":"Want uiteindelijk is het geen echte discriminatie."},{"startTime":1816.72,"endTime":1819.72,"body":"Het heeft met risico's te maken."},{"startTime":1819.72,"endTime":1821.72,"body":"Exact."},{"startTime":1821.72,"endTime":1823.72,"body":"Dus om het individu te beschermen."},{"startTime":1823.72,"endTime":1825.72,"body":"Ja, precies."},{"startTime":1825.72,"endTime":1827.72,"body":"In enigszins ook het bedrijf."},{"startTime":1827.72,"endTime":1829.72,"body":"Ja, ja, dat beweegt uiteraard mee."},{"startTime":1829.72,"endTime":1831.72,"body":"Allemaal bij het risico, inschatting inderdaad."},{"startTime":1831.72,"endTime":1833.72,"body":"Ja."},{"startTime":1833.72,"endTime":1836.72,"body":"En die tooling waar je het over had."},{"startTime":1836.72,"endTime":1838.72,"body":"Bijvoorbeeld Shed a Lime."},{"startTime":1838.72,"endTime":1840.72,"body":"Hoe moeilijk is dat als je daarmee wil beginnen?"},{"startTime":1840.72,"endTime":1842.72,"body":"Kan je daar iets over zeggen?"},{"startTime":1842.72,"endTime":1844.72,"body":"Toen je daarmee begon."},{"startTime":1844.72,"endTime":1846.72,"body":"Is dat intuitief?"},{"startTime":1846.72,"endTime":1848.72,"body":"Moest je je goed inlezen?"},{"startTime":1848.72,"endTime":1850.72,"body":"Heb je daar valtuilen gezien?"},{"startTime":1850.72,"endTime":1853.72,"body":"Het is eigenlijk heel simpel opgezet."},{"startTime":1853.72,"endTime":1856.72,"body":"Ik heb zelf met SkiKit Leun gewerkt."},{"startTime":1856.72,"endTime":1858.72,"body":"En Python."},{"startTime":1858.72,"endTime":1860.72,"body":"En de documentatie is gewoon heel erg compleet."},{"startTime":1860.72,"endTime":1862.72,"body":"Van zowel Shed a Lime."},{"startTime":1862.72,"endTime":1865.72,"body":"En dan kan je gewoon eventueel voorbeelden opzoeken."},{"startTime":1865.72,"endTime":1867.72,"body":"En best practices."},{"startTime":1867.72,"endTime":1869.72,"body":"En dan kan je dat zelf ook toepassen."},{"startTime":1869.72,"endTime":1871.72,"body":"En dat gaat eigenlijk heel erg gemakkelijk."},{"startTime":1871.72,"endTime":1873.72,"body":"Daarbij dus wel misschien even kanttekening."},{"startTime":1873.72,"endTime":1875.72,"body":"Shed werkt anders dan Lime."},{"startTime":1875.72,"endTime":1878.72,"body":"Ze explainen allebei blackbox models."},{"startTime":1878.72,"endTime":1880.72,"body":"Maar ze doen dat op een hele andere manier."},{"startTime":1880.72,"endTime":1883.72,"body":"En Shab gebruikt dus Shapely values."},{"startTime":1883.72,"endTime":1885.72,"body":"Maar Lime, dat is heel erg..."},{"startTime":1885.72,"endTime":1890.72,"body":"Wat zij doen is maken van één complex model."},{"startTime":1890.72,"endTime":1892.72,"body":"Dus een support vector machine bijvoorbeeld."},{"startTime":1892.72,"endTime":1894.72,"body":"Heel veel simpele modellen."},{"startTime":1894.72,"endTime":1897.72,"body":"Dus allemaal lineaire regression models."},{"startTime":1897.72,"endTime":1900.72,"body":"Die wel explainable zijn."},{"startTime":1900.72,"endTime":1903.72,"body":"En dat is dus ook een hele andere techniek."},{"startTime":1903.72,"endTime":1906.72,"body":"En je krijgt dus ook hele andere resultaten."},{"startTime":1906.72,"endTime":1909.72,"body":"En dat is wel belangrijk om in je achterhoofd te houden."},{"startTime":1909.72,"endTime":1911.72,"body":"Ja, en het zijn ook..."},{"startTime":1911.72,"endTime":1914.72,"body":"Het klinkt als explanations, maar het zijn natuurlijk inschattingen."},{"startTime":1914.72,"endTime":1917.72,"body":"Van hoe uiteindelijk dat model werkt."},{"startTime":1917.72,"endTime":1918.72,"body":"Exact."},{"startTime":1918.72,"endTime":1922.72,"body":"Door de termen worden we wel eens op het verkeerde been gezet."},{"startTime":1922.72,"endTime":1924.72,"body":"Uberhaupt, artificial intelligence."},{"startTime":1924.72,"endTime":1926.72,"body":"Daar heb ik zo mijn bedenkingen bij."},{"startTime":1926.72,"endTime":1927.72,"body":"Bij de term zelf."},{"startTime":1927.72,"endTime":1929.72,"body":"En dat geldt hier ook."},{"startTime":1929.72,"endTime":1932.72,"body":"Het is niet dat je de blackbox echt openmaakt."},{"startTime":1932.72,"endTime":1935.72,"body":"Waardoor de contexten te veranderen."},{"startTime":1935.72,"endTime":1939.72,"body":"Of inderdaad het model te proberen te benaderen."},{"startTime":1939.72,"endTime":1941.72,"body":"Allemaal dat soort technieken worden er gebruikt."},{"startTime":1941.72,"endTime":1945.72,"body":"Waardoor je een inschatting krijgt van hoe het model werkt."},{"startTime":1945.72,"endTime":1949.72,"body":"Maar je weet nog steeds niet exact hoe die aan de binnenkant eruit ziet."},{"startTime":1949.72,"endTime":1951.72,"body":"En hoe die tot zijn resultaat is gekomen."},{"startTime":1951.72,"endTime":1953.72,"body":"Ja, en daarbij..."},{"startTime":1953.72,"endTime":1955.72,"body":"Ga je gaan."},{"startTime":1955.72,"endTime":1958.72,"body":"Jij eerst of ik?"},{"startTime":1958.72,"endTime":1959.72,"body":"Ga je gaan."},{"startTime":1959.72,"endTime":1964.72,"body":"Wat ik ook zag is dat op een gegeven moment met SHAP..."},{"startTime":1964.72,"endTime":1966.72,"body":"moet je dus ook data meegeven."},{"startTime":1966.72,"endTime":1970.72,"body":"Om vervolgens daarop de kwantificaties te baseren."},{"startTime":1970.72,"endTime":1973.72,"body":"Dus op een gegeven moment hoe meer data je meegeeft..."},{"startTime":1973.72,"endTime":1977.72,"body":"hoe nauwkeuriger dus die inschattingen zijn."},{"startTime":1977.72,"endTime":1980.72,"body":"Of tenminste, dat claimen ze."},{"startTime":1980.72,"endTime":1984.72,"body":"En als je dus heel veel data meestuurt..."},{"startTime":1984.72,"endTime":1987.72,"body":"dan kost zo'n beoordeling op een gegeven moment ook gewoon..."},{"startTime":1987.72,"endTime":1990.72,"body":"drie, vier seconden voordat die is doorlopen."},{"startTime":1990.72,"endTime":1992.72,"body":"Of misschien zelfs langer."},{"startTime":1992.72,"endTime":1995.72,"body":"Ik heb bijvoorbeeld 150 samples meegegeven."},{"startTime":1995.72,"endTime":1997.72,"body":"En dat kostte al twee seconden."},{"startTime":1997.72,"endTime":2000.72,"body":"En dat is al vrij intensief."},{"startTime":2000.72,"endTime":2002.72,"body":"En dat moet je ook meenemen."},{"startTime":2002.72,"endTime":2006.72,"body":"Want machine learning, daar zit het grootste voordeel dat het lekker snel is."},{"startTime":2006.72,"endTime":2008.72,"body":"Dus dat, ja..."},{"startTime":2008.72,"endTime":2009.72,"body":"Dan ga je een afbeelding maken."},{"startTime":2009.72,"endTime":2011.72,"body":"Ja, dan wordt het ook weer een balans zoeken van..."},{"startTime":2011.72,"endTime":2015.72,"body":"hoe nauwkeurig wil je zijn in de explanation."},{"startTime":2015.72,"endTime":2020.72,"body":"Ten opzichte van de performance en hoe zit je proces in elkaar."},{"startTime":2020.72,"endTime":2022.72,"body":"Ja, een hele goede..."},{"startTime":2022.72,"endTime":2027.72,"body":"Nou, heel interessant. Leuke opdrachten, denk ik."},{"startTime":2027.72,"endTime":2032.72,"body":"Je hebt je afstudeerverdediging nog, hè?"},{"startTime":2032.72,"endTime":2033.72,"body":"Ja."},{"startTime":2033.72,"endTime":2036.72,"body":"Ja, ik denk dat ik ook van Niels mag spreken..."},{"startTime":2036.72,"endTime":2039.72,"body":"dat hij daar heel veel succes bij wil wensen."},{"startTime":2039.72,"endTime":2043.72,"body":"Superbedankt dat je mee wilde doen aan deze podcast."},{"startTime":2043.72,"endTime":2045.72,"body":"We hebben er een hoop van geleerd."},{"startTime":2045.72,"endTime":2049.72,"body":"We hebben gezien van bias, wat is het, wat kan je ermee, hoe start je."},{"startTime":2049.72,"endTime":2051.72,"body":"En nog even doorgepraat over de explainability."},{"startTime":2051.72,"endTime":2053.72,"body":"Erg interessant, toch Niels?"},{"startTime":2053.72,"endTime":2054.72,"body":"Ja, zeker."},{"startTime":2054.72,"endTime":2058.72,"body":"En ja, het laatste puntje van de taart..."},{"startTime":2058.72,"endTime":2060.72,"body":"die ligt nog voor je klaar natuurlijk."},{"startTime":2060.72,"endTime":2064.72,"body":"Je afstuderen en daarna denk ik aan de slag in dit vakgebied, of niet?"},{"startTime":2064.72,"endTime":2066.72,"body":"Ja, precies."},{"startTime":2066.72,"endTime":2071.72,"body":"Ik heb ook recent een vast contract aangeboden gekregen van Info Support."},{"startTime":2071.72,"endTime":2074.72,"body":"Die mag ik dinsdag ondertekenen."},{"startTime":2074.72,"endTime":2077.72,"body":"Dus ik ben nu al hartstikke trots."},{"startTime":2077.72,"endTime":2078.72,"body":"Gaaf, man."},{"startTime":2078.72,"endTime":2084.72,"body":"Dan gaan we ook lekker met AI in de praktijk bij onze klantenorganisaties."},{"startTime":2084.72,"endTime":2085.72,"body":"Mooi aan de slag."},{"startTime":2085.72,"endTime":2087.72,"body":"Leuk, leuk dat je mee wilde doen. Dank je wel."},{"startTime":2087.72,"endTime":2090.72,"body":"Ja, jullie ook enorm bedankt."},{"startTime":2090.72,"endTime":2095.72,"body":"En ja, onze oproep weer aan de luisteraars."},{"startTime":2095.72,"endTime":2097.72,"body":"Deel het."},{"startTime":2097.72,"endTime":2099.72,"body":"Het is altijd leuk."},{"startTime":2099.72,"endTime":2103.72,"body":"En we zien je graag..."},{"startTime":2103.72,"endTime":2104.72,"body":"Nou, zien, zien hè."},{"startTime":2104.72,"endTime":2106.72,"body":"Ik hoop dat je de volgende keer weer luistert."},{"startTime":2106.72,"endTime":2107.72,"body":"Zeker."},{"startTime":2107.72,"endTime":2111.72,"body":"En zijn er luisteraars die vragen hebben, zaken die ze willen bespreken?"},{"startTime":2111.72,"endTime":2113.72,"body":"Deel het met ons."},{"startTime":2113.72,"endTime":2116.72,"body":"We zijn altijd op zoek naar interessante gastsprekers."},{"startTime":2116.72,"endTime":2118.72,"body":"Dus meld je ook bij ons aan."},{"startTime":2118.72,"endTime":2120.72,"body":"Het staat allemaal wel op de podcast."},{"startTime":2120.72,"endTime":2122.72,"body":"Dus ik zou zeggen tot de volgende keer allemaal."},{"startTime":2122.72,"endTime":2125.72,"body":"Leuk dat je luisterde naar de AIToday Live podcast."},{"startTime":2125.72,"endTime":2130.72,"body":"Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen."},{"startTime":2130.72,"endTime":2137.72,"body":"En kijk voor meer interessante informatie over kunstmatig intelligentie op AIToday.ai."},{"startTime":2137.72,"endTime":2140.72,"body":"Dank je wel voor het luisteren. Tot de volgende keer."}]}