{"version":"1.0.0","segments":[{"startTime":0.001,"endTime":7.0,"body":"Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence,"},{"startTime":7.0,"endTime":11.56,"body":"ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen"},{"startTime":11.56,"endTime":14.92,"body":"waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt"},{"startTime":14.92,"endTime":15.92,"body":"hadden gevonden."},{"startTime":15.92,"endTime":19.72,"body":"Dat gaat ons helpen om nog grotere problemen te gaan oplossen."},{"startTime":19.72,"endTime":24.04,"body":"Denk maar aan een computer die zelf kan leren."},{"startTime":24.04,"endTime":31.4,"body":"Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus"},{"startTime":31.4,"endTime":33.0,"body":"het is door de mens bedacht."},{"startTime":33.0,"endTime":35.76,"body":"Bij kunstmatige intelligentie denk ik aan data."},{"startTime":35.76,"endTime":39.0,"body":"Zo, kunstmatige intelligentie."},{"startTime":39.0,"endTime":41.2,"body":"Eerlijk gezegd weet ik niet wat dat is."},{"startTime":41.2,"endTime":44.8,"body":"Hi, je luistert naar de podcast AIToday Live van Imageaboard."},{"startTime":44.8,"endTime":50.96,"body":"Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in the enterprise"},{"startTime":50.96,"endTime":52.56,"body":"en AI in de praktijk."},{"startTime":53.08,"endTime":59.32,"body":"Welkom bij alweer de zesde aflevering van het tweede seizoen van de AIToday podcast live."},{"startTime":59.32,"endTime":62.32,"body":"Vandaag zijn we weer met z'n tweetjes, Niels."},{"startTime":62.32,"endTime":71.08,"body":"Ja, we gaan even, nou, denk en terugkijken naar wat we besproken hebben in best wel veel"},{"startTime":71.08,"endTime":73.28,"body":"afleveringen hiervoor over explainable AI."},{"startTime":73.28,"endTime":76.08,"body":"Explainable AI, af en toe moeilijk woord."},{"startTime":76.08,"endTime":82.44,"body":"Maar we voegen daar interpretable machine learning of interpretable AI aan toe."},{"startTime":82.44,"endTime":83.8,"body":"Zoals dat ook al gezegd wordt."},{"startTime":83.8,"endTime":88.56,"body":"En we gaan vooral kijken naar, nou, wat zijn overeenkomsten, verschillen?"},{"startTime":88.56,"endTime":94.16,"body":"Ja, wat, wanneer kies je voor het een, wanneer kies je voor het andere?"},{"startTime":94.16,"endTime":98.92,"body":"Dat is eigenlijk het idee voor vandaag, om dat dus even goed door te spitten."},{"startTime":98.92,"endTime":104.32,"body":"En nou ja, hopelijk kunnen we wat inzicht geven van onze luisteraars, toch?"},{"startTime":104.32,"endTime":106.84,"body":"Dat is wel het doel van deze podcast."},{"startTime":106.84,"endTime":108.44,"body":"Dus laten we proberen dat te bereiken."},{"startTime":108.44,"endTime":115.64,"body":"Ja, toch, maar altijd zoals normaal, we gaan eerst even kijken van wat is ons opgevallen"},{"startTime":115.64,"endTime":116.64,"body":"in het nieuws?"},{"startTime":116.64,"endTime":125.64,"body":"Jij, was jou wat opgevallen?"},{"startTime":125.64,"endTime":131.64,"body":"Ja, ik had een aantal artikelen bij elkaar verzameld, totdat vandaag vanochtend ineens"},{"startTime":131.64,"endTime":132.64,"body":"eentje voorbij kwam."},{"startTime":132.64,"endTime":134.32,"body":"Ik dacht van nou, laat de rest maar zitten."},{"startTime":134.32,"endTime":135.32,"body":"Dit wordt hem."},{"startTime":135.32,"endTime":137.44,"body":"Deze ga ik noemen in de podcast."},{"startTime":137.44,"endTime":146.44,"body":"Namelijk de AI 100 Years Report, die voor september 2021 net live gezet is."},{"startTime":146.44,"endTime":148.8,"body":"Een paar dagen staat hij online schijnbaar."},{"startTime":148.8,"endTime":151.44,"body":"Dat was bij mij niet verwacht te komen."},{"startTime":151.44,"endTime":155.88,"body":"Maar ze hebben weer allemaal findings opgeschreven."},{"startTime":155.88,"endTime":159.44,"body":"En dat is een honderd jaar durend onderzoek."},{"startTime":159.44,"endTime":165.44,"body":"Iedere vijf jaar publiceren ze een rapport over de zaken die spelen op AI-gebied."},{"startTime":165.44,"endTime":167.44,"body":"Ik ken hem nog niet."},{"startTime":167.44,"endTime":168.44,"body":"Nee?"},{"startTime":168.44,"endTime":170.44,"body":"Oh, je staat sowieso op LinkedIn."},{"startTime":170.44,"endTime":173.44,"body":"En natuurlijk plaats hem even bij de podcast."},{"startTime":173.44,"endTime":177.44,"body":"Je moet er wel even voor gaan zitten, want het is een flinke epistel."},{"startTime":177.44,"endTime":178.44,"body":"Oké."},{"startTime":178.44,"endTime":180.44,"body":"Met goede teksten erbij."},{"startTime":180.44,"endTime":183.44,"body":"Dus ook sommige teksten moet je nog wel even extra goed doorlezen."},{"startTime":183.44,"endTime":185.44,"body":"Daar had ik zelf in ieder geval wel last van."},{"startTime":185.44,"endTime":187.44,"body":"Maar het is echt een mooi uitgebreid rapport."},{"startTime":187.44,"endTime":191.44,"body":"En het gaat eigenlijk over, ja, wat zijn de grote kansen op AI-gebied?"},{"startTime":191.44,"endTime":194.44,"body":"Maar wat hebben we de afgelopen jaren bereikt?"},{"startTime":194.44,"endTime":196.44,"body":"Welke challenges komen eraan?"},{"startTime":196.44,"endTime":199.44,"body":"Eigenlijk aan de hand van twaalf vragen en twee workshops"},{"startTime":199.44,"endTime":202.44,"body":"hebben ze eigenlijk gekeken naar de staat van AI."},{"startTime":202.44,"endTime":206.44,"body":"En wat zijn de kansen, risico's, en wat zijn de ontwikkelingen?"},{"startTime":206.44,"endTime":209.44,"body":"En dat door een panel van experts."},{"startTime":209.44,"endTime":210.44,"body":"Ja."},{"startTime":210.44,"endTime":211.44,"body":"Oh, interessant."},{"startTime":211.44,"endTime":214.44,"body":"Heb je daar ook al een kans uitgehaald, gelezen?"},{"startTime":214.44,"endTime":217.44,"body":"Nee, want ik ben hem aan het doorscannen geweest."},{"startTime":217.44,"endTime":220.44,"body":"En ik dacht, ga ik een highlighter uithalen?"},{"startTime":220.44,"endTime":221.44,"body":"Nee, dat kan ik nog niet."},{"startTime":221.44,"endTime":223.44,"body":"Ik moet hem echt even helemaal goed doorlezen, inderdaad."},{"startTime":223.44,"endTime":227.44,"body":"Maar de vragen die gesteld worden, die kan ik wel even kort een paar noemen."},{"startTime":227.44,"endTime":233.44,"body":"Wat zijn de grootste, grote problemen die we gaan tegenkomen met AI?"},{"startTime":233.44,"endTime":239.44,"body":"Zaken als interpretability, explainability, ethics, data quality,"},{"startTime":239.44,"endTime":242.44,"body":"allemaal van dat soort zaken die voorbij komen."},{"startTime":242.44,"endTime":246.44,"body":"Dus geen begrippen die we de afgelopen sessies ook niet voorbij hadden horen komen."},{"startTime":246.44,"endTime":248.44,"body":"Maar hier nog een keer extra belicht."},{"startTime":248.44,"endTime":251.44,"body":"Maar ook, wat zijn de pressing dangers?"},{"startTime":251.44,"endTime":255.44,"body":"Maar ook, wat is de impact van AI op de society?"},{"startTime":255.44,"endTime":259.44,"body":"Dus wat gaat het met de samenleving doen en hoe kijken we er tegenaan?"},{"startTime":259.44,"endTime":262.44,"body":"Dat zijn vraagstukken die ze hierin dus bespreken."},{"startTime":262.44,"endTime":267.44,"body":"En daarnaast ook diep ingaan op de technische improvements binnen AI."},{"startTime":267.44,"endTime":268.44,"body":"Oh ja."},{"startTime":268.44,"endTime":269.44,"body":"Interessant."},{"startTime":269.44,"endTime":271.44,"body":"Dus heel divers, heel uitgebreid."},{"startTime":271.44,"endTime":272.44,"body":"Ik zal even kijken."},{"startTime":272.44,"endTime":277.44,"body":"Er zit zo'n 75 pagina's groot rapport met kleine lettertypen."},{"startTime":277.44,"endTime":278.44,"body":"Oh ja."},{"startTime":278.44,"endTime":279.44,"body":"Nou, interessant."},{"startTime":279.44,"endTime":281.44,"body":"Ik ga hem in ieder geval ook even doorsplitten."},{"startTime":281.44,"endTime":282.44,"body":"Leuk."},{"startTime":282.44,"endTime":284.44,"body":"En Joop, goed gezien."},{"startTime":284.44,"endTime":286.44,"body":"Wat is jou opgevallen?"},{"startTime":286.44,"endTime":288.44,"body":"Nou, ik had twee dingen."},{"startTime":288.44,"endTime":291.44,"body":"Eén is dat eigenlijk, nou ja, we zijn bezig."},{"startTime":291.44,"endTime":294.44,"body":"Dat heb ik natuurlijk al wel vaker genoemd in de podcast."},{"startTime":294.44,"endTime":302.44,"body":"Om samen met de Radboud Universiteit en Radboud UMC gaan wij aan een geweldig research project beginnen."},{"startTime":302.44,"endTime":304.44,"body":"In het gebied van Parkinson."},{"startTime":304.44,"endTime":309.44,"body":"Maar zojuist, nou zojuist, dat klinkt wel heel erg urgent."},{"startTime":309.44,"endTime":317.44,"body":"Twee dagen geleden is er uitgekomen, in ieder geval nieuwsbericht, dat zij, en zij is dan Radboud,"},{"startTime":317.44,"endTime":326.44,"body":"hebben een investering gekregen van het NWO van 95 miljoen voor research op het gebied van AI."},{"startTime":326.44,"endTime":330.44,"body":"En dat is dan wel heel breed, zeg maar, voor de gezondheidszorg."},{"startTime":330.44,"endTime":340.44,"body":"En daaronder zitten, ik geloof dat wel 17 labs, waarvan 8 echt helemaal gericht zijn op de gezondheidszorg."},{"startTime":340.44,"endTime":345.44,"body":"En het Radboud leidt dan 5 van die 8 labs."},{"startTime":345.44,"endTime":350.44,"body":"Dus dat is echt wel, nou ja, weet je, het feit dat daar zoveel geld in wordt geïnvesteerd,"},{"startTime":350.44,"endTime":352.44,"body":"denk ik dat dat wel wat mooi nieuws is."},{"startTime":352.44,"endTime":353.44,"body":"Ja, zeker."},{"startTime":353.44,"endTime":360.44,"body":"En de ander is iets heel anders, in een hele andere context en sfeer."},{"startTime":360.44,"endTime":363.44,"body":"Ik had gelezen over de Beachbot."},{"startTime":363.44,"endTime":371.44,"body":"En de Beachbot is een Nederlandse vinding, waarbij ze met een rijdende robot,"},{"startTime":371.44,"endTime":376.44,"body":"sigaretten peuken, gaan opsporen op het strand."},{"startTime":376.44,"endTime":381.44,"body":"En in eerste instantie, toen ik dat las, dacht ik sigaretten peuken, weet je, is dat niet iets anders wat je..."},{"startTime":381.44,"endTime":386.44,"body":"Maar dat schijnt, ja, dan denk je, waarom nou juist sigaretten peuken?"},{"startTime":386.44,"endTime":395.44,"body":"Maar dat was geloof ik de tweede meest vervuilende, wat je op het strand hebt."},{"startTime":395.44,"endTime":398.44,"body":"En die eerste ben ik natuurlijk vergeten, dat lijkt onhandig."},{"startTime":398.44,"endTime":400.44,"body":"Plastic, zo'n feit toch?"},{"startTime":400.44,"endTime":403.44,"body":"Microplastics, daar zit er heel veel in."},{"startTime":403.44,"endTime":407.44,"body":"En het gaat over een aantal, dat is echt onwaarschijnlijk."},{"startTime":407.44,"endTime":411.44,"body":"Dus dat vond ik echt wel heel gaaf."},{"startTime":411.44,"endTime":414.44,"body":"Het is relatief eenvoudig."},{"startTime":414.44,"endTime":419.44,"body":"Wat ze ook doen, is ze willen gebruikmaken van Microsoft Trove."},{"startTime":419.44,"endTime":423.44,"body":"En dat is een applicatie waarbij je als particulier foto's kan maken."},{"startTime":423.44,"endTime":428.44,"body":"Dus zij willen eigenlijk dat als jij op het strand loopt, dat je een fotootje maakt, je ziet een peuk."},{"startTime":428.44,"endTime":434.44,"body":"En zo kan jij bijdragen aan trainingsmateriaal voor die robot,"},{"startTime":434.44,"endTime":438.44,"body":"zodat hij steeds beter die peuken leert herkennen."},{"startTime":438.44,"endTime":444.44,"body":"Het enige jammere is, want ik denk, ik ga natuurlijk die Trove-app meteen downloaden."},{"startTime":444.44,"endTime":446.44,"body":"Daar wil ik aan meedoen."},{"startTime":446.44,"endTime":451.44,"body":"Maar helaas is die nog niet in de Nederlandse appstore beschikbaar."},{"startTime":451.44,"endTime":454.44,"body":"Dus dat is zeker jammer."},{"startTime":454.44,"endTime":457.44,"body":"Maar het idee vond ik echt heel cool."},{"startTime":457.44,"endTime":464.44,"body":"En in het verlengde daarvan, gisteravond had ik een zakelijke bespreking over AI."},{"startTime":464.44,"endTime":466.44,"body":"En we zaten in een restaurant."},{"startTime":466.44,"endTime":469.44,"body":"En daar werden we gedeeltelijk bediend door een bedieningsrobot."},{"startTime":469.44,"endTime":471.44,"body":"Een bediende robot."},{"startTime":471.44,"endTime":472.44,"body":"Oh?"},{"startTime":472.44,"endTime":477.44,"body":"Ja, daar stond ik eigenlijk toch wel van te kijken."},{"startTime":477.44,"endTime":480.44,"body":"En het is geen robot zoals je voor ogen hebt."},{"startTime":480.44,"endTime":485.44,"body":"Het is niet een Ober of zo, maar dan in peppervorm of zo."},{"startTime":485.44,"endTime":488.44,"body":"Dus dat je echt een robot met handen en voeten hebt."},{"startTime":488.44,"endTime":491.44,"body":"Maar het was eigenlijk een rijdende tree."},{"startTime":491.44,"endTime":495.44,"body":"Dus eigenlijk met meerdere dienbladen onder elkaar."},{"startTime":495.44,"endTime":503.44,"body":"En die werd dan uit de keuken gereden tot de rand van de, laten we zeggen, de zaal, waar er gegeten werd."},{"startTime":503.44,"endTime":510.44,"body":"En daar pakten de serveerders en serveersters de spullen en brachten die naar de tafel."},{"startTime":510.44,"endTime":515.44,"body":"En het scheen als het wat rustiger was, kon die echt helemaal per tafel uit serveren."},{"startTime":515.44,"endTime":519.44,"body":"Dus ik vond het wel grappig om te zien."},{"startTime":519.44,"endTime":523.44,"body":"Ik weet nog niet wat ik ervan vind, maar ik vond het grappig om te zien."},{"startTime":523.44,"endTime":526.44,"body":"Je had vragen die bij mij dan opkomen inderdaad."},{"startTime":526.44,"endTime":528.44,"body":"Waar gaat dit bij helpen?"},{"startTime":528.44,"endTime":531.44,"body":"Dat stukje van de keuken naar het begin van de zaal?"},{"startTime":531.44,"endTime":534.44,"body":"Hier was die afstand best wel groot."},{"startTime":534.44,"endTime":539.44,"body":"Dus ik kan me voorstellen, weet je, voor degene die in de bediening zitten."},{"startTime":539.44,"endTime":544.44,"body":"Dat dat heel veel geschouw en heel veel lopen scheelt naar de keuken en terug."},{"startTime":544.44,"endTime":553.44,"body":"En een van de gasten die aan tafel zat, die zei van als ze echt tot aan je tafel laten komen,"},{"startTime":553.44,"endTime":555.44,"body":"dan kan je daar zelf wat afpakken."},{"startTime":555.44,"endTime":561.44,"body":"En dan loopt er een serveerster mee en die maakt dan een praatje aan tafel."},{"startTime":561.44,"endTime":564.44,"body":"Die kan wat uitleggen over het eten."},{"startTime":564.44,"endTime":571.44,"body":"Er is meer ruimte voor menselijke interactie in plaats van alleen maar het uitserveren van de spullen."},{"startTime":571.44,"endTime":578.44,"body":"Dus echt de ondersteuning en wel de persoonlijk contact kunnen blijven behouden en daar meer tijd voor hebben."},{"startTime":578.44,"endTime":580.44,"body":"Dat klinkt wel als een..."},{"startTime":580.44,"endTime":582.44,"body":"Als het uiteindelijk ook daarbij blijft."},{"startTime":582.44,"endTime":585.44,"body":"Dan moet je wel allemaal maar weer zien waar het naartoe beweegt."},{"startTime":585.44,"endTime":589.44,"body":"Ja, de Tesla bot die aan de drinker kon brengen."},{"startTime":589.44,"endTime":592.44,"body":"Dat had ik nog even gezien op basis van je tip."},{"startTime":592.44,"endTime":594.44,"body":"Fantastische presentatie was dat zeg."},{"startTime":594.44,"endTime":599.44,"body":"Ik ben erg benieuwd wat daaruit voort gaat komen qua ontwikkeling."},{"startTime":599.44,"endTime":603.44,"body":"Ja, heel bijzonder."},{"startTime":603.44,"endTime":608.44,"body":"Zullen we het hierbij laten, want we hebben best wel een flink onderwerp te behandelen."},{"startTime":608.44,"endTime":610.44,"body":"Dat we kijken naar ons hoofdonderwerp."},{"startTime":610.44,"endTime":613.44,"body":"Jazeker, laten we naar het hoofdonderwerp toe gaan."},{"startTime":614.44,"endTime":618.44,"body":"Artificial Intelligence in the Enterprise"},{"startTime":618.44,"endTime":624.44,"body":"Ja, het hoofdonderwerp. Ik pak het er even bij."},{"startTime":624.44,"endTime":630.44,"body":"Interpretable Machine Learning en Explainable AI. Hoe zullen we beginnen?"},{"startTime":630.44,"endTime":635.44,"body":"Ik denk eerst maar even kort toeleggen van wat is eigenlijk het verschil of wat zijn de overeenkomsten."},{"startTime":635.44,"endTime":640.44,"body":"Want Interpretable AI, Explainable AI, is dat niet hetzelfde?"},{"startTime":640.44,"endTime":643.44,"body":"Maar liggen ze in het verlengde van elkaar?"},{"startTime":643.44,"endTime":646.44,"body":"Of horen ze elkaar? Hoe moeten we dat gaan zien?"},{"startTime":646.44,"endTime":654.44,"body":"Ja, als je kijkt naar definities, dat is natuurlijk sowieso een probleem binnen het hele gebied van kunstmatige intelligentie."},{"startTime":654.44,"endTime":656.44,"body":"Daar word je een beetje gek van."},{"startTime":656.44,"endTime":663.44,"body":"Maar er is een groep die vindt dat Interpretable Machine Learning, dat dat hoort."},{"startTime":663.44,"endTime":666.44,"body":"Dat het onderdeel is van Explainable AI."},{"startTime":666.44,"endTime":668.44,"body":"Anderen zeggen weer nee, het is echt iets heel anders."},{"startTime":668.44,"endTime":671.44,"body":"Nou, zeg maar wat het nou precies is."},{"startTime":671.44,"endTime":675.44,"body":"Nee, nee, over die definitie, daar wil ik me niet over uitspreken."},{"startTime":675.44,"endTime":677.44,"body":"Wat het precies is, is denk ik veel belangrijker."},{"startTime":677.44,"endTime":682.44,"body":"Ja, waar we het plaatsen, dat is inderdaad minder van belang. Maar wat is het?"},{"startTime":682.44,"endTime":686.44,"body":"Ja, nou laten we beginnen met dat Explainable AI. Daar hebben we het best wel vaak over gehad."},{"startTime":686.44,"endTime":689.44,"body":"En dus wat je daar hebt, is dat je een Black Box model hebt."},{"startTime":689.44,"endTime":696.44,"body":"Dus of je hebt dat model gekregen en je kan daar, het is een getraind model, dus je kan er niet in kijken."},{"startTime":696.44,"endTime":701.44,"body":"Of je hebt hem zelf getraind, maar je hebt het aan de hand van een algoritme gedaan,"},{"startTime":701.44,"endTime":705.44,"body":"waar gewoon inherent een Black Box model uitkomt."},{"startTime":705.44,"endTime":713.44,"body":"Wat je daar gaat doen, is een manier verzinnen om erachter te komen van buitenaf, hoe het model redeneert."},{"startTime":713.44,"endTime":719.44,"body":"Dus je gaat uiteindelijk een soort van inschatting maken, dat je ziet van,"},{"startTime":719.44,"endTime":726.44,"body":"oh, maar als we dit soort input geven, dan redeneert die ongeveer zo tot de uitkomst."},{"startTime":726.44,"endTime":730.44,"body":"Dat is wat je met Explainable AI doet, in grove termen."},{"startTime":730.44,"endTime":736.44,"body":"Ja, dus het blijft ook een benadering van wat we verwachten dat het model doet."},{"startTime":736.44,"endTime":743.44,"body":"Ja, en de grap is ook, je bent vaak ook een model ernaast aan het trainen,"},{"startTime":743.44,"endTime":747.44,"body":"die probeert te beredeneren hoe dat andere model werkt."},{"startTime":747.44,"endTime":751.44,"body":"En je bent eigenlijk een model ernaast aan het trainen."},{"startTime":751.44,"endTime":757.44,"body":"Dat is ook de reden waarom het altijd een benadering zal zijn,"},{"startTime":757.44,"endTime":762.44,"body":"want als je dat model één op één zou kunnen trainen,"},{"startTime":762.44,"endTime":769.44,"body":"interpreterbaar, wat er in dat Black Box model zit, dan heb je dat Black Box model niet meer nodig."},{"startTime":769.44,"endTime":774.44,"body":"Dan is het geen Black Box, dan is het een transparante box geworden."},{"startTime":774.44,"endTime":778.44,"body":"Ja, toch? Want dat nieuwe model, die geeft jou de uitleg."},{"startTime":778.44,"endTime":784.44,"body":"En als jij nou een model maakt waar die uitleg al in opgesloten zit,"},{"startTime":784.44,"endTime":790.44,"body":"dat is een model kan zelf uitleggen hoe die redeneert, hoe die tot zijn uitkomst is gekomen,"},{"startTime":790.44,"endTime":795.44,"body":"dan spreken we over interpreteerbaar, dus interpretable ML."},{"startTime":795.44,"endTime":804.44,"body":"Er is dus een heel erg verschil met explainable AI, probeer je van buitenaf chocola van te maken,"},{"startTime":804.44,"endTime":813.44,"body":"bij interpretable machine learning kun je echt in het model kijken, komt de redenering uit het model zelf."},{"startTime":813.44,"endTime":821.44,"body":"Die levert het model eigenlijk mee. Het model heeft zijn eigen uitleg die die meebrengt."},{"startTime":821.44,"endTime":828.44,"body":"Ja, en één van de meest eenvoudige die we kennen is de decision tree."},{"startTime":828.44,"endTime":832.44,"body":"De decision tree die maakt allerlei besluiten."},{"startTime":832.44,"endTime":839.44,"body":"Nou, en als die boomstructuur die eruit komt, als die maar niet te diep en te complex wordt,"},{"startTime":839.44,"endTime":844.44,"body":"kun je die in ieder geval visualiseren en dan kun je echt precies zien dat die zegt van,"},{"startTime":844.44,"endTime":850.44,"body":"stel je hebt het over huizenprijzen, dat die zegt van, nou ja, als er bijvoorbeeld ergens een scheidingslijn is"},{"startTime":850.44,"endTime":857.44,"body":"qua oppervlakte of naar de buurt, nou zo zijn er een aantal features waar je besluiten op zou kunnen nemen,"},{"startTime":857.44,"endTime":864.44,"body":"kan je helemaal doorredeneren wat die dan een voorspelling maakt op de huizenprijs voor de verkoop."},{"startTime":864.44,"endTime":867.44,"body":"Ja, en wil je dat als gebruiker weten van waarom kom ik nou hier op uit,"},{"startTime":867.44,"endTime":872.44,"body":"is het kwestie van goed visualiseren van die boom en aangeven welke stappen je links en rechts gemaakt hebt"},{"startTime":872.44,"endTime":875.44,"body":"en dan zou iedereen dat moeten kunnen begrijpen."},{"startTime":875.44,"endTime":881.44,"body":"Ja, dat is echt een van de hele eenvoudige manieren. Lineaire regressie heb je dat natuurlijk ook,"},{"startTime":881.44,"endTime":885.44,"body":"dan kan je gewoon een lijntje trekken en zeg je van, ja, weet je, hij zit zo dicht op die lijn,"},{"startTime":885.44,"endTime":889.44,"body":"dat is eigenlijk de reden waarom we tot deze voorspelling komen."},{"startTime":889.44,"endTime":894.44,"body":"Maar goed, er zijn natuurlijk heel veel algoritmes waar dat niet bij kan."},{"startTime":894.44,"endTime":900.44,"body":"En ja, de vraag is, wat doe je dan?"},{"startTime":900.44,"endTime":905.44,"body":"Hoe ga je daarmee om en hoe zorg je ervoor dat mensen het toch gaan snappen en dat je het kan onderbouwen"},{"startTime":905.44,"endTime":911.44,"body":"en dat je eigenlijk ook, waarschijnlijk ook wat in de wetgeving moet, verantwoording kan gaan afleggen"},{"startTime":911.44,"endTime":914.44,"body":"waarom we tot die uitkomst zijn gekomen."},{"startTime":914.44,"endTime":921.44,"body":"Ja, en als je dan kijkt naar die wetgeving, dan zie je van dat bij die nieuwe regels,"},{"startTime":921.44,"endTime":923.44,"body":"daar hebben we het ook al vaker over gehad,"},{"startTime":923.44,"endTime":927.44,"body":"we hebben de nieuwe regelgeving die eraan lijkt te komen van de Europese Unie,"},{"startTime":927.44,"endTime":932.44,"body":"daar moeten we wel heel goed kijken, want daar hebben ze het wel over,"},{"startTime":932.44,"endTime":938.44,"body":"hoog risicomodellen, waar ze dit van gaan eisen."},{"startTime":938.44,"endTime":945.44,"body":"Maar ik denk dat heel veel modellen die wij in ieder geval in het bedrijfsleven tegenkomen,"},{"startTime":945.44,"endTime":953.44,"body":"dat die niet heel snel onder die hoogste risicoklasse gaan vallen."},{"startTime":953.44,"endTime":958.44,"body":"Kunnen we een beeld geven van wanneer is het een hoog risicogeval?"},{"startTime":958.44,"endTime":964.44,"body":"Ja, dat vraag je me zo, maar dat gaat bijvoorbeeld over,"},{"startTime":964.44,"endTime":973.44,"body":"stel je wil dingen over reclassering of dat iemand terugvalt, hoe noem je dat,"},{"startTime":973.44,"endTime":981.44,"body":"dat die in ieder geval weer snel uiteindelijk criminaliteit gaat plegen,"},{"startTime":981.44,"endTime":986.44,"body":"dat zijn systemen die daar binnenvallen, op juridisch vlak,"},{"startTime":986.44,"endTime":990.44,"body":"in de gezondheidszorg zal het ook nog niet eens zozeer."},{"startTime":990.44,"endTime":997.44,"body":"Dus het gaat heel veel over justitie, ik kan hem even..."},{"startTime":997.44,"endTime":1000.44,"body":"Ja, het is wel handig, laten we hem toch even bijpalen, want het is wel belangrijk."},{"startTime":1000.44,"endTime":1006.44,"body":"Dat zijn echt wel risicovolle projecten,"},{"startTime":1006.44,"endTime":1010.44,"body":"maar dan zou je denken, waarom zouden we het dan uiteindelijk wel nodig hebben?"},{"startTime":1010.44,"endTime":1014.44,"body":"Dus we hoeven niet altijd vanuit de wet,"},{"startTime":1014.44,"endTime":1018.44,"body":"een beetje die nieuwe Europese wet te doen, je hebt nog steeds de AVG,"},{"startTime":1018.44,"endTime":1023.44,"body":"daar staat ook een fors deel in, waarin je echt wel uitleg moet geven,"},{"startTime":1023.44,"endTime":1026.44,"body":"als het uiteindelijk impact op jouw levenssfeer heeft,"},{"startTime":1026.44,"endTime":1029.44,"body":"en dat hebben we wel al heel snel."},{"startTime":1029.44,"endTime":1035.44,"body":"Dus heb je bijvoorbeeld een kreditaanvraag, een hypotheekaanvraag,"},{"startTime":1035.44,"endTime":1039.44,"body":"zelfs even buiten de financiële wereld?"},{"startTime":1039.44,"endTime":1042.44,"body":"Nee, maar tegenwoordig zie je ook heel veel modellen van,"},{"startTime":1042.44,"endTime":1045.44,"body":"moeten we deze persoon in dienst nemen, op basis van gezichtsherkenning,"},{"startTime":1045.44,"endTime":1049.44,"body":"en dat soort zaken, en dat heeft ook enorme impact op de mensen."},{"startTime":1049.44,"endTime":1053.44,"body":"Ja, cv-selectie, als je allemaal dat soort dingen zou doen,"},{"startTime":1053.44,"endTime":1057.44,"body":"heeft dat effect op jouw levenssfeer, en dan heb je al het recht"},{"startTime":1057.44,"endTime":1061.44,"body":"om de uitleg over te vragen, over hoe iets tot stand is gekomen,"},{"startTime":1061.44,"endTime":1065.44,"body":"en dan is de uitleg van, dit is het antwoord uit een model,"},{"startTime":1065.44,"endTime":1069.44,"body":"uit een machinelearning model, is niet voldoende, gelukkig."},{"startTime":1069.44,"endTime":1072.44,"body":"Dus er zijn meerdere redenen waarom je dit wil,"},{"startTime":1072.44,"endTime":1075.44,"body":"dus die AVG is ook wel een hele belangrijke,"},{"startTime":1075.44,"endTime":1078.44,"body":"maar je wil natuurlijk ook dat je fouten kan vinden,"},{"startTime":1078.44,"endTime":1086.44,"body":"dus waar gaat je model, komt hij met niet juiste voorspellingen,"},{"startTime":1086.44,"endTime":1088.44,"body":"of met juiste uitkomsten?"},{"startTime":1088.44,"endTime":1092.44,"body":"We hebben het al eens gehad over dat herkennen van astma,"},{"startTime":1092.44,"endTime":1096.44,"body":"nee, longontsteking was het, van herkennen van longontsteking,"},{"startTime":1096.44,"endTime":1099.44,"body":"en dat ze erachter kwamen dat juist astma patiënten,"},{"startTime":1099.44,"endTime":1103.44,"body":"- Laag risico hoor. - Ja, heel laag risico werden ingedeeld,"},{"startTime":1103.44,"endTime":1107.44,"body":"juist omdat ze al zo goed behandeld worden daarvoor."},{"startTime":1107.44,"endTime":1110.44,"body":"Ja, dat soort dingen wil je natuurlijk niet."},{"startTime":1110.44,"endTime":1113.44,"body":"Dus je wil heel goed kijken of het juiste gedrag,"},{"startTime":1113.44,"endTime":1116.44,"body":"ja, vertoond wordt door jouw model."},{"startTime":1116.44,"endTime":1119.44,"body":"Ja, wat dan bij mij naar boven komt als ik het hoor zeggen,"},{"startTime":1119.44,"endTime":1122.44,"body":"is eigenlijk vertrouwen. Vertrouwen hebben in hetgene wat we erin stoppen,"},{"startTime":1122.44,"endTime":1126.44,"body":"hetgene wat eruit komt, maar ook het vertrouwen om het te kunnen begrijpen."},{"startTime":1126.44,"endTime":1128.44,"body":"Dus ja, vertrouwen."},{"startTime":1128.44,"endTime":1131.44,"body":"Precies, en dat is een belangrijke factor, het vertrouwen."},{"startTime":1131.44,"endTime":1136.44,"body":"Ja, en je weet hoe het gaat met vertrouwen, het komt te voet, het gaat de paard,"},{"startTime":1136.44,"endTime":1139.44,"body":"en dat blijft hier ook weer, je moet continu eigenlijk,"},{"startTime":1139.44,"endTime":1142.44,"body":"dat zien we zodra je ook met data en met modellen aan de slag gaat,"},{"startTime":1142.44,"endTime":1147.44,"body":"dat moet je continu blijven monitoren en als je het in de data niet uitlegbaar maakt."},{"startTime":1147.44,"endTime":1150.44,"body":"Precies, en dat betekent dus, ja, wij zetten remote hè,"},{"startTime":1150.44,"endTime":1153.44,"body":"dus af en toe stoort het een beetje en dan hoor ik je niet helemaal,"},{"startTime":1153.44,"endTime":1158.44,"body":"dus vandaar misschien af en toe even dat ik wat langzamer reageer."},{"startTime":1158.44,"endTime":1159.44,"body":"Ja."},{"startTime":1159.44,"endTime":1164.44,"body":"Nee, zeker, dus dat betekent ook dat je heel goed na moet denken over van,"},{"startTime":1164.44,"endTime":1169.44,"body":"ja, weet je, welke vragen moet je uitleg nou beantwoorden?"},{"startTime":1169.44,"endTime":1172.44,"body":"Dus aan de ene kant heb je natuurlijk verschillende stakeholders,"},{"startTime":1172.44,"endTime":1176.44,"body":"aan wie geef je de uitleg, daar moet je over na gaan denken,"},{"startTime":1176.44,"endTime":1180.44,"body":"maar ook welke vragen moet, ja, uiteindelijk, weet je,"},{"startTime":1180.44,"endTime":1183.44,"body":"als je uitleg geeft, dan moet daar een vraag onder liggen."},{"startTime":1183.44,"endTime":1187.44,"body":"Dus er kan, nou ja, de meest voor de hand liggen is natuurlijk van,"},{"startTime":1187.44,"endTime":1189.44,"body":"waarom voorspelt het model deze uitkomst?"},{"startTime":1189.44,"endTime":1192.44,"body":"Maar je hebt natuurlijk ook van, welke factoren spelen uiteindelijk"},{"startTime":1192.44,"endTime":1195.44,"body":"een significant rol op het besluit?"},{"startTime":1195.44,"endTime":1198.44,"body":"En wat wel fijn zou zijn in heel veel gevallen, is van, ja,"},{"startTime":1198.44,"endTime":1202.44,"body":"maar wat zou je moeten veranderen om tot een ander besluit te komen"},{"startTime":1202.44,"endTime":1204.44,"body":"of tot een andere voorspelling?"},{"startTime":1204.44,"endTime":1209.44,"body":"Ja, vroeg maar of is dat niet hetzelfde als weten welke factoren er spelen?"},{"startTime":1209.44,"endTime":1211.44,"body":"Of zit er toch een verschilling?"},{"startTime":1211.44,"endTime":1216.44,"body":"Ja, want het ligt er bijvoorbeeld aan, je kan wel hebben dat je weet"},{"startTime":1216.44,"endTime":1219.44,"body":"welke factor uiteindelijk best wel een rol heeft gespeeld,"},{"startTime":1219.44,"endTime":1224.44,"body":"maar in hoeverre moet je die factor zeg maar gaan veranderen?"},{"startTime":1224.44,"endTime":1229.44,"body":"Zodat dan een besluit ook daadwerkelijk anders wordt."},{"startTime":1229.44,"endTime":1234.44,"body":"Dus als er wordt gezegd van bijvoorbeeld, nou ja, het volume van jouw huis,"},{"startTime":1234.44,"endTime":1238.44,"body":"de inhoud van jouw huis, heeft belangrijke rol gespeeld"},{"startTime":1238.44,"endTime":1241.44,"body":"in de bepaling van jouw huisprijs."},{"startTime":1241.44,"endTime":1246.44,"body":"Maar waar ligt dan de scheidslijn dat er echt een significant bedrag erbij komt"},{"startTime":1246.44,"endTime":1248.44,"body":"of er af gaat van die prijs?"},{"startTime":1248.44,"endTime":1250.44,"body":"Dat is wel een heel erg praktisch voorbeeld."},{"startTime":1250.44,"endTime":1252.44,"body":"Ik zat gelijk wel aan aanbouw te denken inderdaad."},{"startTime":1252.44,"endTime":1256.44,"body":"Hoe goed moet de aanbouw worden om er meer voor te kunnen vragen?"},{"startTime":1256.44,"endTime":1258.44,"body":"Maar dan maak je wel heel mooi tastbaar inderdaad."},{"startTime":1258.44,"endTime":1263.44,"body":"Wat zijn de boundaries van die factoren wanneer die echt gaan spelen?"},{"startTime":1263.44,"endTime":1267.44,"body":"Want dat zegt natuurlijk ook heel veel over hoe het model potentieel beïnvloedbaar is"},{"startTime":1267.44,"endTime":1270.44,"body":"door de data die wordt aangeleverd."},{"startTime":1270.44,"endTime":1275.44,"body":"En ook in de uitleg, we hebben het vaak over de financiële dingen"},{"startTime":1275.44,"endTime":1278.44,"body":"omdat dat zo makkelijk is en duidelijk uitlegbaar."},{"startTime":1278.44,"endTime":1284.44,"body":"Stel, jij vraagt een hypotheek aan en je zou alleen maar terugkrijgen van"},{"startTime":1284.44,"endTime":1289.44,"body":"ja, sorry, maar de hoogte van je salaris heeft een belangrijke impact gespeeld,"},{"startTime":1289.44,"endTime":1294.44,"body":"een negatieve impact op de keuze dat we je de hypotheek niet gaan verstrekken."},{"startTime":1294.44,"endTime":1296.44,"body":"Ja, wat moet je daarmee als ontvanger?"},{"startTime":1296.44,"endTime":1302.44,"body":"Weet je, wat je wil horen is van, ja, je hebt minstens dit salaris nodig"},{"startTime":1302.44,"endTime":1305.44,"body":"en daarmee kunnen we je de hypotheek wel verstrekken."},{"startTime":1305.44,"endTime":1312.44,"body":"Zo moet je die factoren uit kunnen drukken in termen van wanneer is die verandering dan wel mogelijk."},{"startTime":1312.44,"endTime":1319.44,"body":"Ja, en ook weer wanneer heeft dat impact bij de ontvanger of voor wie het gemaakt is."},{"startTime":1319.44,"endTime":1326.44,"body":"Ja, precies. Ja, en die ontvangers, want dat is echt wel, daar zitten natuurlijk niveaus in."},{"startTime":1326.44,"endTime":1330.44,"body":"Je hebt de data scientist, die heeft zeg maar zo zijn uitleg nodig"},{"startTime":1330.44,"endTime":1336.44,"body":"en dat is vaak veel technischer dan weer, nou ja, misschien je product owner in je project,"},{"startTime":1336.44,"endTime":1341.44,"body":"die heeft weer andere zaken nodig, die mensen aan de business kant, die het model gaan gebruiken."},{"startTime":1341.44,"endTime":1343.44,"body":"Je hebt misschien iets van een eindgebruiker."},{"startTime":1343.44,"endTime":1349.44,"body":"En wat we niet moeten vergeten is dat je, als jij in een bedrijf, in een sector zit"},{"startTime":1349.44,"endTime":1355.44,"body":"waar vaak audits bijvoorbeeld worden gedaan, ja, dan moet uiteindelijk die uitleg"},{"startTime":1355.44,"endTime":1357.44,"body":"en je model moet ook auditable zijn."},{"startTime":1357.44,"endTime":1363.44,"body":"Dus daar kom je ook niet weg met alleen maar van ja, nee, weet je, van de computer 6.0."},{"startTime":1363.44,"endTime":1369.44,"body":"Nee, zeker niet. En als je zo ook opnoemt, is dat eigenlijk wel een heel breed gebied"},{"startTime":1369.44,"endTime":1372.44,"body":"van verschillende expertise's die je daarin dekt."},{"startTime":1372.44,"endTime":1376.44,"body":"Dus dat klinkt toch ook wel als flinke effort die je erin moet steken."},{"startTime":1376.44,"endTime":1381.44,"body":"Ja, nee, absoluut. Dit is niet even een toeltje draaien en dan ben je er."},{"startTime":1381.44,"endTime":1384.44,"body":"Dus je moet inderdaad heel goed nadenken."},{"startTime":1384.44,"endTime":1390.44,"body":"Dus die stakeholders, je gaat nadenken over van ja, wat voor uitleg heb je nodig?"},{"startTime":1390.44,"endTime":1396.44,"body":"Er zal heel veel usability testing plaats moeten vinden, zeker als het richting business"},{"startTime":1396.44,"endTime":1400.44,"body":"eindgebruikers gaat. Dus hoe goed snappen zij de uitleg?"},{"startTime":1400.44,"endTime":1405.44,"body":"Als we het hebben over dat vertrouwen, weet je, hoe weet je dat het bij gaat dragen"},{"startTime":1405.44,"endTime":1409.44,"body":"aan dat vertrouwen? Nou, dan moet je op de ene of andere manier moet je dat gaan testen."},{"startTime":1409.44,"endTime":1415.44,"body":"En zowel explainable AI als interpretable AI geeft uiteindelijk die uitleg."},{"startTime":1415.44,"endTime":1421.44,"body":"Dus daar heb je uiteindelijk met dezelfde problematiek te maken aan de uitleg kant."},{"startTime":1421.44,"endTime":1425.44,"body":"Vanaf de uitleg die je gekregen hebt, is het niet heel veel anders."},{"startTime":1425.44,"endTime":1429.44,"body":"Hoe je tot die uitleg komt, dat is denk ik ook de essentie van deze podcast."},{"startTime":1429.44,"endTime":1434.44,"body":"Daar zit een groot verschil in. Als die uit het model komt,"},{"startTime":1434.44,"endTime":1440.44,"body":"dan zou je denken van ja, maar waarom kies je daar niet altijd voor zo'n interpretable model?"},{"startTime":1440.44,"endTime":1445.44,"body":"Ja, als je daar alles mee zou kunnen oplossen. Maar kunnen we daar alles mee oplossen?"},{"startTime":1445.44,"endTime":1450.44,"body":"Ja, helaas niet. Nee, de vraag stellen is een beantwoorden."},{"startTime":1450.44,"endTime":1454.44,"body":"Wat ik net al aanhaalde, soms krijg je ook gewoon een model."},{"startTime":1454.44,"endTime":1460.44,"body":"Dus of je neemt hem af van de leverancier. Het kan ook bijvoorbeeld die van Microsoft zijn"},{"startTime":1460.44,"endTime":1468.44,"body":"of van in AWS, Amazon, Google. Ja, daar kan je wel gaan vragen om interpreteerbaarheid."},{"startTime":1468.44,"endTime":1473.44,"body":"Maar ik denk niet dat je die krijgt. Ja, weet je, als je op die manier een model ontvangt,"},{"startTime":1473.44,"endTime":1478.44,"body":"dan ontkom je daar dan ook niet aan. Maar er zijn andere keuzes, want uiteindelijk"},{"startTime":1478.44,"endTime":1486.44,"body":"het maken van een interpretable machine learning model is al wat complexer dan de explainable AI."},{"startTime":1486.44,"endTime":1493.44,"body":"Of je moet zeg maar met een algoritme uitkomen die inherent interpreteerbaar is."},{"startTime":1493.44,"endTime":1498.44,"body":"Waar we het net over hadden, decision tree, lineaire regressie, zo zijn er nog een aantal."},{"startTime":1498.44,"endTime":1504.44,"body":"Dus het advies zou ik in eerste instantie zijn, begin daar. Zeker hoe hoger de risico's,"},{"startTime":1504.44,"endTime":1509.44,"body":"als je met zo'n model uiteindelijk uitkomt. En dat is vaker dan dat je denkt."},{"startTime":1509.44,"endTime":1514.44,"body":"Maar het probleem met een decision tree is echt wel, ik zei net heel makkelijk tussen neus en lippen door."},{"startTime":1514.44,"endTime":1519.44,"body":"Ja, hij moet niet te groot of te breed worden. Dus daar moet je ook weer extra effort in steken."},{"startTime":1519.44,"endTime":1523.44,"body":"Maar vaak met hele goede feature engineering kom je een heel eind."},{"startTime":1523.44,"endTime":1529.44,"body":"En wat je natuurlijk hebt is dat die de techniek om uiteindelijk, als jij bijvoorbeeld deep learning gebruikt,"},{"startTime":1529.44,"endTime":1534.44,"body":"om die interpreteerbaar te maken, wordt die heel model specifiek."},{"startTime":1534.44,"endTime":1540.44,"body":"Het is met explainable AI, dat is ook model, vaak model agnostic."},{"startTime":1540.44,"endTime":1546.44,"body":"Dus dat wil zeggen dat het niet uitmaakt wat voor model je hebt. Dan ga je met dezelfde technieken daar naar kijken."},{"startTime":1546.44,"endTime":1551.44,"body":"Maar stel dat je nou heel veel modellen hebt, kan het heel logisch zijn om te zeggen van ja,"},{"startTime":1551.44,"endTime":1555.44,"body":"dan kies ik toch voor de explainable AI variant, want dan kan ik al die modellen,"},{"startTime":1555.44,"endTime":1559.44,"body":"kan ik op dezelfde manier, kan ik die behandelen om daar uitleg uit te krijgen."},{"startTime":1559.44,"endTime":1565.44,"body":"Want als je van al die modellen, allemaal model specifieke, interpreteerbaarheid van zou moeten maken,"},{"startTime":1565.44,"endTime":1570.44,"body":"dan kan gewoon een kostenafweging zijn, dat kan een complexiteit afweging zijn,"},{"startTime":1570.44,"endTime":1575.44,"body":"dat kunnen allerlei afwegingen zijn die zeggen van ja, misschien is het beter, maar niet handiger."},{"startTime":1575.44,"endTime":1584.44,"body":"Ja, maar die complexere modellen, er zijn vaak grote modellen die je niet zomaar even maakt in de interventie van interpretable AI"},{"startTime":1584.44,"endTime":1590.44,"body":"om in de situatie te stoppen. Dat zijn wel zware processen. Daar ligt dan denk ik ook een risico."},{"startTime":1590.44,"endTime":1596.44,"body":"Dat zal best wel wat tijd kosten om iedere prediction of de prediction die je doet te verklaren."},{"startTime":1596.44,"endTime":1600.44,"body":"En bedoel je bij het interpretable stuk of bij explainable?"},{"startTime":1600.44,"endTime":1603.44,"body":"Bij het explainable stuk, want daar zit juist die complexiteit, dat is de black box,"},{"startTime":1603.44,"endTime":1608.44,"body":"daar probeer je gewoon helden te krijgen en een benadering te hebben van ja, wat als ik dit geef,"},{"startTime":1608.44,"endTime":1613.44,"body":"wat is dan de uitkomst en waarom is dat de uitkomst? Maar je hebt nogal wat varianten die je daar op los kan laten,"},{"startTime":1613.44,"endTime":1616.44,"body":"dus is dat ook niet heel erg kosten?"},{"startTime":1616.44,"endTime":1622.44,"body":"Ja, dat is heel resource-rekenintensief is dat. Dus dat is inderdaad wel wat je mee moet wegen."},{"startTime":1622.44,"endTime":1627.44,"body":"Dat is een hele goeie van jou, want je moet dan voor iedere uitkomst, voor iedere voorspelling,"},{"startTime":1627.44,"endTime":1635.44,"body":"ga je die berekeningen uitvoeren en wat je gaat doen is eigenlijk iedere keer onder water dat model ga je beïnvloeden"},{"startTime":1635.44,"endTime":1638.44,"body":"om daarachter te komen van hoe die geredeneerd heeft."},{"startTime":1638.44,"endTime":1641.44,"body":"Dus je probeert een plaatselijk stukje uit zo'n model, daar probeer je achter te komen."},{"startTime":1641.44,"endTime":1647.44,"body":"Die performance, dat kan echt oplopen tot seconden. Dus daar moet je wel heel erg rekening mee houden."},{"startTime":1647.44,"endTime":1652.44,"body":"En dat het dan rekenintensief is qua kosten misschien, maar inderdaad ook nog eens een keer qua performance."},{"startTime":1652.44,"endTime":1656.44,"body":"Pas dat ook binnen het proces wat je aan het doen bent?"},{"startTime":1656.44,"endTime":1661.44,"body":"Ja, dat viel bij mij ook onder koste inderdaad. De kosten van tijd en inderdaad de mensenkracht en de rekenkracht"},{"startTime":1661.44,"endTime":1668.44,"body":"en wat er voor nodig is om niet misschien wel een deal mis te lopen of een gebruiker die weggaat of dat soort zaken."},{"startTime":1668.44,"endTime":1671.44,"body":"Kan dat anders nou genoeg?"},{"startTime":1671.44,"endTime":1680.44,"body":"Nee, dat is absoluut waar. En je moet ook kijken van hoe exact moet je uitleg zijn?"},{"startTime":1680.44,"endTime":1685.44,"body":"En dat hangt natuurlijk weer af van de context waarin je je model hebt."},{"startTime":1685.44,"endTime":1690.44,"body":"Dus als we kijken naar bijvoorbeeld, je rekken maar deze die je krijgt bij Spotify of Netflix."},{"startTime":1690.44,"endTime":1695.44,"body":"Die hoeven niet zo heel exact te zijn. Dus als je zegt van ja, omdat jij deze film hebt gekeken,"},{"startTime":1695.44,"endTime":1701.44,"body":"9 van de 10 keer geloof je het wel. En als dat een beetje een gekke combi is, dan stap je daar ook wel overheen."},{"startTime":1701.44,"endTime":1705.44,"body":"Misschien dat je eens een keer een wenkbrauw optrekt, maar dat is het wel."},{"startTime":1705.44,"endTime":1714.44,"body":"Maar dus hoe exacter, dus als je heel exact de uitleg moet hebben die echt past bij het besluit dat genomen is,"},{"startTime":1714.44,"endTime":1717.44,"body":"moet je meer bewegen richting de interpreteerbaarheid."},{"startTime":1717.44,"endTime":1723.44,"body":"En als het wat minder exact hoeft te zijn, kun je ook wat makkelijker kiezen voor de explainable variant."},{"startTime":1723.44,"endTime":1729.44,"body":"Toch wel flink verschil inderdaad tussen die twee, ondanks dat ze best wel dicht op het spectrum bij elkaar voelen,"},{"startTime":1729.44,"endTime":1733.44,"body":"als je het zo leest. - Ja, juist omdat je uiteindelijk krijgt je uitleg,"},{"startTime":1733.44,"endTime":1736.44,"body":"maar de vraag is uiteindelijk, hoe kom je tot die uitleg?"},{"startTime":1736.44,"endTime":1743.44,"body":"Ik vind ook wel dat je echt moet, ja, ik wil het benadrukken, dus hoe hoger uiteindelijk het risico is,"},{"startTime":1743.44,"endTime":1750.44,"body":"dat je de uitkomsten hebben op de impact van levens van mensen,"},{"startTime":1750.44,"endTime":1757.44,"body":"hoe meer je naar die interpreteerbaarheid moet gaan kijken en minder naar die explainability."},{"startTime":1757.44,"endTime":1761.44,"body":"Maar waar dat omslagpunt ligt, ja, dat is echt wel lastig."},{"startTime":1761.44,"endTime":1767.44,"body":"En dat scheelt, is dat, nou ja, wat we in ieder geval gedaan hebben, is een checklist hebben we beschikbaar,"},{"startTime":1767.44,"endTime":1772.44,"body":"waarin je gewoon nadenkt over, ja weet je, welke kant moet je op gaan?"},{"startTime":1772.44,"endTime":1778.44,"body":"Want er zijn zoveel afwegingen, daar komt niet zomaar, weet je, dus niet optellen en aftrekken en zeggen van,"},{"startTime":1778.44,"endTime":1783.44,"body":"oh ja, als ik zoveel punten heb, dan moet je interpretable machine learning gebruiken"},{"startTime":1783.44,"endTime":1785.44,"body":"en dan moet je explainable AI gebruiken."},{"startTime":1785.44,"endTime":1792.44,"body":"Maar dat zijn in ieder geval vragen waarin je getriggerd wordt om overal van allerlei aspecten na te denken,"},{"startTime":1792.44,"endTime":1800.44,"body":"die je hopelijk dan leiden naar een goed besluit van, ja, wel interpreteerbaar of juist explainable."},{"startTime":1800.44,"endTime":1804.44,"body":"Ja, heb je een paar voorbeelden voor de luisteraars van die vraagstukken?"},{"startTime":1804.44,"endTime":1811.44,"body":"Nou, de eerste is al van weten we wat de interpreteerbaarheid, transparantie, verwachtingen en eisen zijn in onze sector of domein?"},{"startTime":1811.44,"endTime":1815.44,"body":"Dat klinkt natuurlijk heel makkelijk, maar daar moet je wel even heel goed over nadenken."},{"startTime":1815.44,"endTime":1823.44,"body":"Je spreekt er zo uit, maar je zegt dat dat makkelijk, maar volgens mij is dat gewoon gelijk al een hele moeilijke vraag om te beantwoorden."},{"startTime":1823.44,"endTime":1829.44,"body":"Ja, en dat is geen ja/nee, daar moet je ook wel voor een deel onderzoek naar doen."},{"startTime":1829.44,"endTime":1833.44,"body":"Van wat zijn inderdaad die verwachtingen, wat zijn die eisen?"},{"startTime":1833.44,"endTime":1837.44,"body":"Die auditors, niet te vergeten, die hebben we toch best wel in een hoop sectoren."},{"startTime":1837.44,"endTime":1842.44,"body":"Neem je die mee, dan heb je die echt wel helder op je netvlies. Wat gaan zij vragen?"},{"startTime":1842.44,"endTime":1847.44,"body":"Het andere is, dat slaat ook op die ontvangers, bij het kiezen van het AI-model,"},{"startTime":1847.44,"endTime":1853.44,"body":"hebben we rekening gehouden met het specifieke type toepassing en de impact van het model op de ontvangers van de beslissing."},{"startTime":1853.44,"endTime":1864.44,"body":"Ik zal er nog eventjes eentje uit pikken, die misschien wat helder is."},{"startTime":1864.44,"endTime":1872.44,"body":"O ja, dit is wel een hele mooie. We hebben een overzicht, een inzicht van elke keer dat het model wordt bijgewerkt,"},{"startTime":1872.44,"endTime":1876.44,"body":"hoe elke versie is gewijzigd en hoe dit de uitvoer van het model beïnvloedt."},{"startTime":1876.44,"endTime":1884.44,"body":"Het is niet alleen maar je eerste keer en dat je daar de uitleg of je explainability bij hebt,"},{"startTime":1884.44,"endTime":1889.44,"body":"maar wat nou als het model wijzigt, wat heeft dat voor invloed op die uitlegbaarheid?"},{"startTime":1889.44,"endTime":1897.44,"body":"Hoe ga je daarmee om en hoe zorg je dat die wijzigingen, als dat impact uiteindelijk heeft op de gebruikers,"},{"startTime":1897.44,"endTime":1902.44,"body":"hoe je die kenbaar maakt dat daar veranderingen in plaatsvinden?"},{"startTime":1902.44,"endTime":1907.44,"body":"Dat is een hele mooie inderdaad, die zou je snel ook over het hoofd zien."},{"startTime":1907.44,"endTime":1912.44,"body":"Dat betekent dus ook dat je het echt mee moet nemen in je hele DevOps voor AI,"},{"startTime":1912.44,"endTime":1917.44,"body":"om daar eigenlijk continu, als je daar ontwikkeling op doet, dat weer even tegen het licht aan te houden."},{"startTime":1917.44,"endTime":1920.44,"body":"Dat is natuurlijk niet alleen de verantwoordelijkheid van de engineers,"},{"startTime":1920.44,"endTime":1924.44,"body":"maar eigenlijk van de hele organisatie die werkt met die modellen."},{"startTime":1924.44,"endTime":1927.44,"body":"Ja, en de hele organisatie is meteen niemand."},{"startTime":1927.44,"endTime":1933.44,"body":"Dus dat is ook een van de punten die erin zat, is het duidelijk wie binnen die organisatie verantwoordelijk is"},{"startTime":1933.44,"endTime":1936.44,"body":"voor het valideren van de uitlegbaarheid van het AI-systeem?"},{"startTime":1936.44,"endTime":1940.44,"body":"Ja, en dan wordt het interessant inderdaad, want dat is ook wat we zien in de ontwikkeling"},{"startTime":1940.44,"endTime":1942.44,"body":"op het gebied van data en data management."},{"startTime":1942.44,"endTime":1946.44,"body":"Het governance verhaal komt hier eigenlijk om de hoek."},{"startTime":1946.44,"endTime":1951.44,"body":"Wie is er verantwoordelijk of wie kunnen we aanspreken die dit monitort en in de gaten houdt?"},{"startTime":1951.44,"endTime":1956.44,"body":"En dat is in veel organisaties echt nog inderdaad een struggle die in uitvoering is,"},{"startTime":1956.44,"endTime":1959.44,"body":"of nog gestart moet gaan worden inderdaad."},{"startTime":1959.44,"endTime":1965.44,"body":"Ja, dat zal inderdaad een flinke struggle zijn."},{"startTime":1965.44,"endTime":1967.44,"body":"Ja, zover zijn we nog niet."},{"startTime":1967.44,"endTime":1972.44,"body":"We zijn al blij dat de eerste projecten er zijn, maar ook daadwerkelijk explainable AI wordt toegepast."},{"startTime":1972.44,"endTime":1977.44,"body":"En nou is de volgende slag, hoe onderhoud je dit?"},{"startTime":1977.44,"endTime":1984.44,"body":"Ja, we zeiden het vorige keer al, dit is iets wat in de genen moet zitten van degenen die ermee gaan werken."},{"startTime":1984.44,"endTime":1987.44,"body":"Waaronder ook de engineers die het gaan bouwen."},{"startTime":1987.44,"endTime":1996.44,"body":"Maar dit moet gewoon in de way of working van AI oplossingen moet gewoon fair AI en deze varianten inderdaad gewoon aan de basis liggen."},{"startTime":1996.44,"endTime":1998.44,"body":"Ja, zeker."},{"startTime":1998.44,"endTime":2002.44,"body":"Dus denk ik ook een mooi bruggetje naar het volgende, dus AI in de praktijk."},{"startTime":2002.44,"endTime":2005.44,"body":"Hoe zien we dit nou in de praktijk terugkomen?"},{"startTime":2005.44,"endTime":2006.44,"body":"Ja."},{"startTime":2013.44,"endTime":2020.44,"body":"Hoe zien we dit in de praktijk terugkomen bij de klanten waar we nu zoal bezig zijn, Joop?"},{"startTime":2020.44,"endTime":2023.44,"body":"Ja, dat is wel in verschillende vormen."},{"startTime":2023.44,"endTime":2030.44,"body":"Dus die interpreteerbaarheid moet ik zeggen dat ik dat nog niet heel erg ben tegengekomen."},{"startTime":2030.44,"endTime":2033.44,"body":"Ik weet niet of jij dat gezien hebt."},{"startTime":2033.44,"endTime":2036.44,"body":"Ja, kijk, de decision trees die komen we tegen."},{"startTime":2036.44,"endTime":2043.44,"body":"Niet alleen in AI modellen, maar ook in rapportagevorm wordt gewoon de decision tree wel regelmatig gebruikt omdat die gewoon zo lekker leesbaar is."},{"startTime":2043.44,"endTime":2052.44,"body":"Maar ik zie het nog niet van nature dat het ook verder gecommuniceerd wordt dan puur die ene doelgroep die je hebt voor dat inzicht."},{"startTime":2052.44,"endTime":2055.44,"body":"En dat het hele spectrum daarbij benaderd wordt."},{"startTime":2055.44,"endTime":2058.44,"body":"Dus daar zit echt nog wel een stap die gemaakt moet worden in de markt."},{"startTime":2058.44,"endTime":2061.44,"body":"Ja, en dan zie je denk ik tot aan de data scientists."},{"startTime":2061.44,"endTime":2067.44,"body":"Want wat ik dan eigenlijk weinig zie, dat is wat ik bedoel, eigenlijk richting business en eindgebruiker."},{"startTime":2067.44,"endTime":2069.44,"body":"De explainable AI wel."},{"startTime":2069.44,"endTime":2077.44,"body":"Dus dat er echt wel mooie overzichten worden gemaakt waarbij visueel gemaakt wordt van welke features hebben nou heel veel impact gehad."},{"startTime":2077.44,"endTime":2080.44,"body":"Zelfs ook wat-if scenario's."},{"startTime":2080.44,"endTime":2088.44,"body":"Dus dat je ook de plekken, de features, kan aanpassen en kan kijken van waar zitten dan omslagpunten."},{"startTime":2088.44,"endTime":2094.44,"body":"En dat kan natuurlijk de medewerker helpen om met een klant dingen te bespreken."},{"startTime":2094.44,"endTime":2100.44,"body":"En waar we zelf in ieder geval heel erg mee bezig zijn, is op het gebied van images."},{"startTime":2100.44,"endTime":2108.44,"body":"Wat je daar nu heel veel ziet qua explainability, explainable AI, is dat je van die overlays krijgt, van die heatmaps."},{"startTime":2108.44,"endTime":2117.44,"body":"Dat de explainable AI aangeeft van ja, maar hier, naar dit stukje kijk ik."},{"startTime":2117.44,"endTime":2121.44,"body":"En daarom vind ik dat er een hond op de foto staat."},{"startTime":2121.44,"endTime":2128.44,"body":"Er zijn nu echt technieken beschikbaar waarin je die uitleg echt uit je model laat komen."},{"startTime":2128.44,"endTime":2136.44,"body":"Gezegd wordt, hé, maar dit stukje in het plaatje komt overeen met bepaalde referentieplaatjes."},{"startTime":2136.44,"endTime":2145.44,"body":"En omdat bijvoorbeeld kleur, textuur, verzadiging, kleurverzadiging, contrast, omdat dat overeen komt, komt zo erg overeen."},{"startTime":2145.44,"endTime":2152.44,"body":"En we hebben zoveel van dit soort stukjes, wat met allemaal referentieplaatjes overeen komen, dat dit een hond is."},{"startTime":2152.44,"endTime":2156.44,"body":"Dat we uit kunnen leggen van, daarom is het een hond."},{"startTime":2156.44,"endTime":2161.44,"body":"Dus dan krijg je ook dat je zelf kan zien, van klopt dat ook?"},{"startTime":2161.44,"endTime":2166.44,"body":"Dus dat die zegt dan, ik zie dit stukje van een oor, lijkt op dit stukje van een oor."},{"startTime":2166.44,"endTime":2174.44,"body":"En als dat heel erg afwijkt, dan kan je ook zelf besluiten, die zegt van ja, maar deze uitleg, daar neem ik geen genoegen mee."},{"startTime":2174.44,"endTime":2178.44,"body":"Deze uitkomst, die vertrouw ik niet. Daar ga ik niet mee akkoord."},{"startTime":2178.44,"endTime":2183.44,"body":"Je verlegt het bij dat je de uitleg moet gaan vertrouwen."},{"startTime":2183.44,"endTime":2189.44,"body":"Want uiteindelijk is het met explainability, is het verschuiven van dat vertrouwen naar de uitleg."},{"startTime":2189.44,"endTime":2196.44,"body":"Dat je zelf kan gaan snappen of de uitleg die je gekregen hebt, of jij die kunt vertrouwen."},{"startTime":2196.44,"endTime":2203.44,"body":"Dus als daar zegt van, ja maar dit oor lijkt op een stuk gras, wat op de achtergrond is."},{"startTime":2203.44,"endTime":2207.44,"body":"Dan denk je, ja, ammohula, dat heeft niks met elkaar te maken."},{"startTime":2207.44,"endTime":2213.44,"body":"En als hij zo een aantal van dat soort punten pakt, en op geen enkele wijze heeft dat iets met elkaar te maken."},{"startTime":2213.44,"endTime":2219.44,"body":"Hij pakt de neus van een hond en een referentie, een snavel van een vogel."},{"startTime":2219.44,"endTime":2224.44,"body":"En zegt, ja, als al dat soort dingen niet overeen komen, dan kan ik die uitkomst niet vertrouwen."},{"startTime":2224.44,"endTime":2230.44,"body":"Dus dan heb ik ook niks aan de voorspelling of het advies van het model."},{"startTime":2230.44,"endTime":2233.44,"body":"Hij kan het je ook gewoon negeren."},{"startTime":2233.44,"endTime":2237.44,"body":"Ja, dat is inderdaad ook weer een mooi voorbeeld."},{"startTime":2237.44,"endTime":2244.44,"body":"Eigenlijk geef je dus een beetje de context mee hoe er gehandeld wordt."},{"startTime":2244.44,"endTime":2246.44,"body":"Als je het over verwoordt inderdaad."},{"startTime":2246.44,"endTime":2248.44,"body":"En ik denk dat dat wel heel belangrijk is."},{"startTime":2248.44,"endTime":2253.44,"body":"Is inderdaad de context meekrijgen waarin er een bepaalde keuze wordt gemaakt."},{"startTime":2253.44,"endTime":2259.44,"body":"Zodat je het zou kunnen bedenken als je het zelf zou moeten doen."},{"startTime":2259.44,"endTime":2264.44,"body":"Want daarvoor zitten onder water nog heel veel zaken die je zelf niet zou kunnen bedenken."},{"startTime":2264.44,"endTime":2268.44,"body":"Maar als je dan met de uitkomsten komt en daar de referentie in de context geeft,"},{"startTime":2268.44,"endTime":2273.44,"body":"zodat je het zelf zou kunnen behappen, zijn hele mooie ontwikkelingen inderdaad."},{"startTime":2273.44,"endTime":2276.44,"body":"In plaats van dat vierkantje, die pixels die zorgen ervoor."},{"startTime":2276.44,"endTime":2281.44,"body":"Ja, want anders krijg je een vlek over een foto."},{"startTime":2281.44,"endTime":2288.44,"body":"En het blijkt al, we hebben zo ook een onderzoek nagedaan, van hetzelfde plaatje."},{"startTime":2288.44,"endTime":2292.44,"body":"Dus dan deden ze een foto van, even uit mijn hoofd, een hond ook echt."},{"startTime":2292.44,"endTime":2295.44,"body":"En er zat zeg maar zo'n heatmap bij."},{"startTime":2295.44,"endTime":2301.44,"body":"En dat ging ook over de kop van de hond en dat zag er best heel goed uit."},{"startTime":2301.44,"endTime":2306.44,"body":"Dat was dan de uitleg van, daarom classificeer ik dit als hond."},{"startTime":2306.44,"endTime":2312.44,"body":"Maar eigenlijk zo'n gelijke heatmap, voor ons op het oog nauwelijks afwijkend."},{"startTime":2312.44,"endTime":2316.44,"body":"Zij die van, maar nou classificeer ik het als dwarsfluit."},{"startTime":2316.44,"endTime":2322.44,"body":"Dus daarmee zag je van, ja maar dat je eigenlijk aan die heatmaps niet voldoende hebt."},{"startTime":2322.44,"endTime":2327.44,"body":"Dus die kan je niet voldoende vertrouwen, dat daarmee de juiste classificatie kwam."},{"startTime":2327.44,"endTime":2333.44,"body":"Dus uiteindelijk, hond, zo'n vlek eroverheen en de classificatie hond, ja die snappen we."},{"startTime":2333.44,"endTime":2337.44,"body":"Maar als er zo'nzelfde eruit komt en ik kan er een dwarsfluit van maken,"},{"startTime":2337.44,"endTime":2339.44,"body":"ja dan wordt het dan wel een stuk lastiger."},{"startTime":2339.44,"endTime":2342.44,"body":"Ja, dan heb je toch echt wel even de context nodig van,"},{"startTime":2342.44,"endTime":2346.44,"body":"hoe kom je in de hele oognaam aan een dwarsfluit hier."},{"startTime":2346.44,"endTime":2350.44,"body":"Ja, als je dat dan nog eens kan aangeven, ja dan heb je inderdaad wel van,"},{"startTime":2350.44,"endTime":2356.44,"body":"nou dan moeten we dus of wat aan het model doen, of inderdaad die voorspelling kan ik niet vertrouwen,"},{"startTime":2356.44,"endTime":2357.44,"body":"er moet nog wat gebeuren."},{"startTime":2357.44,"endTime":2360.44,"body":"Ook heel goed voor testing klinkt dit."},{"startTime":2360.44,"endTime":2364.44,"body":"Dus dat je dit continu kan toepassen en weer kan valideren."},{"startTime":2364.44,"endTime":2366.44,"body":"Je zou je ook weer hele mooie testcases omheen kunnen maken."},{"startTime":2366.44,"endTime":2375.44,"body":"Ja, en daarmee ook je uitleg testen, van je uitleg valideren, van komt het in voldoende mate overeen met die uitkomst."},{"startTime":2375.44,"endTime":2383.44,"body":"Ja, en dat is wel een mooie ontwikkeling, want het is nog niet heel recent natuurlijk dat deze toolingen en functies beschikbaar zijn."},{"startTime":2383.44,"endTime":2385.44,"body":"Hiervoor waren we al blij met die heatmap."},{"startTime":2385.44,"endTime":2388.44,"body":"Dus het is goed dat alle andere perspectieven nu ook in ontwikkeling zijn."},{"startTime":2388.44,"endTime":2395.44,"body":"En je ziet daar wel een enorme boost in mensen die hier oplossingen voor aan het bouwen zijn in de communities."},{"startTime":2395.44,"endTime":2401.44,"body":"Dus ik denk dat we wel de goede kant op zijn, maar volgens mij hebben we ook nogal langer weg te gaan om dit goed met elkaar te gaan doen."},{"startTime":2401.44,"endTime":2404.44,"body":"Ja, precies."},{"startTime":2404.44,"endTime":2417.44,"body":"Dus wat mij betreft sluiten we af in de zin van interpretable AI en explainable AI zijn twee heel belangrijke onderwerpen."},{"startTime":2417.44,"endTime":2425.44,"body":"En als jij professioneel bezig bent op dit vlak, moet je hier voldoende kennis van hebben om hiermee aan de slag te gaan."},{"startTime":2425.44,"endTime":2429.44,"body":"Ik geloof ook echt dat AI niet meer zonder uitleg kan."},{"startTime":2429.44,"endTime":2442.44,"body":"Als je het hebt over dat je met persoonsgegevens in zijn algemeenheid werkt, dan ontkom je er niet aan om ook richting business eindgebruikers en zo te werken."},{"startTime":2442.44,"endTime":2452.44,"body":"En voor de rest, voor ieder ander model, ook als je met sensoren werkt of geen privacygevoelige gegevens of whatsoever, heb je het op zijn minst nodig."},{"startTime":2452.44,"endTime":2458.44,"body":"Als data scientist binnen je project weet je zeker dat je model ook goed redeneert."},{"startTime":2458.44,"endTime":2462.44,"body":"Ja, gewoon professional development voor data science."},{"startTime":2462.44,"endTime":2464.44,"body":"Ja, exact."},{"startTime":2464.44,"endTime":2467.44,"body":"Dat klinkt als een mooie afsluiter van deze editie."},{"startTime":2467.44,"endTime":2468.44,"body":"Ja toch?"},{"startTime":2468.44,"endTime":2469.44,"body":"Zeker!"},{"startTime":2470.44,"endTime":2476.44,"body":"[Muziek]"},{"startTime":2476.44,"endTime":2479.44,"body":"Leuk dat je luisterde naar de AIToday Live Podcast."},{"startTime":2479.44,"endTime":2484.44,"body":"Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen."},{"startTime":2484.44,"endTime":2491.44,"body":"En kijk voor meer interessante informatie over kundsmaatreligentie op AIToday.ai"},{"startTime":2491.44,"endTime":2494.44,"body":"Dankjewel voor het luisteren. Tot de volgende keer!"},{"startTime":2494.44,"endTime":2500.44,"body":"[Muziek]"}]}