{"version":"1.0.0","segments":[{"startTime":0.001,"endTime":7.0,"body":"Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence,"},{"startTime":7.0,"endTime":11.56,"body":"ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen"},{"startTime":11.56,"endTime":14.92,"body":"waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt"},{"startTime":14.92,"endTime":15.92,"body":"hadden gevonden."},{"startTime":15.92,"endTime":19.72,"body":"Dat gaat ons helpen om nog grotere problemen te gaan oplossen."},{"startTime":19.72,"endTime":24.04,"body":"Denk maar aan een computer die zelf kan leren."},{"startTime":24.04,"endTime":31.4,"body":"Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus"},{"startTime":31.4,"endTime":33.0,"body":"het is door de mens bedacht."},{"startTime":33.0,"endTime":35.76,"body":"Bij kunstmatige intelligentie denk ik aan data."},{"startTime":35.76,"endTime":39.0,"body":"Zo, kunstmatige intelligentie."},{"startTime":39.0,"endTime":41.16,"body":"Eerlijk gezegd weet ik niet wat dat is."},{"startTime":41.16,"endTime":44.8,"body":"Hi, je luistert naar de podcast AIToday Live van Imageaboard."},{"startTime":44.8,"endTime":50.96,"body":"Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in the enterprise"},{"startTime":50.96,"endTime":52.6,"body":"en AI in de praktijk."},{"startTime":52.6,"endTime":58.44,"body":"Zo, welkom bij de zevende en laatste aflevering van dit seizoen."},{"startTime":58.44,"endTime":64.84,"body":"We hebben natuurlijk veel gehad over explainable AI en het leuke is, we hebben Willem Meints"},{"startTime":64.84,"endTime":66.44,"body":"in onze uitzending."},{"startTime":66.44,"endTime":70.72,"body":"Willem die weet daar ontzettend veel van, zal hij zo direct denk ik zelf wel wat kunnen"},{"startTime":70.72,"endTime":71.72,"body":"vertellen."},{"startTime":71.72,"endTime":76.84,"body":"En ik denk dat het ook echt een hele mooie afsluiter is van al die sessies die we hebben"},{"startTime":76.84,"endTime":78.24,"body":"gehad over explainable AI."},{"startTime":78.24,"endTime":79.24,"body":"Dus Willem, welkom."},{"startTime":79.24,"endTime":80.24,"body":"Dank je wel."},{"startTime":80.24,"endTime":83.64,"body":"Willem, zou je jezelf even willen introduceren?"},{"startTime":83.64,"endTime":86.12,"body":"Ja, ik ben Willem Mijns."},{"startTime":86.12,"endTime":88.8,"body":"Ik werk bijna 15 jaar voor Info Support inmiddels."},{"startTime":88.8,"endTime":93.96,"body":"Dat is ook mijn eerste werkgever, dus dat is ook wel een beetje bijzonder in die zin."},{"startTime":93.96,"endTime":99.12,"body":"Ja, in mijn dagelijks leven werk ik als software architect en ik ben heel erg druk met artificial"},{"startTime":99.12,"endTime":100.12,"body":"intelligence."},{"startTime":100.12,"endTime":102.68,"body":"Ik ben even de eerste mensen die binnen Info Support ermee begonnen is."},{"startTime":102.68,"endTime":106.92,"body":"Mijn droom was altijd om computers net even een tandje slimmer te maken."},{"startTime":106.92,"endTime":111.24,"body":"En dat is aardig gelukt denk ik met het hele AI verhaal."},{"startTime":111.24,"endTime":113.4,"body":"Ik praat er regelmatig over op conferenties."},{"startTime":113.4,"endTime":117.16,"body":"Ik bouw ook projecten mee, begeleid ook heel veel collega's die net beginnen."},{"startTime":117.16,"endTime":120.72,"body":"Als je bij ons roept AI, dan wordt eigenlijk Willem er achteraan geroepen."},{"startTime":120.72,"endTime":125.92,"body":"Dat is wel heel bijzonder om mee te maken dat mensen me meer kennen dan dat ik de mensen"},{"startTime":125.92,"endTime":126.92,"body":"ken eigenlijk."},{"startTime":126.92,"endTime":128.92,"body":"Boek geschreven over deep learning."},{"startTime":128.92,"endTime":129.92,"body":"Ja, ook nog."},{"startTime":129.92,"endTime":134.2,"body":"Ja, ik had een keer een gekke bui en ik dacht van hey, een boek schrijven over deep learning"},{"startTime":134.2,"endTime":135.2,"body":"lijkt me gewoon heel cool."},{"startTime":135.2,"endTime":137.2,"body":"Het is een hele ervaring."},{"startTime":137.2,"endTime":141.44,"body":"Als je denkt van nou, dat we het een keer gedaan hebben, dan moet je me zeker maar een keer"},{"startTime":141.44,"endTime":142.44,"body":"vragen."},{"startTime":142.44,"endTime":149.04,"body":"En je hebt wat over te vertellen geloof ik."},{"startTime":149.04,"endTime":150.04,"body":"Ja."},{"startTime":150.04,"endTime":153.08,"body":"Ja, we gaan het vandaag hebben over explainable AI."},{"startTime":153.08,"endTime":157.92,"body":"Ook over de open source tooling die jij daarop gemaakt hebt."},{"startTime":157.92,"endTime":163.24,"body":"Maar we beginnen zoals altijd met onze onderwerp AI in het nieuws."},{"startTime":163.24,"endTime":170.24,"body":"Artificial intelligence in the news."},{"startTime":170.24,"endTime":174.24,"body":"Willem, is jou wat opgevallen in het nieuws?"},{"startTime":174.24,"endTime":178.96,"body":"Nou, ik ben niet echt iemand die stad en land afstruint op zoek naar AI nieuws."},{"startTime":178.96,"endTime":180.96,"body":"Maar van de week viel me wel iets bijzonders op."},{"startTime":180.96,"endTime":187.32,"body":"De laatste tijd hebben we het steeds over hele grote deep learning modellen voor taalverwerking,"},{"startTime":187.32,"endTime":188.32,"body":"NLP modellen."},{"startTime":188.32,"endTime":190.56,"body":"Mensen die een beetje bekend zijn in de wereld."},{"startTime":190.56,"endTime":192.84,"body":"GT3 is echt heel hip."},{"startTime":192.84,"endTime":193.84,"body":"Open AI codecs."},{"startTime":193.84,"endTime":196.6,"body":"Dat is ook een taalmodel die voor programmeren wordt gebruikt."},{"startTime":196.6,"endTime":201.08,"body":"Maar die dingen die zijn zo groot, dat als er een foutje in zit, dat kun je niet zomaar"},{"startTime":201.08,"endTime":202.08,"body":"mee fixen."},{"startTime":202.08,"endTime":203.28,"body":"Je kan niet even dat model opnieuw trainen."},{"startTime":203.28,"endTime":204.28,"body":"Dat duurt maanden, jaren."},{"startTime":204.28,"endTime":206.4,"body":"Nou hebben ze iets cools bedacht."},{"startTime":206.4,"endTime":209.16,"body":"En dat heet fast model editing at scale."},{"startTime":209.16,"endTime":213.04,"body":"Ze kunnen kleine stukjes uit een heel groot model kunnen ze knippen."},{"startTime":213.04,"endTime":216.28,"body":"Die kunnen ze bijtrainen en dan weer terugbreken in dat model."},{"startTime":216.28,"endTime":221.44,"body":"Het is alsof je, iemand krijgt een sneetje aan zijn vinger en je hecht even die vinger."},{"startTime":221.44,"endTime":223.04,"body":"Dat is eigenlijk wat je aan het doen bent daarmee."},{"startTime":223.04,"endTime":224.28,"body":"En dat vond ik wel heel cool."},{"startTime":224.28,"endTime":226.72,"body":"Dat geeft ook wel een beetje hoop."},{"startTime":226.72,"endTime":229.84,"body":"Want ja, die grote modellen, daar zit ook nog wel eens een keer wat fout in."},{"startTime":229.84,"endTime":234.32,"body":"Dit zou wel echt heel veel kunnen betekenen voor, nou ja, als je zelf daarmee aan de slag"},{"startTime":234.32,"endTime":235.32,"body":"wilt."},{"startTime":235.32,"endTime":236.32,"body":"Wat gaaf."},{"startTime":236.32,"endTime":238.72,"body":"Ik had er nog geen kennis van genomen."},{"startTime":238.72,"endTime":239.72,"body":"Jij wel Niels?"},{"startTime":239.72,"endTime":240.72,"body":"Nee, ik had hem nog niet gehoord."},{"startTime":240.72,"endTime":241.72,"body":"Dat triggerde mij ook wel."},{"startTime":241.72,"endTime":243.52,"body":"De vraag die bij mij dan gelijk naar boven komt."},{"startTime":243.52,"endTime":250.56,"body":"Kan je ook nieuwe, of zaken die nog niet de fouten corrigeren, maar nieuwe zaken introduceren"},{"startTime":250.56,"endTime":251.56,"body":"in het model?"},{"startTime":251.56,"endTime":253.76,"body":"Nou ja, dat heb ik opgezocht."},{"startTime":253.76,"endTime":255.12,"body":"Dat kan helaas niet."},{"startTime":255.12,"endTime":257.0,"body":"Je kan de structuur niet aanpassen."},{"startTime":257.0,"endTime":259.92,"body":"Dat is wel een voorwaarde om echt helemaal nieuwe dingen te kunnen leren."},{"startTime":259.92,"endTime":263.36,"body":"Wat is nieuw in dit geval?"},{"startTime":263.36,"endTime":269.32,"body":"Als jij een label hebt wat je niet herkent, omdat er echt iets helemaal fout zit."},{"startTime":269.32,"endTime":270.32,"body":"Ja, dat kun je fixen."},{"startTime":270.32,"endTime":272.44,"body":"En dan is het alsof dat nieuw is voor de gebruiker."},{"startTime":272.44,"endTime":275.24,"body":"Daar moet je dan vooral aan denken."},{"startTime":275.24,"endTime":277.2,"body":"Wel een luxe aankoop."},{"startTime":277.2,"endTime":278.2,"body":"Ja, zeker."},{"startTime":278.2,"endTime":281.2,"body":"Ja, dus dat is wel vet."},{"startTime":281.2,"endTime":283.2,"body":"Ja, jij Niels?"},{"startTime":283.2,"endTime":288.88,"body":"Ja, ik ben wel iemand die het hele wet weer af gaat struinen om te kijken van wat voor"},{"startTime":288.88,"endTime":290.0,"body":"dingen wil ik gaan noemen."},{"startTime":290.0,"endTime":291.16,"body":"En er kwam er eentje voorbij."},{"startTime":291.16,"endTime":298.16,"body":"Ik weet niet of het wel of niet eng is, maar een artikel over Stanford University."},{"startTime":298.16,"endTime":302.4,"body":"Die wil robots zelf laten evolueren met behulp van AI."},{"startTime":302.4,"endTime":304.16,"body":"En dat was een artikel."},{"startTime":304.16,"endTime":308.16,"body":"En eigenlijk hebben ze daar een soort van virtuele wereld gemaakt waarin ze wezentjes"},{"startTime":308.16,"endTime":309.44,"body":"hebben geïntroduceerd."},{"startTime":309.44,"endTime":312.92,"body":"En die wezentjes hadden een bepaalde opdracht."},{"startTime":312.92,"endTime":319.84,"body":"En vervolgens, iedere keer de winnaar, die mocht eigenlijk zichzelf één stapje beter"},{"startTime":319.84,"endTime":320.96,"body":"laten evolueren."},{"startTime":320.96,"endTime":326.0,"body":"En zo continu zichzelf laten leren en groeien om bepaalde taken."},{"startTime":326.0,"endTime":332.48,"body":"Dus eigenlijk de evolutie zelf plaats laten vinden in en met behulp van AI in de virtuele"},{"startTime":332.48,"endTime":333.48,"body":"wereld."},{"startTime":333.48,"endTime":334.48,"body":"Oké, spannend."},{"startTime":334.48,"endTime":338.04,"body":"Ja, ik kon er helaas nog voor de rest niet heel veel over vinden."},{"startTime":338.04,"endTime":342.44,"body":"Maar ik vond het wel een interessant artikel van wat zou hier in de toekomst mee kunnen."},{"startTime":342.44,"endTime":345.68,"body":"Het is eigenlijk een andere vorm van reinforcement learning."},{"startTime":345.68,"endTime":348.32,"body":"Dat hebben ze al gedaan met Starcraft en zo."},{"startTime":348.32,"endTime":350.44,"body":"Dat ze de computer tegen zichzelf laten spelen."},{"startTime":350.44,"endTime":353.72,"body":"Ja, en met Go natuurlijk ook."},{"startTime":353.72,"endTime":356.64,"body":"Maar dit is wel echt een extreme vorm daarvan, volgens mij."},{"startTime":356.64,"endTime":360.2,"body":"Ja, en als ik door de regels heen lees, ik weet niet of dat ook een bedoeling is, volgens"},{"startTime":360.2,"endTime":366.76,"body":"mij wel, is dat ze dus eigenlijk willen gaan kijken hoe de robots zelf anders gebouwd"},{"startTime":366.76,"endTime":369.72,"body":"moeten worden om bepaalde taken te kunnen gaan uitvoeren."},{"startTime":369.72,"endTime":372.24,"body":"Dus van virtueel daarnaar fysieke robots."},{"startTime":372.24,"endTime":375.88,"body":"En hoe moet die er dan uit gaan zien om een bepaalde taak goed te kunnen invullen."},{"startTime":375.88,"endTime":379.52,"body":"Ja, uiteindelijk denk ik dat het helemaal niet zo extreem anders is als de reinforcement"},{"startTime":379.52,"endTime":380.52,"body":"learning."},{"startTime":380.52,"endTime":386.8,"body":"Het is natuurlijk nog steeds in een gekaderd geheel met een vaste set van regels en beloningen."},{"startTime":386.8,"endTime":391.88,"body":"Alleen is misschien de verschijningsvorm, omdat het dan in een virtuele wereld wordt"},{"startTime":391.88,"endTime":396.12,"body":"geplaatst, krijgt het een soort van meer echtheid of zo."},{"startTime":396.12,"endTime":400.04,"body":"Wat natuurlijk niet veel anders is dan ieder andere reinforcement learning systeem."},{"startTime":400.04,"endTime":405.52,"body":"Nee, het maakt het alleen misschien wat meer inzichtelijk en misschien voor het gevoel"},{"startTime":405.52,"endTime":406.52,"body":"tastbaarder."},{"startTime":406.52,"endTime":407.52,"body":"Ja, precies."},{"startTime":407.52,"endTime":408.52,"body":"Ja, tastbaar is het niet."},{"startTime":408.52,"endTime":411.96,"body":"Ze gaan niet in een keer een andere taak doen ofzo."},{"startTime":411.96,"endTime":416.72,"body":"Het is echt die ene taak die ze steeds opnieuw trainen met deze techniek."},{"startTime":416.72,"endTime":420.96,"body":"Ze spreken nog niet veel over of ze variaties hebben in hun taken."},{"startTime":420.96,"endTime":422.96,"body":"Dat stond niet in het artikel inderdaad."},{"startTime":422.96,"endTime":427.32,"body":"Maar zeker iets waar ik wel even blijf volgen van wat voor ontwikkelingen zijn erbij inderdaad."},{"startTime":427.32,"endTime":429.8,"body":"Of ze ook andere taken daarbij gaan introduceren."},{"startTime":429.8,"endTime":432.8,"body":"En hoe dan de verschillende evoluties het gaan doen natuurlijk."},{"startTime":432.8,"endTime":433.8,"body":"Ja."},{"startTime":433.8,"endTime":434.8,"body":"Oh, wat cool."},{"startTime":435.8,"endTime":439.4,"body":"En jou Joop, wat is jou de afgelopen tijd opgevallen?"},{"startTime":439.4,"endTime":442.64,"body":"Misschien is het ook wel een klein beetje hierop aansluitend."},{"startTime":442.64,"endTime":445.08,"body":"Maar ik heb twee dingetjes."},{"startTime":445.08,"endTime":450.08,"body":"En ik ga even bedenken in welke volgorde ik, want die twee hebben wel wat met elkaar te"},{"startTime":450.08,"endTime":451.4,"body":"maken, ga vertellen."},{"startTime":451.4,"endTime":457.08,"body":"Dat is naar aanleiding van een artikel die ik toegestuurd heb gekregen van een luisteraar."},{"startTime":457.08,"endTime":459.08,"body":"En dat is een artikel in het FD."},{"startTime":459.08,"endTime":463.68,"body":"En dat gaat over een ex-Google medewerker."},{"startTime":463.68,"endTime":466.88,"body":"Die heeft nu een boek geschreven en dat heet 'Griezelig slim'."},{"startTime":466.88,"endTime":469.8,"body":"En ik moet wel zeggen dat ik het boek zelf niet gelezen heb."},{"startTime":469.8,"endTime":477.0,"body":"Maar wel het uitgebreide interview met deze auteur Mo Gaudat, als ik het goed uitspreek."},{"startTime":477.0,"endTime":478.0,"body":"Ik geef het een A."},{"startTime":478.0,"endTime":481.56,"body":"Dat griezelig slim, hij is ex-Google medewerker, had ik dat gezegd."},{"startTime":481.56,"endTime":484.12,"body":"Die heeft het boek uitgebracht."},{"startTime":484.12,"endTime":489.36,"body":"En daarmee wil hij waarschuwen voor dat AI uiteindelijk slimmer wordt dan de mens."},{"startTime":489.36,"endTime":491.28,"body":"Nou, daar hebben we natuurlijk vaker over gehad."},{"startTime":491.28,"endTime":493.24,"body":"Ik heb zo daar mijn bedenkingen over."},{"startTime":493.24,"endTime":497.32,"body":"Het is sowieso altijd wel heel makkelijk om voorspellingen te doen, want je hebt toch geen"},{"startTime":497.32,"endTime":499.68,"body":"idee waar het naartoe gaat."},{"startTime":499.68,"endTime":506.6,"body":"Maar hij stelt bijvoorbeeld in 2049 is de AI duizend keer slimmer dan de mens."},{"startTime":506.6,"endTime":507.6,"body":"Oh, wauw."},{"startTime":507.6,"endTime":508.6,"body":"Ja, dat hè."},{"startTime":508.6,"endTime":509.6,"body":"Duizend keer."},{"startTime":509.6,"endTime":510.6,"body":"Plus ook, wat is slim?"},{"startTime":510.6,"endTime":511.6,"body":"En wat is duizend keer?"},{"startTime":511.6,"endTime":512.6,"body":"Wat houdt dat in eigenlijk?"},{"startTime":512.6,"endTime":514.6,"body":"Ja, en wat is slimmer dan de mens?"},{"startTime":514.6,"endTime":522.56,"body":"Weet je, als je kijkt naar de hele evolutie, zijn wij volgens mij nog nooit de krachtigste,"},{"startTime":522.56,"endTime":526.08,"body":"de snelste, misschien zelfs niet eens de slimste geweest."},{"startTime":526.08,"endTime":533.12,"body":"Maar op de een of andere manier hebben we ons tot de top van de voedselketen weten te krijgen."},{"startTime":533.12,"endTime":536.32,"body":"En dat heeft vooral blijkbaar met het gebruik van technologie te maken."},{"startTime":536.32,"endTime":541.6,"body":"Maar hij draait het blijkbaar om dat de technologie boven ons kan gaan staan."},{"startTime":541.6,"endTime":544.04,"body":"Maar misschien is dat zo, misschien is dat niet zo."},{"startTime":544.04,"endTime":548.12,"body":"Maar een van de voorbeelden, want dat is dan dat tweede item, daar kom ik zo direct hier"},{"startTime":548.12,"endTime":551.92,"body":"verder op terug, is het leuke van wat is dan slim?"},{"startTime":551.92,"endTime":552.92,"body":"Hoe definieer je slim?"},{"startTime":552.92,"endTime":554.92,"body":"Nou, ik weet wel wat dom is in ieder geval."},{"startTime":554.92,"endTime":557.92,"body":"Dat kunnen we heel vaak aanwijzen."},{"startTime":557.92,"endTime":562.4,"body":"En dat was in Engeland, had een man, die had namelijk een bekeuring gekregen, omdat"},{"startTime":562.4,"endTime":569.4,"body":"ergens anders in het land een vrouw geflitst was op de busbaan, lopend."},{"startTime":569.4,"endTime":572.4,"body":"How does that work?"},{"startTime":572.4,"endTime":573.4,"body":"How does that work?"},{"startTime":573.4,"endTime":579.4,"body":"Nou, dat had namelijk mee te maken dat zij heel groot op de trui een knitter had staan,"},{"startTime":579.4,"endTime":580.4,"body":"breier."},{"startTime":580.4,"endTime":586.4,"body":"En daar zat ook nog, zeg maar, een band van een tas ofzo, die zat daar schuin overheen."},{"startTime":586.4,"endTime":591.4,"body":"En daar had hij het kennis van, ja, dat het een knitter was, dat het een knitter was."},{"startTime":591.4,"endTime":595.4,"body":"En daar had hij het kenteken van die man van gemaakt."},{"startTime":595.4,"endTime":602.4,"body":"Dus hij kreeg een boete, omdat de vrouw over een busbaan gelopen had."},{"startTime":602.4,"endTime":606.4,"body":"Het is wat, weet je, wat is dan slim?"},{"startTime":606.4,"endTime":609.4,"body":"Wat is dan duizend keer slimmer?"},{"startTime":609.4,"endTime":613.4,"body":"Maar het mooie is dat hij met allerlei voorbeelden kwam."},{"startTime":613.4,"endTime":615.4,"body":"Daar zat ook reinforcement learning in."},{"startTime":615.4,"endTime":619.4,"body":"Dat hij had, zeg maar, zijn epiphany."},{"startTime":619.4,"endTime":620.4,"body":"Hoe zeg je dat in het Nederlands?"},{"startTime":620.4,"endTime":621.4,"body":"Openbaring."},{"startTime":622.4,"endTime":629.4,"body":"Dat er met reinforcement learning een robotarm in zes weken in één keer een balletje op"},{"startTime":629.4,"endTime":630.4,"body":"kon tillen."},{"startTime":630.4,"endTime":631.4,"body":"Dus in het begin kon hij natuurlijk niks."},{"startTime":631.4,"endTime":635.4,"body":"Nou, met reinforcement learning, prompt, de robotarm had het geleerd."},{"startTime":635.4,"endTime":638.4,"body":"En negen andere robotarmen die konden dat in één keer ook."},{"startTime":638.4,"endTime":640.4,"body":"Ik denk, ja, dank je de koekoek."},{"startTime":640.4,"endTime":641.4,"body":"Copy-paste."},{"startTime":641.4,"endTime":642.4,"body":"Zou raar zijn."},{"startTime":642.4,"endTime":643.4,"body":"Ja, toch?"},{"startTime":643.4,"endTime":644.4,"body":"Zou raar zijn als dat niet zo zou zijn."},{"startTime":644.4,"endTime":648.4,"body":"En hij kwam ook op het spelletje Go uit."},{"startTime":648.4,"endTime":654.4,"body":"Want hij is ook met zes weken trainen, was in één keer Go op een bepaald bord met reinforcement"},{"startTime":654.4,"endTime":656.4,"body":"learning ook weer getraind."},{"startTime":656.4,"endTime":658.4,"body":"Er was ook zo'n openbaring voor hem."},{"startTime":658.4,"endTime":663.4,"body":"En dat vond hij dan de olifant in de kamer waar niet over gesproken werd."},{"startTime":663.4,"endTime":668.4,"body":"Dus dat je op deze manier met die reinforcement learning een machine slim kan maken."},{"startTime":668.4,"endTime":669.4,"body":"En daarmee werd het griezelig."},{"startTime":669.4,"endTime":672.4,"body":"En daarmee zou technologie ons over kunnen nemen."},{"startTime":672.4,"endTime":673.4,"body":"En weet ik wat allemaal."},{"startTime":673.4,"endTime":676.4,"body":"Terwijl ik dan denk van ja, volgens mij wat de..."},{"startTime":676.4,"endTime":679.4,"body":"Oh ja, en hij zei, want dat was het allergriezeligste."},{"startTime":679.4,"endTime":682.4,"body":"Er wordt geleerd van de data op internet."},{"startTime":682.4,"endTime":686.4,"body":"Mensen spuien nu natuurlijk allerlei vuiligheid op internet."},{"startTime":686.4,"endTime":691.4,"body":"Dus als je de modellen hebt, waar Willem het net over had, de GPT-3's die worden getraind"},{"startTime":691.4,"endTime":697.4,"body":"door internet, zitten dus ook al die discriminatie, al die vuiligheid, van alles en nog wat zitten"},{"startTime":697.4,"endTime":698.4,"body":"in."},{"startTime":698.4,"endTime":700.4,"body":"En wat was nou zijn oplossing?"},{"startTime":700.4,"endTime":701.4,"body":"Wat denk je?"},{"startTime":701.4,"endTime":705.4,"body":"Data kwaliteit, opschoning, transparantie."},{"startTime":705.4,"endTime":709.4,"body":"Wij moesten als mensen liever zijn op internet."},{"startTime":709.4,"endTime":716.4,"body":"Dus dat wij ook alle positieve dingen, want er wordt niet geschreven op internet dat je"},{"startTime":716.4,"endTime":719.4,"body":"je vrouw iedere dag ook netjes gedag kust."},{"startTime":719.4,"endTime":721.4,"body":"En dat zou er dan allemaal op moeten."},{"startTime":721.4,"endTime":728.4,"body":"Terwijl volgens mij, dat is de olifant in de kamer, is onder andere, zeg maar zijn ex-werknemer,"},{"startTime":728.4,"endTime":738.4,"body":"is namelijk dat er een onverzadigbare hebzucht en zucht naar macht is van bedrijven, individuen,"},{"startTime":738.4,"endTime":743.4,"body":"die deze techniek gebruiken om daar vervulling in te vinden."},{"startTime":743.4,"endTime":750.4,"body":"Het gaat niet om dat we meer lieve data moeten delen op internet, maar dat we eens na moeten"},{"startTime":750.4,"endTime":753.4,"body":"denken van, wat willen we hier nou mee?"},{"startTime":753.4,"endTime":754.4,"body":"Ja, precies."},{"startTime":754.4,"endTime":755.4,"body":"Toch?"},{"startTime":755.4,"endTime":758.4,"body":"Ethiek, noem het allemaal op."},{"startTime":758.4,"endTime":761.4,"body":"Eigenlijk alle zaken die we geraakt hebben de afgelopen podcast komen hier eigenlijk"},{"startTime":761.4,"endTime":762.4,"body":"wel in naar voren natuurlijk."},{"startTime":762.4,"endTime":768.4,"body":"En Willem gaf ook aan van het trainen van die modellen is hartstikke duur, energieverredend,"},{"startTime":768.4,"endTime":769.4,"body":"rekenkracht."},{"startTime":769.4,"endTime":776.4,"body":"Dus het kost honderden miljoenen euro's of dollars om zo'n GPT-3 te trainen."},{"startTime":776.4,"endTime":779.4,"body":"Leuk dat ze dan zeg maar die hertraining nu kunnen doen."},{"startTime":779.4,"endTime":786.4,"body":"Maar dat betekent wel dat die macht van het kunnen trainen ligt dus bij dit soort type"},{"startTime":786.4,"endTime":791.4,"body":"bedrijven, bij die big tech bedrijven, de Facebooks, de Googles van deze wereld, die"},{"startTime":791.4,"endTime":798.4,"body":"kunnen dit trainen en zij krijgen nu de verantwoordelijkheid om daar netjes mee om te gaan."},{"startTime":798.4,"endTime":804.4,"body":"Terwijl we hebben volgens mij ook de klokkenluider gehad van Facebook, die heeft alles verteld"},{"startTime":804.4,"endTime":811.4,"body":"en al wisten dat polarisatie en vuiligheid op die social media helpt om meer geld te"},{"startTime":811.4,"endTime":812.4,"body":"verdienen."},{"startTime":812.4,"endTime":814.4,"body":"Dus de olifant in de kamer."},{"startTime":814.4,"endTime":815.4,"body":"Het is gewoon raar."},{"startTime":815.4,"endTime":821.4,"body":"Je moet het bedrijfsmodel van dat soort bedrijven die draaien op algoritmes zoals dat, die moet"},{"startTime":821.4,"endTime":822.4,"body":"je gewoon kapotmaken eigenlijk."},{"startTime":822.4,"endTime":826.4,"body":"Dat is vreemd, zeker voor die bedrijven om dat zo te doen."},{"startTime":826.4,"endTime":830.4,"body":"Ik vraag me wel een beetje of dat snel gaat gebeuren."},{"startTime":830.4,"endTime":831.4,"body":"Dat denk ik niet."},{"startTime":831.4,"endTime":838.4,"body":"Maar het is toch ook wel ernstig dat ze weten bij Facebook dat polarisatie, dus het opzetten"},{"startTime":838.4,"endTime":841.4,"body":"van mensen tegen elkaar, zorgt voor meer winst."},{"startTime":841.4,"endTime":847.4,"body":"En dat ook gezegd werd dat ze zagen dat ze negatieve invloed hebben op de psychie van"},{"startTime":847.4,"endTime":852.4,"body":"jongeren en dat ze dat verder uitbreiden, ook weer vanwege de winst."},{"startTime":852.4,"endTime":860.4,"body":"Ze zien de schade die ze veroorzaken en daar wensen ze gewoon geen verandering in aan te"},{"startTime":860.4,"endTime":861.4,"body":"brengen."},{"startTime":861.4,"endTime":866.4,"body":"Dus het probleem is niet dat je in zes weken Go kan trainen en dat je wereldkampioen Go"},{"startTime":866.4,"endTime":868.4,"body":"wordt, lekker belangrijk."},{"startTime":868.4,"endTime":871.4,"body":"Volgens mij gaat het om dit soort zaken."},{"startTime":871.4,"endTime":872.4,"body":"Ja, laten we wel wezen."},{"startTime":872.4,"endTime":877.4,"body":"Dit soort modellen die nu voor één taak worden getraind, dat model om Go te spelen, dat kan"},{"startTime":877.4,"endTime":878.4,"body":"niet schaken."},{"startTime":878.4,"endTime":880.4,"body":"En dat ligt nog zelfs in de buurt van Go."},{"startTime":880.4,"endTime":883.4,"body":"Het kan ook niet een nieuw medicijn ontwikkelen."},{"startTime":883.4,"endTime":884.4,"body":"Dat zijn union taskers."},{"startTime":884.4,"endTime":886.4,"body":"En dat is waar AI heel erg goed in is."},{"startTime":886.4,"endTime":892.4,"body":"En als je mij nou persoonlijk vraagt van waar zou AI duizend keer slimmer in kunnen en moeten"},{"startTime":892.4,"endTime":897.4,"body":"worden, dan zijn het die taken die wij gewoon irritant vinden, maar die te lastig zijn om"},{"startTime":897.4,"endTime":899.4,"body":"met if/else statements te automatiseren."},{"startTime":899.4,"endTime":901.4,"body":"Dat zou voor mij toch wel echt het meest ideale zijn."},{"startTime":901.4,"endTime":904.4,"body":"Ja, en het feit van slimmer."},{"startTime":904.4,"endTime":910.4,"body":"Kijk, een rekenmachine die kan al beter en sneller en akeuriger rekenen dan wij."},{"startTime":910.4,"endTime":912.4,"body":"Ja, dan gaan we toch ook niet denken dat die de wereld over gaat nemen."},{"startTime":912.4,"endTime":914.4,"body":"Ik bedoel, hou op, schijt uit."},{"startTime":914.4,"endTime":917.4,"body":"Ja, en die is gek genoeg."},{"startTime":917.4,"endTime":921.4,"body":"Kijk, voor ons, voor mensen die thuis even snel moeten uitrekenen, is een rekenmachine"},{"startTime":921.4,"endTime":923.4,"body":"slimmer dan wat wij zijn."},{"startTime":923.4,"endTime":927.4,"body":"Als je dan die wiskundigen bezig ziet, die gebruiken ook wel eens een rekenmachine voor"},{"startTime":927.4,"endTime":928.4,"body":"dit of dat."},{"startTime":928.4,"endTime":931.4,"body":"Maar die bouwen zulke complexe dingen, daar kan een rekenmachine ook niet."},{"startTime":931.4,"endTime":935.4,"body":"Dus ja, wat is hier nou eigenlijk een beetje slimmer?"},{"startTime":935.4,"endTime":936.4,"body":"Wat is dat dan precies?"},{"startTime":936.4,"endTime":941.4,"body":"Ja, en weet je, ik denk dat uiteindelijk de term kunstmatige intelligentie, artificial"},{"startTime":941.4,"endTime":945.4,"body":"intelligence, weer de fantasie laat lopen."},{"startTime":945.4,"endTime":953.4,"body":"Had deze technologie Big Skill Math geheten of zo, toegepaste wiskunde op grote schaal,"},{"startTime":953.4,"endTime":955.4,"body":"nou, daar had niemand zich de druk om gemaakt."},{"startTime":955.4,"endTime":958.4,"body":"Had die hem geen boek geschreven, was hij niet in het FD gekomen."},{"startTime":958.4,"endTime":965.4,"body":"Nee, maar dan komen de films weer om de hoek natuurlijk, met The Terminators en alle andere"},{"startTime":965.4,"endTime":969.4,"body":"films van de laatste tijd, waar allemaal robots los gaan."},{"startTime":969.4,"endTime":970.4,"body":"Ja, precies."},{"startTime":970.4,"endTime":974.4,"body":"Ik zeg, dat zijn allemaal zaken over de praktijk."},{"startTime":974.4,"endTime":978.4,"body":"Misschien een mooi brugje om te gaan naar het hoofdthema van vandaag?"},{"startTime":978.4,"endTime":983.4,"body":"Artificial intelligence in the enterprise."},{"startTime":983.4,"endTime":988.4,"body":"Explainability in de praktijk, dat is het hoofdthema van vandaag."},{"startTime":988.4,"endTime":990.4,"body":"Daar is hoop over te vertellen."},{"startTime":990.4,"endTime":992.4,"body":"Hoop over te vertellen, zeg je."},{"startTime":992.4,"endTime":996.4,"body":"Zou je in ieder geval even alvast kunnen vertellen van wat je doet op dit vlak?"},{"startTime":996.4,"endTime":1002.4,"body":"Ja, waar ik mij specifiek mee bezighoud is eigenlijk, ik noem dat altijd desk research,"},{"startTime":1002.4,"endTime":1006.4,"body":"want echt een wetenschapper ben ik dan ook weer niet, maar ik maak gebruik van wetenschappelijk"},{"startTime":1006.4,"endTime":1012.4,"body":"onderzoek om klanten te helpen om beter te begrijpen hoe hun machine en hun model werkt."},{"startTime":1012.4,"endTime":1014.4,"body":"Daar hou ik me dan vooral mee bezig."},{"startTime":1014.4,"endTime":1017.4,"body":"Dus ik ben niet zelf iemand die in de dagelijkse praktijk modellen bouwt."},{"startTime":1017.4,"endTime":1022.4,"body":"Ik bouw vaak de gereedschappen die anderen kunnen gebruiken om die modellen te bouwen"},{"startTime":1022.4,"endTime":1027.4,"body":"en te onderhouden, te testen en te repareren waar nodig."},{"startTime":1027.4,"endTime":1029.4,"body":"Wat moet je dan aan denken?"},{"startTime":1029.4,"endTime":1033.4,"body":"Als je machine en model traint, dat is gewoon een black box, je stopt de data in, in het algoritme."},{"startTime":1033.4,"endTime":1038.4,"body":"Die traint het model en dat model is eigenlijk niet meer dan een verzameling gewichten en"},{"startTime":1038.4,"endTime":1043.4,"body":"een voorgedefiniëerde manier waarop die de rekensom moet maken."},{"startTime":1043.4,"endTime":1046.4,"body":"Ja, doet die dan het goede? Ja, dat weet je eigenlijk helemaal niet, want het is gewoon zwart."},{"startTime":1046.4,"endTime":1048.4,"body":"Het zijn getallen."},{"startTime":1048.4,"endTime":1053.4,"body":"En de kunst is om dat model binnenstebuiten te keren en te gaan vragen aan dat model van"},{"startTime":1053.4,"endTime":1058.4,"body":"\"Ja, oké, kun je uitleggen wat je dan het belangrijkste vindt bijvoorbeeld?\""},{"startTime":1058.4,"endTime":1063.4,"body":"\"Welke input vond je het meest belangrijke om mee te wegen in het antwoord dat je gegeven hebt?\""},{"startTime":1063.4,"endTime":1067.4,"body":"Maar dat is slechts maar één manier. Er zijn heel veel manieren waarop ik dat open kan breken,"},{"startTime":1067.4,"endTime":1070.4,"body":"maar dat is waar ik mij dus mee bezig hou, om dat helemaal binnenstebuiten te keren"},{"startTime":1070.4,"endTime":1073.4,"body":"en uit te zoeken van \"Wat is de beste manier om dat te doen?\""},{"startTime":1073.4,"endTime":1078.4,"body":"Ja, en je hebt ook daar een open source tool voor, he, 'Please Explain' heet die."},{"startTime":1078.4,"endTime":1080.4,"body":"Die is te vinden op GitHub."},{"startTime":1080.4,"endTime":1085.4,"body":"Ja, die staat op GitHub, op mijn GitHub-account. Ik denk dat we die ergens wel in de linkjes even erbij kunnen zetten."},{"startTime":1085.4,"endTime":1086.4,"body":"Zeker."},{"startTime":1086.4,"endTime":1089.4,"body":"Dat is een helemaal open source tool."},{"startTime":1089.4,"endTime":1094.4,"body":"Ik ben er nog mee bezig om hem steeds verder te verbeteren, maar de basisversie is er nu."},{"startTime":1094.4,"endTime":1099.4,"body":"Wat wel heel leuk is aan 'Please Explain' is dat je kan zeggen tegen de tool"},{"startTime":1099.4,"endTime":1105.4,"body":"\"Please Explain\", dat typ je ook letterlijk zo in, op zijn hipst, \"PLS explain\", zeg je dan,"},{"startTime":1105.4,"endTime":1109.4,"body":"zoals de hackers dat doen, en dan stop je er een model en een dataset in."},{"startTime":1109.4,"endTime":1112.4,"body":"En wat hij dan doet, is hij gaat dan voor jou aan het rekenen,"},{"startTime":1112.4,"endTime":1116.4,"body":"en dan gaat hij op een aantal verschillende manieren dat model uit elkaar trekken"},{"startTime":1116.4,"endTime":1120.4,"body":"en jou vertellen van \"Hé, dit is hoe jouw model van binnen werkt."},{"startTime":1120.4,"endTime":1123.4,"body":"Dit is de reden waarom je een bepaald antwoordformaat van hem krijgt.\""},{"startTime":1123.4,"endTime":1129.4,"body":"Oké. Zijn er nog limitaties aan wat voor data en wat voor modellen erin kunnen?"},{"startTime":1129.4,"endTime":1132.4,"body":"Of is het one size fits all?"},{"startTime":1132.4,"endTime":1139.4,"body":"Nou, bijna. En bijna niet. Dat is wel heel grappig, want mijn droom is dat het straks"},{"startTime":1139.4,"endTime":1142.4,"body":"alle soorten modellen aankan, maar dat is wel heel ingewikkeld."},{"startTime":1142.4,"endTime":1147.4,"body":"Als je kijkt naar de machine learning, dan zijn er heel veel verschillende taken"},{"startTime":1147.4,"endTime":1149.4,"body":"waarvoor je verschillende inputdata nodig hebt."},{"startTime":1149.4,"endTime":1157.4,"body":"Waar richt ik mij op? Ik richt mij op tabular data, dus tabellen, met concrete features."},{"startTime":1157.4,"endTime":1162.4,"body":"Dus bijvoorbeeld de leeftijdsnieuwe belengte, hoeveel geld hij heeft geleend,"},{"startTime":1162.4,"endTime":1165.4,"body":"dat soort dingen moet je dan allemaal aan denken."},{"startTime":1165.4,"endTime":1169.4,"body":"En verder maakt het me eigenlijk niet zo heel veel uit wat voor model het is."},{"startTime":1169.4,"endTime":1173.4,"body":"Dus ik kan klassificatie- en regressiemodellen aan,"},{"startTime":1173.4,"endTime":1176.4,"body":"en dan ook nog allemaal verschillende soorten daarvan."},{"startTime":1176.4,"endTime":1179.4,"body":"Er zijn natuurlijk heel veel verschillende implementaties van dat type model."},{"startTime":1179.4,"endTime":1183.4,"body":"Die kan ik allemaal uit elkaar trekken en je vertellen hoe het werkt."},{"startTime":1183.4,"endTime":1191.4,"body":"En in de toekomst hoop ik ook nog een keer recommendation systems en andere"},{"startTime":1191.4,"endTime":1194.4,"body":"wat minder strak gedefinieerde modellen te kunnen analyseren."},{"startTime":1194.4,"endTime":1201.4,"body":"En je stopt het erin, wat krijg je eruit? Neem ons eens mee, wat zien we dan?"},{"startTime":1201.4,"endTime":1205.4,"body":"Verschillende dingen krijg je eruit. De eerste vraag die je zelf bijvoorbeeld"},{"startTime":1205.4,"endTime":1210.4,"body":"zou kunnen stellen, wat zijn de performancemetrieken van mijn model?"},{"startTime":1210.4,"endTime":1213.4,"body":"Hoeveel procent van de gevallen voorspelt hij eigenlijk goed?"},{"startTime":1213.4,"endTime":1216.4,"body":"Dat geeft hij als eerste weer. Dus in het geval van bijvoorbeeld"},{"startTime":1216.4,"endTime":1221.4,"body":"een klassificatie-model zegt hij, nou, ik heb 80% van de gevallen goed voorspeld."},{"startTime":1221.4,"endTime":1226.4,"body":"Positief of negatief, als we het even simpel houden met die twee klasses."},{"startTime":1226.4,"endTime":1230.4,"body":"Maar heb je meerdere klasses, dan kan ik je precies per verschillende uitkomst"},{"startTime":1230.4,"endTime":1233.4,"body":"vertellen hoeveel procent van die gevallen die je dan goed had."},{"startTime":1233.4,"endTime":1237.4,"body":"Dus je krijgt een veel beter inzicht in wat nou eigenlijk de performance is."},{"startTime":1237.4,"endTime":1240.4,"body":"Maar ja, dat is maar een getalletje, daar kun je nog niet heel veel mee."},{"startTime":1240.4,"endTime":1245.4,"body":"De volgende stap is dat ik dan laat zien, deze inputs die je gegeven hebt"},{"startTime":1245.4,"endTime":1248.4,"body":"in het model, die vond ik het allerbelangrijkste."},{"startTime":1248.4,"endTime":1252.4,"body":"Die sorteer ik van hoog naar laag. En die feature importance noemen ze dat dan."},{"startTime":1252.4,"endTime":1256.4,"body":"Dat geeft je inzicht aan, als je een van die features, van die belangrijkste"},{"startTime":1256.4,"endTime":1259.4,"body":"features gaat veranderen, als je een andere waarde erin stopt,"},{"startTime":1259.4,"endTime":1263.4,"body":"dan heb je kans dat die best wel heel veel invloed heeft op de uitkomst van het model."},{"startTime":1263.4,"endTime":1266.4,"body":"Nou, dat geeft in ieder geval een soort van denkrichting."},{"startTime":1266.4,"endTime":1269.4,"body":"Wat kun je daar nou mee? Dan kun je bijvoorbeeld kijken van,"},{"startTime":1269.4,"endTime":1273.4,"body":"als ik een kredietbeoordeling doe, doe ik dat dan op basis van"},{"startTime":1273.4,"endTime":1275.4,"body":"iemand zijn inkomsten en betalingsgeschiedenis?"},{"startTime":1275.4,"endTime":1278.4,"body":"Of loop ik gewoon te kijken naar geslacht en huwelijks bestaat?"},{"startTime":1278.4,"endTime":1282.4,"body":"Want dan weet je direct, als dat laatste gevallen is, dan werkt je model niet."},{"startTime":1282.4,"endTime":1285.4,"body":"Tenminste, dan mag ik hopen dat het zo is voor je."},{"startTime":1285.4,"endTime":1288.4,"body":"Een stukje ethiek is wel belangrijk in deze."},{"startTime":1288.4,"endTime":1291.4,"body":"En dan kun je nog inzoomen. Dan kun je nog zeggen,"},{"startTime":1291.4,"endTime":1295.4,"body":"ik klik een van die features aan, stel de belangrijkste was,"},{"startTime":1295.4,"endTime":1299.4,"body":"heb ik een betalingsachterstand. Die klik ik aan, dan kan ik zien van,"},{"startTime":1299.4,"endTime":1304.4,"body":"oké, en welke waarde zorgt er dan voor dat ik wel of niet een krediet krijg?"},{"startTime":1304.4,"endTime":1307.4,"body":"En dan krijg je een soort van grafiek, dat is een profiel."},{"startTime":1307.4,"endTime":1311.4,"body":"Voor elke waarde heb ik dan uitgerekend van wat zou dan de mogelijke uitkomst zijn"},{"startTime":1311.4,"endTime":1313.4,"body":"van het model, als je dat erin stopt."},{"startTime":1313.4,"endTime":1317.4,"body":"Nou, dat is echt op modelniveau dan hetgeen wat ik nu kan laten zien."},{"startTime":1317.4,"endTime":1322.4,"body":"Nou, daarmee kun je al heel goed bepalen of je model het goed doet of niet."},{"startTime":1322.4,"endTime":1326.4,"body":"Wil je nog verder? Dat kan. Want dit geef je in het algemeen het antwoord."},{"startTime":1326.4,"endTime":1330.4,"body":"Je kan natuurlijk ook nog kijken voor een specifieke voorspelling."},{"startTime":1330.4,"endTime":1333.4,"body":"En de toepassing daar is eigenlijk meer dat je zegt van,"},{"startTime":1333.4,"endTime":1336.4,"body":"nou, stel, ik kom als klant bij een kredietverstrekker,"},{"startTime":1336.4,"endTime":1339.4,"body":"ik heb een kredietbeoordeling laten doen en ik krijg nee te horen."},{"startTime":1339.4,"endTime":1342.4,"body":"Waarom is dat dan? Waarom krijg ik nou niet die lening?"},{"startTime":1342.4,"endTime":1346.4,"body":"En belangrijker nog, wat kan ik doen om wel die lening te krijgen?"},{"startTime":1346.4,"endTime":1348.4,"body":"Dat zou heel interessant zijn natuurlijk."},{"startTime":1348.4,"endTime":1350.4,"body":"Nou, dan kun je aan dat model gaan vragen,"},{"startTime":1350.4,"endTime":1353.4,"body":"geef mij de feature importance voor deze voorspelling."},{"startTime":1353.4,"endTime":1355.4,"body":"En dan krijg je voor die ene klant te horen,"},{"startTime":1355.4,"endTime":1358.4,"body":"hé, beste klant, we zien dat je gewoon een heel laag inkomen hebt."},{"startTime":1358.4,"endTime":1362.4,"body":"Verder heb je een goede betalingsgeschiedenis, maar je inkomen is te laag."},{"startTime":1362.4,"endTime":1364.4,"body":"Dus als je dan zo'n model inzet op productie,"},{"startTime":1364.4,"endTime":1366.4,"body":"dan kun je de klant ook echt gericht aan feedback voorzien."},{"startTime":1366.4,"endTime":1370.4,"body":"Van hé, wij hebben dit besluit genomen, omdat we dit en dit hebben gezien."},{"startTime":1370.4,"endTime":1375.4,"body":"Daar kun je ook nog weer verder op inzoomen."},{"startTime":1375.4,"endTime":1378.4,"body":"Dan kun je naar die ene feature kijken waarvan je weet van,"},{"startTime":1378.4,"endTime":1380.4,"body":"oh, dit was voor grote invloed op het besluit."},{"startTime":1380.4,"endTime":1384.4,"body":"Dan kun je zeggen tegen die klant van, ja, beste klant,"},{"startTime":1384.4,"endTime":1389.4,"body":"als je nou 100 euro meer had verdiend in de maand, dan had het wel gekund."},{"startTime":1389.4,"endTime":1392.4,"body":"Kijk, en daar zie je dat Explainable AI heel veel waarde toevoegt."},{"startTime":1392.4,"endTime":1396.4,"body":"De eerste kant, een modelniveau uitleg,"},{"startTime":1396.4,"endTime":1399.4,"body":"dat is meer voor de machine learning engineer en de data scientist,"},{"startTime":1399.4,"endTime":1401.4,"body":"om dat te gebruiken."},{"startTime":1401.4,"endTime":1403.4,"body":"Want die kunnen niet individuele gevallen beoordelen,"},{"startTime":1403.4,"endTime":1405.4,"body":"want ze hebben veel te veel data."},{"startTime":1405.4,"endTime":1409.4,"body":"Maar voor klanten is het tweede deel heel interessant."},{"startTime":1409.4,"endTime":1411.4,"body":"Want zoals jullie wellicht weten,"},{"startTime":1411.4,"endTime":1414.4,"body":"als je het hebt over machine learning modellen in productie inzetten,"},{"startTime":1414.4,"endTime":1417.4,"body":"is het gewoon belangrijk dat als je een besluit neemt met een machine learning model,"},{"startTime":1417.4,"endTime":1419.4,"body":"dat je hem kan uitleggen."},{"startTime":1419.4,"endTime":1422.4,"body":"En Please Explain is één van de tools die je daarvoor kan gebruiken,"},{"startTime":1422.4,"endTime":1425.4,"body":"waarvan je kan zeggen van, nou,"},{"startTime":1425.4,"endTime":1428.4,"body":"ja, dit kun je op deze manier in productie gebruiken."},{"startTime":1428.4,"endTime":1430.4,"body":"Please Explain werkt nu nog niet in productie,"},{"startTime":1430.4,"endTime":1433.4,"body":"in de zin van, hij kan het niet real-time voor je vertellen,"},{"startTime":1433.4,"endTime":1437.4,"body":"maar daar ben ik wel mee bezig om daarnaar te kijken van hoe moet dat dan."},{"startTime":1437.4,"endTime":1441.4,"body":"Dus hopelijk in de komende maanden ergens wel de mogelijkheid om dat ook echt te gaan doen."},{"startTime":1441.4,"endTime":1444.4,"body":"Ja, want Willem, je zegt, er zijn verschillende tools."},{"startTime":1444.4,"endTime":1448.4,"body":"We kennen iets als Lime en Shap, Shap Values."},{"startTime":1448.4,"endTime":1454.4,"body":"Wat is er nou anders bij Please Explain ten opzichte van die tooling?"},{"startTime":1454.4,"endTime":1460.4,"body":"Nou, Please Explain maakt daar gebruik van, van die Shap Values en de Lime Explainer."},{"startTime":1460.4,"endTime":1462.4,"body":"De Lime Explainer toevallig niet."},{"startTime":1462.4,"endTime":1466.4,"body":"Die bleek in mijn geval toch minder waarde toe te voegen."},{"startTime":1466.4,"endTime":1469.4,"body":"Misschien dat die later nog komt, dat die alsnog in beeld komt."},{"startTime":1469.4,"endTime":1473.4,"body":"Maar Shaply Values kun je heel goed gebruiken voor feature importance berekenen."},{"startTime":1473.4,"endTime":1477.4,"body":"Dan krijg je een soort relatieve waarde van wat een feature waard is."},{"startTime":1477.4,"endTime":1479.4,"body":"Dat is allemaal heel relatief en heel wiskundig."},{"startTime":1479.4,"endTime":1482.4,"body":"Eigenlijk in de praktijk kijk je niet zozeer naar die getallen,"},{"startTime":1482.4,"endTime":1484.4,"body":"maar kijk je meer naar welke staan bovenaan."},{"startTime":1484.4,"endTime":1487.4,"body":"Maar ja, ik maak gebruik van de bestaande spullen."},{"startTime":1487.4,"endTime":1489.4,"body":"Ja, je zegt je maakt er gebruik van."},{"startTime":1489.4,"endTime":1495.4,"body":"Wat heb ik er dan aan om jouw tooling te gebruiken en niet Shap?"},{"startTime":1495.4,"endTime":1498.4,"body":"Nou, de huidige stand van de techniek is eigenlijk dat,"},{"startTime":1498.4,"endTime":1500.4,"body":"als je kijkt naar explainability tools,"},{"startTime":1500.4,"endTime":1503.4,"body":"die zijn allemaal bedoeld voor data scientists en programmeurs."},{"startTime":1503.4,"endTime":1505.4,"body":"Dus je moet Python kunnen programmeren."},{"startTime":1505.4,"endTime":1507.4,"body":"En je moet heel goed Python kunnen programmeren,"},{"startTime":1507.4,"endTime":1509.4,"body":"want die tools zijn bepaald niet gebruiksvriendelijk."},{"startTime":1509.4,"endTime":1513.4,"body":"Je moet ook vrij exact weten wat je erin moet stoppen en wat niet."},{"startTime":1513.4,"endTime":1518.4,"body":"En grappig genoeg, 80, 90 procent, misschien wel 100 procent van die input van die tools,"},{"startTime":1518.4,"endTime":1521.4,"body":"die kun je van tevoren berekenen met nog een ander algoritme er weer voor te plakken."},{"startTime":1521.4,"endTime":1523.4,"body":"Dat is wat ik eigenlijk gedaan heb."},{"startTime":1523.4,"endTime":1525.4,"body":"Ik heb gewoon een slimmigheidje uitgehaald."},{"startTime":1525.4,"endTime":1528.4,"body":"Jij geeft mij een hele grote dataset en ik zeg dan van,"},{"startTime":1528.4,"endTime":1530.4,"body":"gezien de spreiding in die datasets,"},{"startTime":1530.4,"endTime":1533.4,"body":"moet ik eigenlijk maar zoveel procent van de samples eruit pakken."},{"startTime":1533.4,"endTime":1536.4,"body":"En daarmee ga ik dan die verklaring genereren voor je."},{"startTime":1536.4,"endTime":1541.4,"body":"En ik weet al dat als ik een model zie waarbij veel interacties zijn tussen features,"},{"startTime":1541.4,"endTime":1544.4,"body":"welk algoritme ik moet gebruiken om de uitleg te genereren."},{"startTime":1544.4,"endTime":1547.4,"body":"Gebruik je mijn tool niet, dan moet je dat allemaal met de hand bedenken."},{"startTime":1547.4,"endTime":1551.4,"body":"Moet je zelf gaan nadenken en moet je zelf gaan analyseren nog om dat te doen."},{"startTime":1551.4,"endTime":1553.4,"body":"Want dat is het..."},{"startTime":1553.4,"endTime":1557.4,"body":"En vandaar dat je eigenlijk begon met van, eigenlijk is het één regelcode,"},{"startTime":1557.4,"endTime":1561.4,"body":"namelijk please explain en dan data plus je model."},{"startTime":1561.4,"endTime":1563.4,"body":"Ja, dat is mijn beeld ook altijd geweest."},{"startTime":1563.4,"endTime":1566.4,"body":"Ik vind het super irritant om die andere klus te moeten doen."},{"startTime":1566.4,"endTime":1569.4,"body":"Ik moet hem nu natuurlijk gewoon doen omdat ik een tool bouw, maar..."},{"startTime":1569.4,"endTime":1572.4,"body":"Het is voor een data scientist die heeft wat beters te doen."},{"startTime":1572.4,"endTime":1578.4,"body":"Ik heb dan zoiets van, ja, ik neem dat uit handen en ik geef dat dan op de goede manier aan."},{"startTime":1578.4,"endTime":1581.4,"body":"En daar zit dan denk ik de knepoek in in dit soort tools,"},{"startTime":1581.4,"endTime":1583.4,"body":"want je kan het allemaal uitbesteden aan de computer."},{"startTime":1583.4,"endTime":1584.4,"body":"Ja, mooi."},{"startTime":1584.4,"endTime":1587.4,"body":"Hé, zullen we eens kijken van hoe dit dan in de praktijk werkt?"},{"startTime":1587.4,"endTime":1594.4,"body":"[muziek]"},{"startTime":1594.4,"endTime":1598.4,"body":"Ja, dus wat voor dingen haal je?"},{"startTime":1598.4,"endTime":1601.4,"body":"Dus als je deze tooling nou, dit soort tooling,"},{"startTime":1601.4,"endTime":1606.4,"body":"laten we het daarop houden, in de praktijk inzet, wat komt daar nou typisch uit?"},{"startTime":1606.4,"endTime":1608.4,"body":"Heb je daar voorbeelden van?"},{"startTime":1608.4,"endTime":1611.4,"body":"Oh, soms echt hele erge verrassingen komen eruit."},{"startTime":1611.4,"endTime":1614.4,"body":"Ik noemde net al even die kredietbeoordeling."},{"startTime":1614.4,"endTime":1619.4,"body":"We hebben wel eens modellen gehad die dachten wij dat die het goed deden."},{"startTime":1619.4,"endTime":1622.4,"body":"En dan gingen we daadwerkelijk kijken naar wat die nou aan het beoordelen was."},{"startTime":1622.4,"endTime":1624.4,"body":"En we dachten van, hè?"},{"startTime":1624.4,"endTime":1626.4,"body":"Dat was toevallig een computer vision model,"},{"startTime":1626.4,"endTime":1631.4,"body":"wat wij gebruikt hebben om een aantal voorwerpen te herkennen."},{"startTime":1631.4,"endTime":1633.4,"body":"Kapotte boodschappen."},{"startTime":1633.4,"endTime":1636.4,"body":"Dat zijn boodschappen die worden teruggestuurd en die zijn gewoon volledig gesloopt."},{"startTime":1636.4,"endTime":1640.4,"body":"Daar is iets klem komen te zitten in de vrachtwagen van de boodschappenbezorgdienst."},{"startTime":1640.4,"endTime":1644.4,"body":"Daar is iets gebeurd met het uitpakken of de sinaasappel is verrot of zo."},{"startTime":1644.4,"endTime":1647.4,"body":"En daar hadden wij een model op getraind om te kunnen klassificeren van,"},{"startTime":1647.4,"endTime":1649.4,"body":"wat is dat dan allemaal nog?"},{"startTime":1649.4,"endTime":1651.4,"body":"Is het een pak vla, is het een sinaasappel?"},{"startTime":1651.4,"endTime":1653.4,"body":"Gewoon objectherkenning."},{"startTime":1653.4,"endTime":1655.4,"body":"Alleen, wij dachten dat hij het deed."},{"startTime":1655.4,"endTime":1657.4,"body":"96% accuracy."},{"startTime":1657.4,"endTime":1659.4,"body":"Hoera, hoera, iedereen was door het dol heen."},{"startTime":1659.4,"endTime":1662.4,"body":"Alleen toen gingen wij eens even uit elkaar plukken waarom hij dat dan deed."},{"startTime":1662.4,"endTime":1665.4,"body":"En dat bleek echt op de meest waanzinnige dingen te gaan."},{"startTime":1665.4,"endTime":1668.4,"body":"Soms, sinaasappels worden altijd op tafel gelegd."},{"startTime":1668.4,"endTime":1671.4,"body":"Dus als hij een tafel herkende, dan zei hij 'ja, het is een sinaasappel'."},{"startTime":1671.4,"endTime":1674.4,"body":"Ja, is dat dan een sinaasappel? Nee, natuurlijk niet."},{"startTime":1674.4,"endTime":1676.4,"body":"Helemaal niet. Hoezo?"},{"startTime":1676.4,"endTime":1680.4,"body":"Pakken melk, dat zag hij ook omdat hij de streepjescode zag."},{"startTime":1680.4,"endTime":1682.4,"body":"Dat zijn hele bizarre dingen."},{"startTime":1682.4,"endTime":1685.4,"body":"Maar als een pak melk maar kapot genoeg is, dan herkent hij dat niet meer."},{"startTime":1685.4,"endTime":1691.4,"body":"Dus daar hebben wij onder andere met andere technieken dan 'please explain' in dit geval."},{"startTime":1691.4,"endTime":1695.4,"body":"Maar daar hebben we wel heel erg baat gehad van explainable AI"},{"startTime":1695.4,"endTime":1698.4,"body":"om erachter te komen van doet hij het nou wel om de goede redenen."},{"startTime":1698.4,"endTime":1704.4,"body":"En 'please explain' zelf heb ik nu op een aantal plekken ook wel weer ingesubt"},{"startTime":1704.4,"endTime":1707.4,"body":"dat ik denk van ik ga toch eens even kijken in een customer churn model"},{"startTime":1707.4,"endTime":1709.4,"body":"of hij nou om de goede reden die churn voorspelt."},{"startTime":1709.4,"endTime":1712.4,"body":"Dat blijkt ook niet altijd even goed te kloppen."},{"startTime":1712.4,"endTime":1717.4,"body":"Ja, we hadden de afgelopen weken van een collega"},{"startTime":1717.4,"endTime":1721.4,"body":"die inderdaad een customer churn model weer gemaakt had."},{"startTime":1721.4,"endTime":1727.4,"body":"Waarbij de uitkomsten, dat vond ik ook wel een mooie."},{"startTime":1727.4,"endTime":1733.4,"body":"Dus het werd heel duidelijk uitgelegd waardoor de meeste mensen eigenlijk churnen."},{"startTime":1733.4,"endTime":1738.4,"body":"Waarbij ze uiteindelijk in de organisatie zeiden 'dat is raar'."},{"startTime":1738.4,"endTime":1741.4,"body":"Dus dan ga je namelijk een stap verder."},{"startTime":1741.4,"endTime":1749.4,"body":"Dat je niet meer kijkt naar, want ze waren er overeens dat het model was goed en betrouwbaar."},{"startTime":1749.4,"endTime":1757.4,"body":"Maar nu was de reden waarom mensen dan weggingen, dat was heel onverwacht."},{"startTime":1757.4,"endTime":1764.4,"body":"Het model had andere redenen gevonden waarvan hij zelf in een onderbuik dacht"},{"startTime":1764.4,"endTime":1766.4,"body":"van het moet wel dit of dit zijn."},{"startTime":1766.4,"endTime":1773.4,"body":"En nu wordt er meer nagekeken van 'hé, maar als dit dan de redenen zijn,"},{"startTime":1773.4,"endTime":1775.4,"body":"wat gebeurt er dan? Wat gebeurt er dan met die klanten?'"},{"startTime":1775.4,"endTime":1780.4,"body":"Dus ze gaan die klanten opzoeken, ze gaan over praten, ze gaan intern over praten."},{"startTime":1780.4,"endTime":1788.4,"body":"Dus dat betekent dat zo'n uitleg het startpunt is van een hele nieuwe manier"},{"startTime":1788.4,"endTime":1793.4,"body":"van kijken naar je klanten, naar je processen en wat het dan inhoudt."},{"startTime":1793.4,"endTime":1795.4,"body":"En dat vond ik eigenlijk ook wel een hele mooie."},{"startTime":1795.4,"endTime":1798.4,"body":"Dat vind ik eigenlijk de grootste waarde van Explainable."},{"startTime":1798.4,"endTime":1801.4,"body":"Het is mooi dat zo'n tool werkt en dat je die grafieken eruit krijgt,"},{"startTime":1801.4,"endTime":1804.4,"body":"maar eigenlijk gaat het over de discussie die je daarna gaat voeren."},{"startTime":1804.4,"endTime":1809.4,"body":"Het kan best wel zijn dat het klopt dat klanten om een andere reden gaan churnen"},{"startTime":1809.4,"endTime":1812.4,"body":"dan wat jij oorspronkelijk had bedacht. Maar ga het maar eens controleren."},{"startTime":1812.4,"endTime":1817.4,"body":"En dat vind ik eigenlijk wel veel mooier, want de opmerking die ik kreeg was"},{"startTime":1817.4,"endTime":1820.4,"body":"'ja, het model is dan niet goed'. Ik zei 'nee, dat is niet waar,"},{"startTime":1820.4,"endTime":1825.4,"body":"dat kan niet zo zijn'. Het model, gegeven de data, kan heel goed zijn."},{"startTime":1825.4,"endTime":1831.4,"body":"Wiskunde ligt niet, maar nu is de vraag 'had jij de goede data te pakken?"},{"startTime":1831.4,"endTime":1834.4,"body":"Heb je begrepen hoe de wereld werkt eigenlijk?'"},{"startTime":1834.4,"endTime":1839.4,"body":"Ga ook eens bij jezelf te raden. Van 'hebben we echt het probleemdomein begrepen?"},{"startTime":1839.4,"endTime":1841.4,"body":"Zitten we naar de goede dingen te zoeken?'"},{"startTime":1841.4,"endTime":1845.4,"body":"Dat vind ik zo mooi aan Explainable AI."},{"startTime":1845.4,"endTime":1846.4,"body":"Ja, cool."},{"startTime":1846.4,"endTime":1848.4,"body":"Een vraag die bij mij toch wel echt naar boven komt,"},{"startTime":1848.4,"endTime":1850.4,"body":"en Willem je noemde het net al even kort."},{"startTime":1850.4,"endTime":1856.4,"body":"Realtime, dit soort zaken. Als eindgebruiker, ik neem graag het pet van het eindseizoen voor me"},{"startTime":1856.4,"endTime":1860.4,"body":"en dan kijk ik van 'hé, hoe gaat dit nou mij als consument of als gebruiker?'"},{"startTime":1860.4,"endTime":1868.4,"body":"en dan ben ik echt wel op zoek naar die realtime, of in ieder geval voor mijn specifieke casus,"},{"startTime":1868.4,"endTime":1873.4,"body":"gewoon gelijk terugzien van 'maar waarom dan niet? Waarom bijvoorbeeld niet die lening gekregen?'"},{"startTime":1873.4,"endTime":1877.4,"body":"Wat is daar dan specifiek voor nodig om die stap te maken?"},{"startTime":1877.4,"endTime":1882.4,"body":"Als je kijkt naar Please Explain, die is op dit moment niet heel snel."},{"startTime":1882.4,"endTime":1887.4,"body":"Het duurt ongeveer een seconde of dertig om een uitleg te genereren."},{"startTime":1887.4,"endTime":1892.4,"body":"Dat is niet heel realtime natuurlijk. Maar moet het altijd realtime?"},{"startTime":1892.4,"endTime":1897.4,"body":"Dat is even de vraag. Kijk, als je het hebt over een hypotheek beoordelen of een lening beoordelen,"},{"startTime":1897.4,"endTime":1900.4,"body":"ja, dat proces, dat duurt altijd wel eventjes."},{"startTime":1900.4,"endTime":1905.4,"body":"Als jij binnen een kwartiertje antwoord krijgt met goede uitleg, is dat volgens mij wel wat waard."},{"startTime":1905.4,"endTime":1906.4,"body":"Dan ben je best wel vlot."},{"startTime":1906.4,"endTime":1909.4,"body":"Een aansproken hypotheek afvragen, dat duurt echt wel een aantal weken."},{"startTime":1909.4,"endTime":1913.4,"body":"Maar als jij dan al heel snel, laten we zeggen binnen een dag of zo,"},{"startTime":1913.4,"endTime":1916.4,"body":"antwoord krijgt met goede uitleg, dat is best interessant."},{"startTime":1916.4,"endTime":1924.4,"body":"Voor realtime, nou ja, daar heb ik wel een oplossing voor, voor Please Explain dan."},{"startTime":1924.4,"endTime":1930.4,"body":"Dat is meer compute power. Dat is gewoon meer CPU's en GPU's tegenaan gooien."},{"startTime":1930.4,"endTime":1933.4,"body":"Is dat haalbaar? Dat vraagt mij een beetje af."},{"startTime":1933.4,"endTime":1938.4,"body":"Want ik heb zelf hier thuis onder mijn bureau een machine staan met twee videokaarten."},{"startTime":1938.4,"endTime":1942.4,"body":"Twee hele dikke videokaarten ook. Die zou dat heel realtime kunnen."},{"startTime":1942.4,"endTime":1945.4,"body":"Want die is ook echt wel heel snel met dit soort dingen."},{"startTime":1945.4,"endTime":1951.4,"body":"Maar als je dat op je laptopje doet, dan gaat het niet echt vliegen."},{"startTime":1951.4,"endTime":1953.4,"body":"Ik denk dat realtime dat niet echt goed wordt."},{"startTime":1953.4,"endTime":1956.4,"body":"Maar productie draai je natuurlijk ook niet op je laptop."},{"startTime":1956.4,"endTime":1959.4,"body":"En niet onder je bureau ook niet. Dat is wel wat meer."},{"startTime":1959.4,"endTime":1964.4,"body":"Is het echt performance dan? Of is het meer compute en dan gaat het gewoon sneller?"},{"startTime":1964.4,"endTime":1968.4,"body":"Kijk, ik ben het me eens, voor zo'n hypotheek, als ik een kwartiertje een formulier heb ingevuld"},{"startTime":1968.4,"endTime":1971.4,"body":"en ik druk op een knop en het gaat even een wieltje draaien,"},{"startTime":1971.4,"endTime":1974.4,"body":"dan ben ik gerust even wachten als ik daardoor een goede uitleg krijg."},{"startTime":1974.4,"endTime":1976.4,"body":"Maar ik ben één consument."},{"startTime":1976.4,"endTime":1982.4,"body":"Als het goed is zijn er met mij nog heel veel andere consumenten voor de partij die ook een hypotheek, een aanvraag wil doen."},{"startTime":1982.4,"endTime":1985.4,"body":"Dus hoe zorg je dat dat aan kan? En dat is puur compute?"},{"startTime":1985.4,"endTime":1990.4,"body":"Ja, het is CPU intensive allemaal. Net als alles met machine learning is dit ook zo."},{"startTime":1990.4,"endTime":1994.4,"body":"Dus daar zit gewoon echt wel een fikse uitdaging."},{"startTime":1994.4,"endTime":1998.4,"body":"En jullie merken allebei ook van, ja, je gaat geen productie draaien op je laptop."},{"startTime":1998.4,"endTime":2003.4,"body":"Nee, maar wat er wel gebeurt, en wat ik zie bij heel veel bedrijven,"},{"startTime":2003.4,"endTime":2006.4,"body":"die stappen tegenwoordig over containerization."},{"startTime":2006.4,"endTime":2009.4,"body":"Draai alles in containers. En dat moet ook nog kosteneffectief gebeuren."},{"startTime":2009.4,"endTime":2012.4,"body":"Dus die hebben geen 16 CPU's per model beschikbaar."},{"startTime":2012.4,"endTime":2017.4,"body":"Die hebben een tiende van een CPU beschikbaar. Want ja, dat is nog helemaal kosteneffectief."},{"startTime":2017.4,"endTime":2020.4,"body":"En als ik dan aankom met mijn explainable AI en ik zeg tegen ze,"},{"startTime":2020.4,"endTime":2024.4,"body":"ah, ik heb 16 CPU's per klant nodig, en sommige klanten waar ik voor werk,"},{"startTime":2024.4,"endTime":2027.4,"body":"die hebben een miljoen gebruikers op hun platform,"},{"startTime":2027.4,"endTime":2030.4,"body":"moi, moi, dat wordt wel een dingetje."},{"startTime":2030.4,"endTime":2033.4,"body":"Dus daar zit het probleem ook een beetje."},{"startTime":2033.4,"endTime":2036.4,"body":"En het schaalt nog niet heel erg best naar de grote massa."},{"startTime":2036.4,"endTime":2039.4,"body":"Maar ik denk, met nog een beetje slimmigheid,"},{"startTime":2039.4,"endTime":2042.4,"body":"gaan we er wel dicht in de buurt komen dat het wel gaat lukken."},{"startTime":2042.4,"endTime":2044.4,"body":"Ja, aardig als ik het zo hoor."},{"startTime":2044.4,"endTime":2049.4,"body":"Wat is dan de oorzaak dat het dan nu nog niet lukt?"},{"startTime":2049.4,"endTime":2052.4,"body":"De zoekruimte is heel groot in die algoritmes."},{"startTime":2052.4,"endTime":2056.4,"body":"Hij gaat eigenlijk op zoek naar verschillende vormen."},{"startTime":2056.4,"endTime":2060.4,"body":"Eigenlijk, als je mij vraagt wat doet een explainable AI algoritme,"},{"startTime":2060.4,"endTime":2063.4,"body":"dat is eigenlijk gewoon een ander machine learning algoritme."},{"startTime":2063.4,"endTime":2067.4,"body":"Bij jouw model gooit hij allemaal verschillende samples in."},{"startTime":2067.4,"endTime":2069.4,"body":"En wat hij dan ook nog eens gaat doen met die samples,"},{"startTime":2069.4,"endTime":2071.4,"body":"hij gaat waardes in die sample lopen verhaspelen."},{"startTime":2071.4,"endTime":2076.4,"body":"Je gaat die lopen wisselen en op z'n kop zetten en negatief maken"},{"startTime":2076.4,"endTime":2078.4,"body":"en weet ik veel wat hij allemaal uithaalt."},{"startTime":2078.4,"endTime":2082.4,"body":"En bij iedere sample gaat hij dan meten, wat is het verschil in uitkomst?"},{"startTime":2082.4,"endTime":2085.4,"body":"Het is behoorlijk brute force."},{"startTime":2085.4,"endTime":2088.4,"body":"Ja, het is echt heel erg brute force wat hij doet."},{"startTime":2088.4,"endTime":2092.4,"body":"Er is helaas nog niet, er is bijna geen oplossing voor,"},{"startTime":2092.4,"endTime":2094.4,"body":"maar misschien komt hij nog."},{"startTime":2094.4,"endTime":2096.4,"body":"Dus daar zit hem de sleutel een beetje in."},{"startTime":2096.4,"endTime":2100.4,"body":"De zoekruimte is te groot voor de computer om dit snel op te lossen."},{"startTime":2100.4,"endTime":2105.4,"body":"En ik denk, ik heb laatst een paper gelezen,"},{"startTime":2105.4,"endTime":2107.4,"body":"ik weet zo even de titel niet meer uit mijn hoofd,"},{"startTime":2107.4,"endTime":2111.4,"body":"maar er zijn wetenschappers bezig om slimmere manieren te vinden"},{"startTime":2111.4,"endTime":2113.4,"body":"om die zoekruimte te verkleinen."},{"startTime":2113.4,"endTime":2117.4,"body":"Bijvoorbeeld, als je feature importance wilt berekenen,"},{"startTime":2117.4,"endTime":2119.4,"body":"kun je dat tegenwoordig op twee manieren doen."},{"startTime":2119.4,"endTime":2123.4,"body":"Je kan zeggen, ik ga één feature in mijn dataset,"},{"startTime":2123.4,"endTime":2128.4,"body":"die ga ik helemaal husselen en dan ga ik opnieuw dat model valideren."},{"startTime":2128.4,"endTime":2130.4,"body":"Dus eerst valideren je met de originele data,"},{"startTime":2130.4,"endTime":2131.4,"body":"daar krijg je een performance figuur uit,"},{"startTime":2131.4,"endTime":2134.4,"body":"daar krijg je bijvoorbeeld 82% accuracy uit."},{"startTime":2134.4,"endTime":2136.4,"body":"Daarna ga je één feature,"},{"startTime":2136.4,"endTime":2139.4,"body":"laten we zeggen, heb je je betalingsachterstand,"},{"startTime":2139.4,"endTime":2140.4,"body":"die ga je helemaal husselen."},{"startTime":2140.4,"endTime":2142.4,"body":"En daarna reken je weer opnieuw die accuracy uit."},{"startTime":2142.4,"endTime":2144.4,"body":"En dan is die in ieder geval 70%."},{"startTime":2144.4,"endTime":2146.4,"body":"Dan weet je dat er een 10% verschil is in performance"},{"startTime":2146.4,"endTime":2148.4,"body":"voor die ene feature."},{"startTime":2148.4,"endTime":2149.4,"body":"En dat herhaal je voor iedere feature,"},{"startTime":2149.4,"endTime":2152.4,"body":"en dan weet je, degene met de grootste verschillende performance,"},{"startTime":2152.4,"endTime":2153.4,"body":"dat is de meest belangrijke."},{"startTime":2153.4,"endTime":2154.4,"body":"Dat is eigenlijk hoe dat werkt."},{"startTime":2154.4,"endTime":2157.4,"body":"Dat is natuurlijk super brute force."},{"startTime":2157.4,"endTime":2159.4,"body":"Wat je ook kunt doen, en wat veel sneller is,"},{"startTime":2159.4,"endTime":2163.4,"body":"je pakt de bovenste 50% en de onderste 50%,"},{"startTime":2163.4,"endTime":2164.4,"body":"die verwissel je, dat doe je één keer,"},{"startTime":2164.4,"endTime":2168.4,"body":"en dan heb je vergelijkbare resultaten."},{"startTime":2168.4,"endTime":2171.4,"body":"Ik zeg vergelijkbaar, omdat het niet helemaal 100% hetzelfde is,"},{"startTime":2171.4,"endTime":2175.4,"body":"maar je zou kunnen redeneren dat als je dat doet,"},{"startTime":2175.4,"endTime":2177.4,"body":"en je krijgt dezelfde uitkomst uit het algoritme,"},{"startTime":2177.4,"endTime":2180.4,"body":"met een procentverschil in getallen,"},{"startTime":2180.4,"endTime":2182.4,"body":"is dat dan acceptabel?"},{"startTime":2182.4,"endTime":2184.4,"body":"Volgens mij wel, is dat acceptabel."},{"startTime":2184.4,"endTime":2185.4,"body":"Dus daar moet je dan aan denken,"},{"startTime":2185.4,"endTime":2186.4,"body":"dat we steeds slimmer gaan,"},{"startTime":2186.4,"endTime":2189.4,"body":"en accepteren dat het resultaat ietsje grover is,"},{"startTime":2189.4,"endTime":2191.4,"body":"maar nog steeds bereikbaar."},{"startTime":2191.4,"endTime":2196.4,"body":"Ik kijk het naar,"},{"startTime":2196.4,"endTime":2199.4,"body":"dit vind ik een heel mooie ontwikkeling,"},{"startTime":2199.4,"endTime":2200.4,"body":"waar je mee bezig bent."},{"startTime":2200.4,"endTime":2202.4,"body":"Wordt het al veel gebruik in de MLOps,"},{"startTime":2202.4,"endTime":2206.4,"body":"processen die worden gehanteerd bij klanten?"},{"startTime":2206.4,"endTime":2208.4,"body":"Ja, bij ons wel."},{"startTime":2208.4,"endTime":2210.4,"body":"Want wat wij hebben gedaan vanaf dag één,"},{"startTime":2210.4,"endTime":2213.4,"body":"is wij hebben ook de filosofie van de AI,"},{"startTime":2213.4,"endTime":2215.4,"body":"moet de mens versterken,"},{"startTime":2215.4,"endTime":2218.4,"body":"en daar hebben we ons hele ontwikkelproces ook omheen opgebouwd."},{"startTime":2218.4,"endTime":2219.4,"body":"Dus wat wij doen, is op gezette momenten,"},{"startTime":2219.4,"endTime":2221.4,"body":"in het ontwikkelproces,"},{"startTime":2221.4,"endTime":2223.4,"body":"passen wij explainable AI toe."},{"startTime":2223.4,"endTime":2224.4,"body":"Dus je moet denken aan,"},{"startTime":2224.4,"endTime":2226.4,"body":"als je een model gaat trainen,"},{"startTime":2226.4,"endTime":2227.4,"body":"dan gaan wij er ook vanuit,"},{"startTime":2227.4,"endTime":2230.4,"body":"dat onze machine learning engineers een uitleg erbij maken,"},{"startTime":2230.4,"endTime":2232.4,"body":"en dat goed neerzetten."},{"startTime":2232.4,"endTime":2234.4,"body":"Tijdens het testen komt dat weer terug."},{"startTime":2234.4,"endTime":2236.4,"body":"En wat we ook nog doen,"},{"startTime":2236.4,"endTime":2238.4,"body":"helemaal, en aan het begin is ook met de klant,"},{"startTime":2238.4,"endTime":2239.4,"body":"wel heel duidelijk bespreken van,"},{"startTime":2239.4,"endTime":2240.4,"body":"wat is die hypothese eigenlijk,"},{"startTime":2240.4,"endTime":2243.4,"body":"die we gaan proberen te bekrachtigen,"},{"startTime":2243.4,"endTime":2245.4,"body":"en dan wat te ontkrachten."},{"startTime":2245.4,"endTime":2247.4,"body":"En waar we ook wel naar vragen is,"},{"startTime":2247.4,"endTime":2250.4,"body":"ja, wat zijn nou typische samples,"},{"startTime":2250.4,"endTime":2252.4,"body":"uit jullie praktijkwereld,"},{"startTime":2252.4,"endTime":2254.4,"body":"die zou het model goed moeten voorspellen?"},{"startTime":2254.4,"endTime":2256.4,"body":"Dat noem ik prototypical samples,"},{"startTime":2256.4,"endTime":2259.4,"body":"die gebruiken we ook in combinatie met explainable AI,"},{"startTime":2259.4,"endTime":2261.4,"body":"om echt zeker te weten,"},{"startTime":2261.4,"endTime":2263.4,"body":"dat het model doet wat het moet doen."},{"startTime":2263.4,"endTime":2265.4,"body":"Dus dat zit helemaal verweven in ons proces."},{"startTime":2265.4,"endTime":2266.4,"body":"Ja."},{"startTime":2266.4,"endTime":2268.4,"body":"Mooi."},{"startTime":2268.4,"endTime":2270.4,"body":"Nou super interessant Willem."},{"startTime":2270.4,"endTime":2272.4,"body":"Ik denk dat we weer heel veel wijzer zijn geworden,"},{"startTime":2272.4,"endTime":2273.4,"body":"op het gebied van explainable AI."},{"startTime":2273.4,"endTime":2276.4,"body":"Zeker, zeg maar, diep in dit soort tooling,"},{"startTime":2276.4,"endTime":2277.4,"body":"en wat dat inhoudt,"},{"startTime":2277.4,"endTime":2279.4,"body":"en waar je tegenaan loopt."},{"startTime":2279.4,"endTime":2281.4,"body":"Nou, dat hebben we nog niet eerder gehoord,"},{"startTime":2281.4,"endTime":2283.4,"body":"in de afleveringen, dus dank daarvoor."},{"startTime":2283.4,"endTime":2284.4,"body":"Graag gedaan."},{"startTime":2284.4,"endTime":2287.4,"body":"Het is wel gaaf, dat je onze gasten wilde zijn."},{"startTime":2287.4,"endTime":2292.4,"body":"Nou ja, ter afsluiting wat we al zeiden,"},{"startTime":2292.4,"endTime":2295.4,"body":"het is het laatste van dit seizoen,"},{"startTime":2295.4,"endTime":2296.4,"body":"tweede seizoen,"},{"startTime":2296.4,"endTime":2298.4,"body":"maar niet getruurd, Niels toch?"},{"startTime":2298.4,"endTime":2299.4,"body":"Of niet?"},{"startTime":2299.4,"endTime":2300.4,"body":"We komen zeker terug."},{"startTime":2300.4,"endTime":2301.4,"body":"Zeker terug."},{"startTime":2301.4,"endTime":2304.4,"body":"Januari 2022,"},{"startTime":2304.4,"endTime":2306.4,"body":"wordt er een nieuwe."},{"startTime":2306.4,"endTime":2309.4,"body":"Gaan we kijken voor weer nieuwe leuke gasten,"},{"startTime":2309.4,"endTime":2311.4,"body":"nieuwe leuke onderwerpen."},{"startTime":2311.4,"endTime":2314.4,"body":"En dan hopen we jullie graag weer terug te verwelkomen."},{"startTime":2314.4,"endTime":2316.4,"body":"Ja, dus heb je al ideeën van,"},{"startTime":2316.4,"endTime":2319.4,"body":"'Goh, kunnen jullie het volgend jaar daar eens over hebben?'"},{"startTime":2319.4,"endTime":2322.4,"body":"Stuur een berichtje, je vindt ons overal op social,"},{"startTime":2322.4,"endTime":2324.4,"body":"bij de video's, laat wat achter,"},{"startTime":2324.4,"endTime":2326.4,"body":"en geef dan ons mee,"},{"startTime":2326.4,"endTime":2328.4,"body":"en hopelijk spreken we misschien jullie ook wel gewoon,"},{"startTime":2328.4,"endTime":2331.4,"body":"in de volgende podcast van volgend seizoen."},{"startTime":2331.4,"endTime":2333.4,"body":"Willem, nogmaals bedankt."},{"startTime":2333.4,"endTime":2334.4,"body":"Ja, graag gedaan."},{"startTime":2334.4,"endTime":2336.4,"body":"En bedankt voor het leuke gesprek."},{"startTime":2337.4,"endTime":2343.4,"body":"[muziek]"},{"startTime":2343.4,"endTime":2346.4,"body":"Leuk dat je luisterde naar de AIToday Live Podcast."},{"startTime":2346.4,"endTime":2348.4,"body":"Abonneer je nu op Spotify,"},{"startTime":2348.4,"endTime":2351.4,"body":"of andere streamingdiensten om ons te volgen."},{"startTime":2351.4,"endTime":2355.4,"body":"En kijk voor meer interessante informatie over kunstmatig intelligentie,"},{"startTime":2355.4,"endTime":2358.4,"body":"op AIToday.ai."},{"startTime":2358.4,"endTime":2359.4,"body":"Dank je wel voor het luisteren."},{"startTime":2359.4,"endTime":2361.4,"body":"Tot de volgende keer."},{"startTime":2361.4,"endTime":2366.4,"body":"[muziek]"}]}