{"version":"1.0.0","segments":[{"startTime":0.001,"endTime":8.12,"body":"Deze aflevering is weer een bite-sized aflevering. Lekker kort. Niels en ik bespreken wat ons"},{"startTime":8.12,"endTime":15.76,"body":"is opgevallen in de nieuws. Veel plezier. Zo, zijn we weer Joop. Tijd voor een nieuwe"},{"startTime":15.76,"endTime":24.28,"body":"bite-sized aflevering. Ja toch? Weer even lekker kort, maar wel over het nieuws wat"},{"startTime":24.28,"endTime":31.64,"body":"ons is opgevallen. Wat was jou opgevallen Niels? Ja wat mij opgevallen was dat er steeds meer"},{"startTime":31.64,"endTime":38.68,"body":"hoogscholen en universiteiten starten met studies op data science en artificial intelligence. Ik"},{"startTime":38.68,"endTime":43.72,"body":"was gisteren op een conferentie met een collega waar we een stukje over data ops hebben mogen"},{"startTime":43.72,"endTime":49.92,"body":"presenteren en daar was ook in dit geval hoogschool Rotterdam aanwezig met een leuke talk over ethiek"},{"startTime":49.92,"endTime":57.12,"body":"en dat meenemen in de oplossingen bij data science en machine learning. En ook daar zijn ze bezig met"},{"startTime":57.12,"endTime":62.36,"body":"het opzetten van een studie waar ook het hele stukje responsibility en ethiek, ja dat wordt"},{"startTime":62.36,"endTime":68.12,"body":"dat wordt gewoon gemeengoed in de opleiding. Dus dat is wel heel erg goed nieuws dat dat steeds"},{"startTime":68.12,"endTime":75.72,"body":"meer in Nederland plaatsvindt. Dat is zeker goed nieuws. Ja dus ik was erg blij om dat online te"},{"startTime":75.72,"endTime":81.52,"body":"zien en ook in de presentaties ook naar voren kwam. Ja dat die diversiteit, die responsibility"},{"startTime":81.52,"endTime":89.44,"body":"en dat de studenten dus opgeleid worden, of het nou wel of niet in hun rol of vakgebied, of een"},{"startTime":89.44,"endTime":93.68,"body":"rol misschien in het begin is, om die ethische vraag te blijven stellen van god er wordt mij nu"},{"startTime":93.68,"endTime":99.28,"body":"gevraagd om een bepaald model te gaan maken. Om daar met de verschillende pattern op en perspectieven"},{"startTime":99.28,"endTime":106.16,"body":"te kunnen, de sessies te gaan organiseren. Moeten we dit willen? Zo ja hoe? Wat is de impact? Om"},{"startTime":106.16,"endTime":114.24,"body":"dat eigenlijk mee te nemen in de opleiding. Ja wat ik ook verheugend vind is dat je ook zegt dat het"},{"startTime":114.24,"endTime":122.52,"body":"een hogeschool is, HBO. Ja. Wat we natuurlijk in het verleden veel hadden zijn masterstudenten die"},{"startTime":122.52,"endTime":130.2,"body":"van universiteiten afkomen. Maar het feit zeg maar dat het nu zo belangrijk gemeengoed wordt,"},{"startTime":130.2,"endTime":136.76,"body":"dat het ook in HBO studies naar voren komt. Ja daar ben ik heel blij om weet je. Aan de ene kant"},{"startTime":136.76,"endTime":142.72,"body":"hebben we de research heel erg nodig, maar hebben we ook de praktijk nodig. De HBO's zijn iets meer"},{"startTime":142.72,"endTime":150.44,"body":"op de praktische invulling. Die combinatie is goud. Ja ja en dan pakken ze ook gelijk nog een stukje"},{"startTime":150.44,"endTime":156.36,"body":"in de studies mee over data engineering. Zodat ook dat soort zaken en hoe ga je met CI/CD en de"},{"startTime":156.36,"endTime":163.6,"body":"software kanten van. Ja echt een stap waar we in de uitvoer dat als basiskennis mee gaan krijgen"},{"startTime":163.6,"endTime":167.52,"body":"de komende jaren. Het is natuurlijk even wachten of ze ook de lichtingen eruit gaan rollen. Maar"},{"startTime":167.52,"endTime":173.24,"body":"ja als dat nu niet gebeurt dan zijn we al te laat. Eigenlijk zijn we nu al te laat, maar het is goed"},{"startTime":173.24,"endTime":179.28,"body":"dat het nu gebeurt. Ja fijn fijn. Ik weet dat ze in Den Bosch hadden ze al een opleiding hiervoor."},{"startTime":179.28,"endTime":186.44,"body":"Ik heb ook gehoord dat Den Haag gaat starten als ik het goed heb. Rotterdam er nu bij. Wie weet"},{"startTime":186.44,"endTime":191.76,"body":"welke hogescholen er nog meer bij dit soort initiatieven aansluiten. Ja alleen maar goed"},{"startTime":191.76,"endTime":197.64,"body":"nieuws. Zeker. Heerlijk heerlijk nieuws. Echt top. En jij Joop wat is jou opgevallen in het nieuws?"},{"startTime":197.64,"endTime":206.12,"body":"Nou ik heb iets dan iets minder gezellig en leuk nieuws. Er is een brief gekomen van de"},{"startTime":206.12,"endTime":213.16,"body":"staatssecretaris van Financiën, Marnix van Rij, als ik het even uit mijn hoofd doe. Die heeft een"},{"startTime":213.16,"endTime":221.68,"body":"brief geschreven aan de Tweede Kamer na aanleiding van de rapporten die PwC heeft opgesteld. Ook weer"},{"startTime":221.68,"endTime":229.52,"body":"over de zwarte lijsten die er nu zijn bij de Belastingdienst. Mensen zijn ongewild op"},{"startTime":229.52,"endTime":235.24,"body":"zwarte lijsten gekomen. Daar was het ook niet duidelijk van dat ze erop stonden. Laat staan"},{"startTime":235.24,"endTime":246.2,"body":"hoe ze erop zijn gekomen. Met grote consequenties. En onze gast Marlies van Eck van een aantal"},{"startTime":246.2,"endTime":252.8,"body":"afleveringen geleden die postte daar ook over. Zij heeft een scriptie natuurlijk geschreven over"},{"startTime":252.8,"endTime":260.68,"body":"geautomatiseerde besluiten binnen de overheid. En zij had hier ook al vragen over gesteld."},{"startTime":260.68,"endTime":266.08,"body":"Waarbij ze heel vaak het antwoord kreeg van de bedrijfsjuristen van de achteren. Dit is toch"},{"startTime":266.08,"endTime":278.52,"body":"maar eenvoudige machine learning. Oftewel weet je, wat kan er misgaan? En als je dan in die..."},{"startTime":278.52,"endTime":284.4,"body":"Ja, eigenlijk moeten we er niet op lachen natuurlijk. Eigenlijk moeten we erom huilen."},{"startTime":284.4,"endTime":288.28,"body":"Maar goed, we kunnen er maar beter om lachen. Het is echt dramatisch. En dan echt waar,"},{"startTime":288.28,"endTime":293.56,"body":"op de eerste pagina van de brief. En ik ga het je gewoon letterlijk voorlezen. Dat ik het niet"},{"startTime":293.56,"endTime":302.56,"body":"verkeerd weergeef. Is, daar zegt de staatssecretaris, die zegt, voordat ik in deze brief nader inga op"},{"startTime":302.56,"endTime":307.68,"body":"de conclusies van PwC, hecht ik er aan te benadrukken dat de Belastingdienst alleen die"},{"startTime":307.68,"endTime":312.44,"body":"gegevens in zijn selectieprocessen dient te gebruiken die aan toonbaar relevant en objectief"},{"startTime":312.44,"endTime":317.44,"body":"gerechtvaardig zijn om te kunnen controleren of de fiscale wet en regelgeving op de juiste"},{"startTime":317.44,"endTime":324.64,"body":"manier is toegepast. Voor de Belastingdienst geldt hier als overheidsorganisatie een hoge norm."},{"startTime":324.64,"endTime":330.08,"body":"Selectie kan nooit plaatsvinden op karakteristieken van de belastingbeplichtigingen die niet relevant"},{"startTime":330.08,"endTime":336.48,"body":"zijn. Wat zij gevonden hebben, ik sla een heel klein stukje over, zijn vermeldingen van nationaliteit"},{"startTime":336.48,"endTime":342.8,"body":"en handleidingen. En een daderprofiel vindt die onacceptabel en moreel verwerpelijk. Het"},{"startTime":342.8,"endTime":350.24,"body":"blijkt dus dat ze dingen hebben meegenomen als nationaliteit. Of jij wel of niet een gift hebt"},{"startTime":350.24,"endTime":358.04,"body":"gedaan aan een moskee. Er zitten allerlei data, zeg maar is er gekozen als features voor de modellen,"},{"startTime":358.04,"endTime":366.64,"body":"die gewoon een garantie zijn op discriminatie. We hebben verschillende podcasten gehad over"},{"startTime":366.64,"endTime":375.52,"body":"hoe je bias detecteert, wat je er mee moet, hoe je aan fairness komt. Luister ze terug zou ik zeggen."},{"startTime":375.52,"endTime":383.32,"body":"Maar één van de dingen is, hier is gewoon een keuze gemaakt om te discrimineren zou ik zeggen. Dat is"},{"startTime":383.32,"endTime":389.6,"body":"bijna mijn conclusie, dat staat er niet. Maar dit is garantie. Je neemt dingen mee waarvan je weet"},{"startTime":389.6,"endTime":397.36,"body":"dat het problemen gaat opleveren. En ik blijf dan te hopen dat het onbewust onbekwaam is. En dat het"},{"startTime":397.36,"endTime":401.68,"body":"niet bewust onbekwaam is. Want anders dan zijn we wel ver van het padje. Maar blijkbaar hebben we"},{"startTime":401.68,"endTime":407.64,"body":"nog niet de gebruikersgroep aan de podcast gekozen in Sint-Joop. Dus we hebben daar nog wat werk te"},{"startTime":407.64,"endTime":414.08,"body":"doen om ook die mensen te bereiken. Dat is echt heel erg. En jij bent dan optimistischer blijkbaar"},{"startTime":414.08,"endTime":421.12,"body":"dan ik, maar ik iets minder. En ik wil je nog twee stukjes voorleggen. Dit gaat over maken van keuzes."},{"startTime":421.12,"endTime":426.16,"body":"In onze vorige podcast zeggen we, weet je, in je ontwerp moet je heel goed nadenken waar wil je op"},{"startTime":426.16,"endTime":430.4,"body":"optimaliseren? Wat wil je ermee bereiken? Wat is je doel? Allemaal dat soort zaken. Dat kan je niet"},{"startTime":430.4,"endTime":437.52,"body":"automatiseren. Dat past in geen enkel proces. Dat heeft te maken met je cultuur en normenwaarde."},{"startTime":437.52,"endTime":445.48,"body":"Ja, toch? Dat soort zaken. Maar goed, komen we bij de volgende twee punten. En dan laat ik het er ook"},{"startTime":445.48,"endTime":455.84,"body":"bij. Ik ben boos genoeg. Een van de conclusies is beslisregels en de handelswijze van de"},{"startTime":455.84,"endTime":462.16,"body":"Belastingdienst waren niet vastgelegd, niet gearchiveerd, niet herleidbaar en niet reproduceerbaar."},{"startTime":462.16,"endTime":467.56,"body":"Dat is een van de redenen waar we het in onze vorige podcast over hebben gehad met MLOps,"},{"startTime":467.56,"endTime":475.4,"body":"dat dat gewoon onderdeel van je geautomatiseerd proces is. Ik bedoel, dit is bijna een keuze"},{"startTime":475.4,"endTime":479.92,"body":"om amateuristisch aan de slag te gaan. Ja, maar hoe kan je dit niet afleveren?"},{"startTime":479.92,"endTime":483.88,"body":"Onze vorige aflevering is professionaliseren van machine learning modellen met MLOps en"},{"startTime":483.88,"endTime":489.64,"body":"dan zeggen we, dit hoort er allemaal bij. Als je professioneel bezig bent met machine learning,"},{"startTime":489.64,"endTime":495.24,"body":"horen dingen erbij als herleidbaarheid, reproduceerbaarheid en dat je gewoon"},{"startTime":495.24,"endTime":500.52,"body":"de beslissingen vastlegt. Dus hier zeggen we eigenlijk, het is gewoon"},{"startTime":500.52,"endTime":511.6,"body":"onprofessioneel gedrag. Onprofessioneel uitgevoerd. Dit is gewoon niet goed omgaan met de technologie."},{"startTime":511.6,"endTime":519.12,"body":"En dan echt de laatste. Er staat een reconstructie van de selectiegronden en motivatie binnen queries"},{"startTime":519.12,"endTime":525.68,"body":"en analyse aan de poort. Valt volgens PwC niet te maken. Toegepaste selectieregels zijn in"},{"startTime":525.68,"endTime":535.8,"body":"werking niet meer op sluitende wijze te reconstructeren. Hier zeggen ze ook eigenlijk,"},{"startTime":535.8,"endTime":543.2,"body":"er zijn besluiten genomen. We weten niet op basis waarvan. We kunnen niet herleiden welke"},{"startTime":543.2,"endTime":548.92,"body":"regels daaraan de grondslag hebben gelegen. Welke versie van de regels en of dit, zeg maar,"},{"startTime":548.92,"endTime":554.84,"body":"menselijke besluiten zijn geweest, geautomatiseerde besluiten en op basis"},{"startTime":554.84,"endTime":560.28,"body":"van welke data. Nou, dan heb je zeg maar je traceerbaarheid op alle punten niet in orde."},{"startTime":560.28,"endTime":565.8,"body":"Ja, als we dan toch weer terugkijken naar de vorige aflevering over MLOps. Datgene wat wij"},{"startTime":565.8,"endTime":573.36,"body":"verstaan van professioneel MLOps en professionele development is dat gewoon een necessity onderdeel"},{"startTime":573.36,"endTime":578.08,"body":"van het product wat je oplevert. Zijn al die punten die hier eigenlijk ontbreken."},{"startTime":578.08,"endTime":584.0,"body":"Ja. Ja, je zei net optimistisch, maar ja, ik ben eigenlijk een rasoptimist. Ik probeer altijd wat"},{"startTime":584.0,"endTime":588.68,"body":"positief aan te zien, maar ik word hier toch richtelijk negatief van. Ik ga de rest van het"},{"startTime":588.68,"endTime":597.16,"body":"rapport ook niet lezen. Weet je wat, ik ga hem wel lezen. Ik wil het toch weten. Maar ja,"},{"startTime":597.16,"endTime":601.72,"body":"vrolijk ga ik er niet van horen als ik het zo hoor. We zullen in ieder geval eventjes de brief"},{"startTime":601.72,"endTime":607.24,"body":"opnemen in de beschrijving van de podcast. Dan kun je dat inderdaad even nalezen dat ik dat op de"},{"startTime":607.24,"endTime":612.6,"body":"juiste manier heb voorgelezen. Ja, nog een vraag die ik dan heb. Staat hier ook in wat ze eraan"},{"startTime":612.6,"endTime":619.28,"body":"gaan veranderen? Nou, het is vooral eigenlijk inderdaad allerlei acties en maatregelen."},{"startTime":619.28,"endTime":626.44,"body":"Een van de eerste maatregelen blijkbaar die ze genomen hebben is dit systeem uit productie,"},{"startTime":626.44,"endTime":631.96,"body":"dat die uit productie is gehaald. Maar ik ben bang zeg maar dat dit natuurlijk, weet je,"},{"startTime":631.96,"endTime":638.64,"body":"dit gaat verder dan alleen maar maatregelen nemen op het toepassen van deze technologie."},{"startTime":638.64,"endTime":644.88,"body":"Ik bedoel, de technologie is wat mij betreft niet het probleem. Hoe zijn ze hiermee omgegaan?"},{"startTime":644.88,"endTime":651.24,"body":"Weet je, jij noemde het nog onbewuste keuzes. Ik denk welke bewuste keuzes hebben ze gemaakt?"},{"startTime":651.24,"endTime":657.28,"body":"Zeg van, nou ja, hier willen we op selecteren en daar gaan we mee aan de slag. En dat er"},{"startTime":657.28,"endTime":662.44,"body":"niemand ergens bedacht heeft van, ja, maar we zullen toch ergens uitleg moeten kunnen geven"},{"startTime":662.44,"endTime":668.52,"body":"waarom iemand op een zwarte lijst is komen te staan. Ja, dat zegt iets over de cultuur."},{"startTime":668.52,"endTime":671.72,"body":"Nou ja, ik zat er niet in. Daar moet je eerst maar eens mee begonnen worden, toch?"},{"startTime":671.72,"endTime":676.84,"body":"Ja, we hebben het de vorige aflevering ook gezegd. Het zit zoveel in de cultuur en elkaar die vragen"},{"startTime":676.84,"endTime":682.12,"body":"stellen en elkaar kritisch de vragen durven te stellen. Inderdaad, hoe gaan we dit verantwoorden?"},{"startTime":682.12,"endTime":688.4,"body":"Wat vinden we van deze kwaliteit? Ja, dus kijk, er zitten dingen in als"},{"startTime":688.4,"endTime":695.76,"body":"een interne dialoog, dat gebruik van nationaliteit op dit soort dingen niet meer mag. Verdere"},{"startTime":695.76,"endTime":702.64,"body":"compliance in de processen, documentatie, allemaal dat soort dingen. Maar ik denk uiteindelijk dat het"},{"startTime":702.64,"endTime":711.84,"body":"gaat over mindset en toezicht. Volgens mij horen ze formeel, maar goed, dan geef ik me een beetje"},{"startTime":711.84,"endTime":717.96,"body":"op een glad ijs. Maar volgens mij hoort er formeel wel toezicht opgehouden te worden. En als dat ook"},{"startTime":717.96,"endTime":721.32,"body":"niet gebeurt, dan maakt het ook allemaal niet uit wat er gedaan wordt."},{"startTime":721.32,"endTime":726.56,"body":"Ja, en mijn persoonlijke ervaring is in dit soort veranderingen bij data ops en ops,"},{"startTime":726.56,"endTime":732.36,"body":"waarbij cultuur een belangrijk onderdeel is, is het dus dat het stukje educatie echt een"},{"startTime":732.36,"endTime":737.76,"body":"ondergeschoven kindje is. Gewoon met elkaar de kennis opdoen van hoe moeten we hiermee omgaan?"},{"startTime":737.76,"endTime":743.88,"body":"Ja, dat wordt gewoon te weinig gedaan en er wordt ook te weinig tijd voor gepakt. Alsjeblieft,"},{"startTime":743.88,"endTime":750.96,"body":"educeren, educeren. Ja, en om even naar een wat hoger niveau te tillen, want ik wil niet bashen"},{"startTime":750.96,"endTime":755.0,"body":"op de op de belastingdienst, want dat is heel makkelijk. Dit gebeurt gewoon…"},{"startTime":755.0,"endTime":761.4,"body":"Is een voorbeeld. Ja, je loopt makkelijk in deze valkuil, dat je denkt van ja, we willen een model,"},{"startTime":761.4,"endTime":767.48,"body":"die moet dit probleem oplossen. We gaan ermee aan de slag. En je vergeet eigenlijk alle"},{"startTime":767.48,"endTime":773.44,"body":"zaken die er omheen gedaan moeten worden om dit op een goede manier en op een moreel verantwoorde"},{"startTime":773.44,"endTime":779.76,"body":"manier aan te pakken. Dus het is echt niet… Het is heel makkelijk om nu te schieten op de"},{"startTime":779.76,"endTime":785.64,"body":"belastingdienst. Zij hebben de tussen aanhalingstekens pech dat het heel zichtbaar is en"},{"startTime":785.64,"endTime":793.36,"body":"de mensen die dit treft hebben een nog veel grotere pech dat ze daar ontzettend veel last van hebben."},{"startTime":793.36,"endTime":802.72,"body":"Maar dit gebeurt ook ongezien bij andere bedrijven, misschien net zo grote schaal of kleinere schaal."},{"startTime":802.72,"endTime":808.68,"body":"Dus dat professionaliseren is gewoon een heel belangrijk punt. Wat ik in ieder geval mee wil"},{"startTime":808.68,"endTime":815.72,"body":"geven aan onze luisteraars, denk eraan en denk vooral niet van, ja, weet je, het model doet"},{"startTime":815.72,"endTime":825.4,"body":"het. Daar gaat het om. We hebben even wat in elkaar gesleuteld. Bij professioneel machine"},{"startTime":825.4,"endTime":830.92,"body":"learning bouwen horen al dit soort aspecten. Ja, het gaat verder dan de techniek. We moeten"},{"startTime":830.92,"endTime":835.76,"body":"even naar buiten kijken. Wat was de impact die we maken? Technisch zijn we heel blij als die af"},{"startTime":835.76,"endTime":841.28,"body":"is, maar dan is het nog niet af. Dan hebben we iets waar we de dialoog over kunnen aangaan en"},{"startTime":841.28,"endTime":847.0,"body":"vervolgens moeten we overheen itereren om dat professioneel in te kunnen zetten. We moeten nu"},{"startTime":847.0,"endTime":853.4,"body":"inderdaad die volgende stap met elkaar moeten maken om van de techniek wat dan werkt door te"},{"startTime":853.4,"endTime":860.48,"body":"gaan naar een continue ontwikkeling. Ja, en als we dan draaien naar goed nieuws, dan is het in ieder"},{"startTime":860.48,"endTime":866.2,"body":"geval dat door dit soort dingen die naar buiten komen er hopelijk ook echt een bittere noodzaak"},{"startTime":866.2,"endTime":870.96,"body":"ontstaat om dit gewoon beter aan te pakken. Ja, volgens mij hebben we dit soort verhalen ook"},{"startTime":870.96,"endTime":876.24,"body":"nodig om elkaar te zeggen van \"hé, maar we willen dat niet hier hebben, want als we dit soort voorbeelden"},{"startTime":876.24,"endTime":882.32,"body":"niet hebben, dan zien we ook de verandering niet. Dus het is noodzakelijk dat we het hier wel met"},{"startTime":882.32,"endTime":886.0,"body":"elkaar over hebben zonder dat de bedoeling is om te blijven bashen inderdaad. Ja, precies."},{"startTime":886.0,"endTime":904.0,"body":"Mooi! Dat was hem. Tot de volgende! Yo! Hoi hoi!"},{"startTime":904.0,"endTime":905.32,"body":"Tot de volgende keer!"},{"startTime":905.32,"endTime":905.92,"body":"."},{"startTime":905.92,"endTime":906.92,"body":"."}]}