{"version":"1.0.0","segments":[{"startTime":0.001,"endTime":8.84,"body":"In deze aflevering van de AIToday Live podcast praten Niels Naglé, chapter lead Data \u0026 AI"},{"startTime":8.84,"endTime":13.52,"body":"Info Support en ik, CTO bij Aigency, over het professionaliseren van machinelearningmodellen"},{"startTime":13.52,"endTime":14.52,"body":"met ML-optie."},{"startTime":14.52,"endTime":15.52,"body":"Leuk dat je luistert."},{"startTime":15.52,"endTime":21.0,"body":"We zijn alweer bij de vijfde aflevering."},{"startTime":21.0,"endTime":23.6,"body":"Ja, het vliegt voorbij joh."},{"startTime":23.6,"endTime":27.76,"body":"Laten we er wat meer aan doen dit seizoen, anders zijn we er dadelijk alweer doorheen."},{"startTime":27.76,"endTime":30.56,"body":"Ja zeker, dat lijkt me ook een goed plan."},{"startTime":30.56,"endTime":33.76,"body":"De frequentie is ook een beetje hoger met onze bite-size afleveringen."},{"startTime":33.76,"endTime":37.56,"body":"Ja leuk, ik heb er weer zin in vandaag."},{"startTime":37.56,"endTime":42.6,"body":"We gaan het hebben over het professionaliseren van machinelearningmodellen met MLOps."},{"startTime":42.6,"endTime":46.04,"body":"Dus laten we daar maar meteen induiken toch?"},{"startTime":46.04,"endTime":47.04,"body":"Ja, ML-ops."},{"startTime":47.04,"endTime":48.32,"body":"Neem ons mee."},{"startTime":48.32,"endTime":50.84,"body":"Wat versta jij eronder Joop, onder MLOps?"},{"startTime":50.84,"endTime":53.84,"body":"Want de term komt natuurlijk veel, veel ervoor en veel artikelen."},{"startTime":53.84,"endTime":57.64,"body":"Nogal wisselend wat mensen eronder verstaan, dus ik ben wel benieuwd."},{"startTime":57.64,"endTime":61.28,"body":"Als we het over MLOps hebben, wat denk jij dan aan?"},{"startTime":61.28,"endTime":65.8,"body":"Nou kijk, laat ik eens beginnen met waar je het voor nodig hebt."},{"startTime":65.8,"endTime":71.72,"body":"Dus wat wij veel in de praktijk zien is dat machinelearningmodellen ontworpen, gebouwd"},{"startTime":71.72,"endTime":76.84,"body":"worden, die gaan naar productie en dan komt er een soort van zucht van verlichting."},{"startTime":76.84,"endTime":79.16,"body":"Hij staat er, klaar."},{"startTime":79.16,"endTime":82.44,"body":"Maar eigenlijk begint het dan pas."},{"startTime":82.44,"endTime":91.0,"body":"Als zo'n model niet goed beheerd wordt, dan staat een succes van zo'n machinelearningmodel"},{"startTime":91.0,"endTime":92.0,"body":"uiteindelijk in de weg."},{"startTime":92.0,"endTime":98.08,"body":"Dus het kan niet heel goed hebben gedaan in de trainingsomgeving en dan ga je zien dat"},{"startTime":98.08,"endTime":100.16,"body":"in productie dat je tegen van alles aanloopt."},{"startTime":100.16,"endTime":102.16,"body":"Daar zal ik zo direct even wel wat meer over vertellen."},{"startTime":102.16,"endTime":111.32,"body":"Dus als je maximale waarde uit het machinelearningmodel wil blijven halen, dan is het nodig dat die"},{"startTime":111.32,"endTime":113.92,"body":"ook op een goede manier beheerd wordt."},{"startTime":113.92,"endTime":119.36,"body":"En wat ga je dan krijgen is dat je net als bij, misschien kennen mensen die term wel"},{"startTime":119.36,"endTime":125.2,"body":"DevOps of DataOps, dat je de development, dus het ontwikkelen, bouwen op een bepaalde"},{"startTime":125.2,"endTime":129.48,"body":"manier aanpakt, zodanig dat het beheer ook eenvoudiger wordt."},{"startTime":129.48,"endTime":136.08,"body":"Dat breng je samen en dat heet dan eigenlijk MLOps Machine Learning."},{"startTime":136.08,"endTime":144.4,"body":"Machine Learning, sorry, mijn microfoon die gaat even de verkeerde kant op."},{"startTime":144.4,"endTime":149.92,"body":"Die ga ik even anders zetten, anders hoor ik helemaal niks meer."},{"startTime":149.92,"endTime":154.6,"body":"Niels en ik nemen deze podcast nog steeds online op en hier ging er wat technisch bij"},{"startTime":154.6,"endTime":159.6,"body":"mij mis, maar we hebben even geknipt en gaan weer door."},{"startTime":159.6,"endTime":162.52,"body":"Er ging even iets fout met mijn setup."},{"startTime":162.52,"endTime":165.92,"body":"Ik ga gewoon verder waar ik gebleven ben."},{"startTime":165.92,"endTime":176.6,"body":"Net als bij DevOps, DataOps, wat je gaat doen is dat je ontwikkel, bouw en beheer breng"},{"startTime":176.6,"endTime":179.76,"body":"je samen in een gezamenlijk proces."},{"startTime":179.76,"endTime":184.64,"body":"Dus ML-ops staat ook voor Machine Learning en Operations samen."},{"startTime":184.64,"endTime":192.76,"body":"Dat zorgt ervoor dat je een aantal valkuilen die je hebt, misschien wat beter tegen kan"},{"startTime":192.76,"endTime":193.76,"body":"gaan."},{"startTime":193.76,"endTime":199.28,"body":"Dus je gaat het ook meer zien als een life cycle dan eenmalige opleveringen, als een"},{"startTime":199.28,"endTime":200.28,"body":"beleving?"},{"startTime":200.28,"endTime":204.08,"body":"Ja, het is zeker een life cycle."},{"startTime":204.08,"endTime":209.0,"body":"Eigenlijk zou je beter kunnen spreken over een MLOps cultuur, waarbij je een aantal"},{"startTime":209.0,"endTime":216.4,"body":"processen samen met tooling samenbrengt, waardoor je op een professionele manier ML-modellen"},{"startTime":216.4,"endTime":220.36,"body":"kan bouwen en kan gaan beheren."},{"startTime":220.36,"endTime":227.12,"body":"Dus het is niet zeker niet alleen maar technologie, het is heel veel juist cultuur en aanpak en"},{"startTime":227.12,"endTime":229.4,"body":"processen en afspraken met elkaar."},{"startTime":229.4,"endTime":231.52,"body":"Zeker, het gaat heel veel over cultuur."},{"startTime":231.52,"endTime":238.96,"body":"Het gaat heel veel over van waar sta je voor, wat wil je gedaan hebben, hoeveel wil je geautomatiseerd"},{"startTime":238.96,"endTime":246.12,"body":"hebben, hoe wil je geautomatiseerd zaken getest hebben, hoe wil je monitoring inregelen, hoe"},{"startTime":246.12,"endTime":253.52,"body":"wil je zorgen dat je geen discriminatie in je modellen hebt en hoe zorg je dat je dat"},{"startTime":253.52,"endTime":255.0,"body":"vooral herhaalbaar hebt."},{"startTime":255.0,"endTime":262.88,"body":"Dus dat je niet eenmalig dat hebt ingeregeld met handmatige procedures, maar zodanig dat"},{"startTime":262.88,"endTime":268.92,"body":"het geautomatiseerd is, dat als er iets afwijkt van de waarde die je gesteld hebt, een waarde"},{"startTime":268.92,"endTime":275.6,"body":"in de zin van je policies en dat soort zaken, dat je daarop geattendeerd wordt en dat je"},{"startTime":275.6,"endTime":282.8,"body":"een model niet in productie krijgt voordat je die voorwaarden voldaan hebt."},{"startTime":282.8,"endTime":288.08,"body":"Ja en dan nog wel een stukje verder, als het in productie is, dat je dat blijft monitoren"},{"startTime":288.08,"endTime":293.88,"body":"en dat je daar blijft controleren, want de data verandert, de omgeving verandert, dat"},{"startTime":293.88,"endTime":297.64,"body":"je dat meeneemt in jouw proces en ontwikkeling en daar continu ook over nadenkt."},{"startTime":297.64,"endTime":303.16,"body":"Ja, want ik heb een lijstje gemaakt van wat zijn nou eigenlijk valkuilen waar je tegenaan"},{"startTime":303.16,"endTime":304.72,"body":"loopt als je dit niet doet."},{"startTime":304.72,"endTime":314.44,"body":"En die eerste is bijvoorbeeld dat je als je in de loop van de tijd je model niet monitoort,"},{"startTime":314.44,"endTime":317.76,"body":"de prestaties van je model zul je ook zien dat die verslechterd."},{"startTime":317.76,"endTime":326.72,"body":"Dus je moet je prestaties moeten monitoren en als je je gegevenskwaliteit niet goed bewaakt,"},{"startTime":326.72,"endTime":329.72,"body":"dan gaat dat ook mis uiteindelijk in productie."},{"startTime":329.72,"endTime":334.6,"body":"Datadrift hebben we, dan kunnen we misschien zo direct even uitleggen wat dat is."},{"startTime":334.6,"endTime":341.88,"body":"Je afhankelijkheden in productie moet je blijven managen, zowel modellen onderling ten opzichte"},{"startTime":341.88,"endTime":346.36,"body":"van afhankelijkheden van data, maar ook van allerlei libraries die je misschien gebruikt"},{"startTime":346.36,"endTime":348.36,"body":"weer in development."},{"startTime":348.36,"endTime":353.96,"body":"En je hebt een reproduceerbaar ontwikkelen en implementatieproces nodig."},{"startTime":353.96,"endTime":363.76,"body":"Dus dat zijn eigenlijk de vijf valkuilen en misschien kunnen we die eens wat dieper induiken."},{"startTime":363.76,"endTime":366.68,"body":"Laten we gewoon beginnen bij de eerste, een stukje monitoring."},{"startTime":366.68,"endTime":369.68,"body":"Ja, die monitoring."},{"startTime":369.68,"endTime":376.72,"body":"Kijk, wat je gaat doen uiteindelijk bij die monitoring is dat je, daar heb je natuurlijk"},{"startTime":376.72,"endTime":379.64,"body":"allerlei verschillende metrieken kan je gebruiken."},{"startTime":379.64,"endTime":394.96,"body":"Het probleem is dat je model in productie gaat andere data zien dan de data die je hebt"},{"startTime":394.96,"endTime":396.96,"body":"gebruikt voor je trainingsset."},{"startTime":396.96,"endTime":408.12,"body":"Dus dat kan betekenen dat je het sowieso in een real life setting slechter doet dan tijdens"},{"startTime":408.12,"endTime":409.12,"body":"je training."},{"startTime":409.12,"endTime":411.92,"body":"En dat is bijna altijd wel zo."},{"startTime":411.92,"endTime":418.48,"body":"Dus je hebt een trainingsset, je hebt een testset en je ziet al dat die het vaak tegen"},{"startTime":418.48,"endTime":423.96,"body":"de testset al wat slechter doet, omdat die in die testset daar zit data die die niet in"},{"startTime":423.96,"endTime":425.48,"body":"de trainingsset gezien heeft."},{"startTime":425.48,"endTime":429.2,"body":"Dus daar zie je al een degradatie van de prestaties."},{"startTime":429.2,"endTime":431.8,"body":"Dat zijn vaak een paar procentpunten."},{"startTime":431.8,"endTime":435.4,"body":"En in productie moet je dat in de gaten houden."},{"startTime":435.4,"endTime":440.76,"body":"Wat je daar waarschijnlijk ook gaat zien is dat je allerlei outliers krijgt die je niet"},{"startTime":440.76,"endTime":448.44,"body":"hebt voorzien, die niet in die trainingsset zaten, maar die wel voorbij komen."},{"startTime":448.44,"endTime":452.24,"body":"En als ze vaker voorbij komen, wil je ze misschien ook gaan opnemen in je model."},{"startTime":452.24,"endTime":457.24,"body":"Dus ga je ze ook aanvinken, als zijn er van hier moet je ook optrainen, dit moet je ook"},{"startTime":457.24,"endTime":458.24,"body":"leren."},{"startTime":458.24,"endTime":460.92,"body":"Dus leren is geen eenmalige cyclus."},{"startTime":460.92,"endTime":468.36,"body":"Een goed model is uiteindelijk vele malen getraind, omdat je gevallen krijgt die je"},{"startTime":468.36,"endTime":469.36,"body":"nog niet gezien hebt."},{"startTime":469.36,"endTime":473.04,"body":"Een stukje context die een peripatie ook verandert."},{"startTime":473.04,"endTime":477.64,"body":"Dus ja, echt een levend organisme wat je moet voeden, bijhouden, af en toe polsen of het"},{"startTime":477.64,"endTime":478.64,"body":"goed gaat."},{"startTime":478.64,"endTime":485.24,"body":"Ja, anders blijft hij zeg maar zo slim of dom als dat je hem de eerste keer getraind hebt"},{"startTime":485.24,"endTime":487.08,"body":"en gaat er verder niks veranderen."},{"startTime":487.08,"endTime":493.6,"body":"Je noemde net wat metrieken, wat voor metrieken zijn dan de meest voorkomen die je in de praktijk"},{"startTime":493.6,"endTime":497.12,"body":"tegenkomt voor het monitoren van die modellen?"},{"startTime":497.12,"endTime":502.68,"body":"Nou ja, dat hangt uiteindelijk eigenlijk helemaal af van waar je het model ook op geoptimaliseerd"},{"startTime":502.68,"endTime":503.68,"body":"hebt."},{"startTime":503.68,"endTime":504.68,"body":"Dat zijn altijd keuzes."},{"startTime":504.68,"endTime":510.24,"body":"Dus als we even een hele eenvoudige pakken, iets als nauwekeurigheid."},{"startTime":510.24,"endTime":516.6,"body":"Als je hem daar op geoptimaliseerd hebt, dat doe je meestal niet hoor, maar stel een nauwekeurigheid."},{"startTime":516.6,"endTime":518.92,"body":"Dan kan je die ook in de gaten houden in productie."},{"startTime":518.92,"endTime":528.32,"body":"Want hoe nauwkeurig is uiteindelijk dat je nauwkeurigheid ten opzichte van wat je in"},{"startTime":528.32,"endTime":535.2,"body":"je trainingsset of in je dataset hebt gezien, of in je trainingset of testset hebt gezien."},{"startTime":535.2,"endTime":541.0,"body":"Maar wat misschien natuurlijk interessanter is, is dat je gaat bijhouden van bijvoorbeeld"},{"startTime":541.0,"endTime":544.24,"body":"je false positives of je false negatives."},{"startTime":544.24,"endTime":550.4,"body":"Je kan je voorstellen dat je in de ene context dat het belangrijker is om op false positives"},{"startTime":550.4,"endTime":554.76,"body":"te optimaliseren dan op false negatives of juist andersom."},{"startTime":554.76,"endTime":557.8,"body":"Nou ja, dat moet je gaan monitoren."},{"startTime":557.8,"endTime":561.4,"body":"En om dat te monitoren, moet je vaak wel iets gaan inregelen."},{"startTime":561.4,"endTime":565.8,"body":"Dat je ook weet dat er false negatives langs zijn geweest."},{"startTime":565.8,"endTime":567.84,"body":"Die kan je niet automatisch aanvinken."},{"startTime":567.84,"endTime":579.12,"body":"Dus als je een diagnose doet in een ziekenhuis, wanneer weet je dat het een false positive"},{"startTime":579.12,"endTime":580.12,"body":"was."},{"startTime":580.12,"endTime":584.52,"body":"Dus die gegevens moeten wel weer terug."},{"startTime":584.52,"endTime":589.96,"body":"Dus dat moet je eigenlijk zien als onderdeel van je product, wat gewoon bij je model hoort."},{"startTime":589.96,"endTime":592.48,"body":"Die metrieken zijn gewoon onderdeel van de oplossing."},{"startTime":592.48,"endTime":594.6,"body":"Vandaar dat je waarschijnlijk ook zegt, het zit veel in de cultuur."},{"startTime":594.6,"endTime":599.04,"body":"Mensen moeten het als een gemeen goed gaan ervaren dat dit er gewoon bij hoort."},{"startTime":599.04,"endTime":602.4,"body":"Ik zit net op datum, ik ben net op een conferentie geweest met datums."},{"startTime":602.4,"endTime":603.72,"body":"Ik zie zoveel raakvlak."},{"startTime":603.72,"endTime":607.68,"body":"Dat je niet weet wat erin gaat komen en wat er vervolgens weer uit moet gaan komen."},{"startTime":607.68,"endTime":608.88,"body":"Dat verandert gewoon continu."},{"startTime":608.88,"endTime":610.44,"body":"En dat goed kunnen monitoren."},{"startTime":610.44,"endTime":612.12,"body":"Klinkt heel makkelijk om zo te zeggen."},{"startTime":612.12,"endTime":614.28,"body":"Maar er komt ook nog heel veel bij kijken."},{"startTime":614.28,"endTime":615.28,"body":"Er komt heel veel bij kijken."},{"startTime":615.28,"endTime":620.92,"body":"Dus dat betekent ook dat je dat echt in je ontwerpproces mee moet nemen."},{"startTime":620.92,"endTime":623.48,"body":"Dat je weet van hier optimaliseren we op."},{"startTime":623.48,"endTime":627.04,"body":"Hoe weten we nou dat daar problemen ontstaan?"},{"startTime":627.04,"endTime":629.2,"body":"Dus ook dat deel moet je ontwerpen."},{"startTime":629.2,"endTime":633.92,"body":"Het begint al heel simpel door gewoon de vraag te stellen aan elkaar."},{"startTime":633.92,"endTime":640.08,"body":"Hoe gaan we dit in de toekomst kunnen valideren of die nog goed is of goed genoeg is."},{"startTime":640.08,"endTime":641.08,"body":"Precies."},{"startTime":641.08,"endTime":647.96,"body":"Dus dat is inderdaad makkelijk gezegd, maar wat moeilijker gedaan."},{"startTime":647.96,"endTime":651.92,"body":"Dan krijg ik ook nog een telefoon."},{"startTime":651.92,"endTime":653.44,"body":"Het gaat vandaag goed zo."},{"startTime":653.44,"endTime":657.12,"body":"Ja, volgende keer gaan we gewoon weer aan de keukentaf zitten."},{"startTime":657.12,"endTime":658.12,"body":"Ja toch?"},{"startTime":658.12,"endTime":664.24,"body":"Andere die ik genoemd had is natuurlijk even kijken."},{"startTime":664.24,"endTime":665.24,"body":"Ik pak mijn lijstje erbij."},{"startTime":665.24,"endTime":668.08,"body":"O ja, die gegevenskwaliteit die niet goed wordt bewaard."},{"startTime":668.08,"endTime":672.4,"body":"Nou ja, ik denk dat jij daar nog wat beter van kan zeggen dan dat ik dat doe."},{"startTime":672.4,"endTime":673.4,"body":"Wat dat betekent."},{"startTime":673.4,"endTime":676.0,"body":"Ja, daar komt het stukje data op."},{"startTime":676.0,"endTime":678.96,"body":"En dat is denk ik dat gewoon ook gemeengoed moet gaan worden."},{"startTime":678.96,"endTime":681.48,"body":"En daar zie je hetzelfde als bij MLOps."},{"startTime":681.48,"endTime":683.6,"body":"Het is gewoon continu de vraag stellen."},{"startTime":683.6,"endTime":685.52,"body":"Hoe houden we in de gaten?"},{"startTime":685.52,"endTime":686.68,"body":"Wat verandert er?"},{"startTime":686.68,"endTime":688.08,"body":"Is het goed wat er verandert?"},{"startTime":688.08,"endTime":689.16,"body":"Is dit wat we verwachten?"},{"startTime":689.16,"endTime":695.36,"body":"En dat geldt niet anders voor de data die richting ML gaat als via reporting of data warehouses"},{"startTime":695.36,"endTime":696.68,"body":"of andere data platformen."},{"startTime":696.68,"endTime":702.4,"body":"Het gewoon de mindset hebben om continu de thermometer eigenlijk te hebben waar alle"},{"startTime":702.4,"endTime":703.68,"body":"data langs stroomt."},{"startTime":703.68,"endTime":707.88,"body":"Dat wordt gewoon steeds belangrijker, vooral als je het met ketens te maken gaat hebben."},{"startTime":707.88,"endTime":709.4,"body":"Welke keet heeft er aangezeten?"},{"startTime":709.4,"endTime":710.96,"body":"Wat is er veranderd?"},{"startTime":710.96,"endTime":711.96,"body":"Wat niet?"},{"startTime":711.96,"endTime":712.96,"body":"Wat wel?"},{"startTime":712.96,"endTime":713.96,"body":"En ook die metrieken inderdaad."},{"startTime":713.96,"endTime":716.52,"body":"Hoe divers is de data?"},{"startTime":716.52,"endTime":721.12,"body":"Zie je wel steeds meer dat dat gemeengoed moet gaan worden."},{"startTime":721.12,"endTime":724.6,"body":"Maar ook hier, makkelijk gezegd, moeilijk in de uitvoer."},{"startTime":724.6,"endTime":727.28,"body":"Want ja, het komt overal terug."},{"startTime":727.28,"endTime":728.72,"body":"Het is overal metadata."},{"startTime":728.72,"endTime":732.32,"body":"Dus om dat goed te doen is het kleine stapjes maken."},{"startTime":732.32,"endTime":735.36,"body":"En het in de mindset en de cultuur meenemen."},{"startTime":735.36,"endTime":737.64,"body":"Hoe belangrijk die kwaliteit in die monitoring is."},{"startTime":737.64,"endTime":738.64,"body":"Ja, precies."},{"startTime":738.64,"endTime":744.32,"body":"En waar we het net over hadden van een model wordt niet één keer getraind en daarmee is"},{"startTime":744.32,"endTime":745.32,"body":"het klaar."},{"startTime":745.32,"endTime":753.16,"body":"Dus als jij weer traint met historische nieuwe gegevens en daar is die kwaliteit ook niet"},{"startTime":753.16,"endTime":754.16,"body":"goed van."},{"startTime":754.16,"endTime":761.6,"body":"Wat je aan het doen bent is dat je die vervuiling ook weer terugkrijgt in die training, waardoor"},{"startTime":761.6,"endTime":764.96,"body":"de prestaties van je modellen nog verder zullen verminderen."},{"startTime":764.96,"endTime":769.64,"body":"En je krijgt een loop waarin de problemen zich steeds verder opstapelen."},{"startTime":769.64,"endTime":774.76,"body":"Ja, en wat mij betreft zit daar ook een stukje cultuur bij DataOps."},{"startTime":774.76,"endTime":779.56,"body":"Met elkaar het belang zien van die data kwaliteit."},{"startTime":779.56,"endTime":784.44,"body":"Want in de praktijk komen we nog heel vaak tegen dat die data gewoon fout is aangeleverd."},{"startTime":784.44,"endTime":786.76,"body":"Daar moeten we niet meer genoeg mee nemen, jongens."},{"startTime":786.76,"endTime":790.04,"body":"We moeten gewoon om de tafel gaan van waar zit dan die fout?"},{"startTime":790.04,"endTime":792.36,"body":"Kom erbij, wat gaat hier fout?"},{"startTime":792.36,"endTime":793.8,"body":"Wat is de impact hiervan?"},{"startTime":793.8,"endTime":797.48,"body":"Want heel vaak beseffen mensen niet wat er in de keten erachter zit."},{"startTime":797.48,"endTime":804.56,"body":"Wat het belang is van die controle aan de poort bij invoer van de applicatie of in een systeem."},{"startTime":804.56,"endTime":809.44,"body":"Voor een deel is het echt ook wel automatisierbaar en testbaar."},{"startTime":809.44,"endTime":817.4,"body":"Dus als jij goed in een data catalog vastlegt hoe jouw data eruit ziet, tenminste wat je"},{"startTime":817.4,"endTime":818.4,"body":"verwachtingen zijn."},{"startTime":818.4,"endTime":821.88,"body":"Dus je kan heel goed vastleggen van wat voor type verwacht ik?"},{"startTime":821.88,"endTime":825.32,"body":"Mag het wel of geen lege velden bevatten?"},{"startTime":825.32,"endTime":826.32,"body":"Bandbreedte?"},{"startTime":826.32,"endTime":829.56,"body":"Ja, precies, minmax waarde, distributie."},{"startTime":829.56,"endTime":835.32,"body":"Er zijn echt heel veel karakteristieken die je van een dataset kan vastleggen."},{"startTime":835.32,"endTime":839.2,"body":"Waardoor je ook daar gewoon testen op kan schrijven."},{"startTime":839.2,"endTime":844.8,"body":"Dat als je aan de input krijgt, die zegt van hey voldoet dat überhaupt eigenlijk wel aan"},{"startTime":844.8,"endTime":846.44,"body":"mijn metadata beschrijving?"},{"startTime":846.44,"endTime":847.44,"body":"Zo niet."},{"startTime":847.44,"endTime":848.44,"body":"Dat is een signaal."},{"startTime":848.44,"endTime":851.44,"body":"Wat doen we er dan mee?"},{"startTime":851.44,"endTime":854.44,"body":"En wie gaat het oppakken?"},{"startTime":854.44,"endTime":859.0,"body":"Want in het begin is het effect misschien klein, maar naarmate je verder de keten in"},{"startTime":859.0,"endTime":862.44,"body":"gaat is de impact misschien wel huge, maar weet je het nog niet inderdaad."},{"startTime":862.44,"endTime":863.44,"body":"Precies."},{"startTime":863.44,"endTime":869.48,"body":"En ook daar kan AI juist behelpen om die anomalies juist in die datastromen te ontdekken."},{"startTime":869.48,"endTime":871.04,"body":"Ja toch?"},{"startTime":871.04,"endTime":876.64,"body":"Ook hier, dat doe je vaak, wordt het al gedaan in de praktijk, dat alle datasystemen die worden"},{"startTime":876.64,"endTime":879.24,"body":"gemonitord en geprofiled, kijken of er data in zit."},{"startTime":879.24,"endTime":882.2,"body":"Maar ook daar zie je vaak dat het een eenmalige acquisitie is."},{"startTime":882.2,"endTime":884.36,"body":"Even kijken wat nu de kwaliteit is."},{"startTime":884.36,"endTime":889.4,"body":"Maar ook dat moet een continue stroom zijn om dat te blijven monitoren."},{"startTime":889.4,"endTime":892.08,"body":"Dus we moeten van periodiek naar continu."},{"startTime":892.08,"endTime":894.96,"body":"En dat is een stap die gewoon gemaakt moet gaan worden."},{"startTime":894.96,"endTime":898.88,"body":"Ja en als je het hebt over professionalisering."},{"startTime":898.88,"endTime":902.92,"body":"We zijn begonnen met professionaliseren van het bouwen van machine learning modellen met"},{"startTime":902.92,"endTime":903.92,"body":"MLOps."},{"startTime":903.92,"endTime":906.68,"body":"Dus dit wel echt een hele belangrijke stap wat jij zegt."},{"startTime":906.68,"endTime":910.28,"body":"Het is niet periodiek, maar het is echt continu."},{"startTime":910.28,"endTime":912.56,"body":"Ja en dat vergt een andere mindset."},{"startTime":912.56,"endTime":918.04,"body":"En dat seipelt dan door in de technologie en de processen die je hebt."},{"startTime":918.04,"endTime":922.64,"body":"Maar het is de mindset van we moeten hier continu mee kunnen kijken."},{"startTime":922.64,"endTime":923.64,"body":"Precies."},{"startTime":923.64,"endTime":927.92,"body":"En hier lopen we natuurlijk echt wel heel vaak tegenaan."},{"startTime":927.92,"endTime":933.92,"body":"Ja en er is ook nog geen oplossing."},{"startTime":933.92,"endTime":935.8,"body":"We zien heel veel goede initiatieven."},{"startTime":935.8,"endTime":938.04,"body":"Mensen zien het belang er ook steeds meer van in."},{"startTime":938.04,"endTime":939.04,"body":"Dus dat is het mooie."},{"startTime":939.04,"endTime":944.12,"body":"Maar de oplossing en de automatisering qua tooling om die datastromen die continu zijn"},{"startTime":944.12,"endTime":945.32,"body":"goed te kunnen monitoren."},{"startTime":945.32,"endTime":948.0,"body":"Die moeten ook nog verder ontwikkeld worden."},{"startTime":948.0,"endTime":951.12,"body":"Ook daar is gewoon een volwassenheid in de markt daarop voor het automatische testen."},{"startTime":951.12,"endTime":952.4,"body":"Het begint wel steeds meer te komen."},{"startTime":952.4,"endTime":955.92,"body":"Maar het is er nog niet zoals je zou willen."},{"startTime":955.92,"endTime":959.2,"body":"Ja en voor de data engineers die luisteren."},{"startTime":959.2,"endTime":963.96,"body":"In die zin zeg maar helpt de machine learning die er bovenop komt."},{"startTime":963.96,"endTime":967.24,"body":"Want die vergroten dit soort problemen uit."},{"startTime":967.24,"endTime":970.96,"body":"Waardoor de noodzaak om dit aan te pakken ook steeds groter wordt."},{"startTime":970.96,"endTime":971.96,"body":"Ja zeker."},{"startTime":971.96,"endTime":974.4,"body":"Dat is zeker een mooi effect die erbij komt kijken."},{"startTime":974.4,"endTime":976.28,"body":"Omdat AI gaan we mee starten."},{"startTime":976.28,"endTime":979.16,"body":"Dan wordt de datakwaliteit als die nog niet is, wordt die in kaart gebracht."},{"startTime":979.16,"endTime":981.64,"body":"En vice versa als je weet waar de kwaliteit goed is."},{"startTime":981.64,"endTime":984.6,"body":"Dan kan je daar de betere AI casus op loslaten."},{"startTime":984.6,"endTime":985.8,"body":"Dus het versterkt elkaar."},{"startTime":985.8,"endTime":987.72,"body":"En dat is echt een hele goede ontwikkeling."},{"startTime":987.72,"endTime":988.72,"body":"Precies."},{"startTime":988.72,"endTime":996.56,"body":"De volgende die we hebben was dat de data drift niet beheerd wordt."},{"startTime":996.56,"endTime":1000.24,"body":"Dat het drift moet misschien even uitgelegd worden."},{"startTime":1000.24,"endTime":1006.24,"body":"Wat je hebt is dat je je omgeving kan zodanig veranderen."},{"startTime":1006.24,"endTime":1009.6,"body":"Dat je heel andere type data krijgt."},{"startTime":1009.6,"endTime":1016.88,"body":"Dat je model daar niet meer op toegespitst is."},{"startTime":1016.88,"endTime":1026.48,"body":"En ik denk het allerbeste voorbeeld is gewoon de switch dat wij voor corona in corona kwamen."},{"startTime":1026.48,"endTime":1032.44,"body":"Eén keer veranderde voor heel veel bedrijven hun context."},{"startTime":1032.44,"endTime":1038.6,"body":"Als je bijvoorbeeld in een webshop veranderde de wereld."},{"startTime":1038.6,"endTime":1040.8,"body":"Als je in een ziekenhuis veranderde de wereld."},{"startTime":1040.8,"endTime":1049.8,"body":"Als je misschien in het aanleveren van horeca voorraden veranderde je wereld."},{"startTime":1049.8,"endTime":1056.64,"body":"Dus wat daarvoor allemaal normale data was."},{"startTime":1056.64,"endTime":1062.12,"body":"Wat dan door je machine learning modellen gewoon geprocesd kon worden."},{"startTime":1062.12,"endTime":1065.32,"body":"Dat werd totaal irrelevant."},{"startTime":1065.32,"endTime":1067.56,"body":"Dit was echt een knik."},{"startTime":1067.56,"endTime":1071.32,"body":"En zo'n knik die voel je, dus die begrijp je wel."},{"startTime":1071.32,"endTime":1075.88,"body":"Het probleem met data drift is dat dit heel geleidelijk kan gaan."},{"startTime":1075.88,"endTime":1081.6,"body":"En als je dat niet in de gaten hebt, nemen dus de prestaties van je model geleidelijk af."},{"startTime":1081.6,"endTime":1091.56,"body":"En op een gegeven moment zit je op een punt dat je gewoon echt verkeerde uitkomsten krijgt uit je model."},{"startTime":1091.56,"endTime":1094.64,"body":"Waardoor je ook verkeerde besluiten gaat nemen."},{"startTime":1094.64,"endTime":1097.6,"body":"En dat zou wel heel erg treurig zijn."},{"startTime":1097.6,"endTime":1103.16,"body":"Dus hier moet je ook heel goed kijken naar metrieken."},{"startTime":1103.16,"endTime":1107.48,"body":"Ik weet dat je zich gaat vragen, maar ik ga er even niet op in."},{"startTime":1107.48,"endTime":1111.12,"body":"Ik denk dat dat gewoon te specifiek is."},{"startTime":1111.12,"endTime":1115.88,"body":"Er zijn echt allerlei manieren om data drift te detecteren."},{"startTime":1115.88,"endTime":1118.88,"body":"Het is niet eenvoudig, wel te doen."},{"startTime":1118.88,"endTime":1122.64,"body":"En daar wil je ook een continu proces van maken."},{"startTime":1122.64,"endTime":1124.6,"body":"Dus er moet gewoon een achtergrond meelopen."},{"startTime":1124.6,"endTime":1129.08,"body":"En daar kan je ook denken aan bepaalde distributieverschuivingen."},{"startTime":1129.08,"endTime":1134.12,"body":"Er zijn allerlei manieren om daar achter te komen."},{"startTime":1134.12,"endTime":1138.28,"body":"Maar dat is belangrijk vooral dat je dat ook in je ontwerp meeneemt."},{"startTime":1138.28,"endTime":1143.04,"body":"En ze horen het voornamelijk omdat het geleidelijk is, waardoor het niet opvalt."},{"startTime":1143.04,"endTime":1147.44,"body":"Dus het ouderwetse piepsysteem van \"hé jongens, het is echt wel heel raar wat hier gebeurt\","},{"startTime":1147.44,"endTime":1150.32,"body":"die krijg je niet omdat het een heel kleine afwijking is."},{"startTime":1150.32,"endTime":1152.96,"body":"En daarom zou je daar wel automatisch op moeten gaan monitoren."},{"startTime":1152.96,"endTime":1158.72,"body":"Om die kleine changes continu, dat dat toch weer een signaal gaat worden."},{"startTime":1158.72,"endTime":1161.36,"body":"Dat daar inderdaad weer een verband in zit."},{"startTime":1161.36,"endTime":1171.76,"body":"Je kan ook nog kijken naar modellen die wat minder last hebben van data drift."},{"startTime":1171.76,"endTime":1174.64,"body":"Dus dat hangt ook een beetje af van welk algoritme je kiest."},{"startTime":1174.64,"endTime":1179.12,"body":"Hoe erg die daar last van heeft."},{"startTime":1179.12,"endTime":1181.8,"body":"Hoe gevoelig die daarvoor is inderdaad."},{"startTime":1181.8,"endTime":1187.8,"body":"Dus ook dat gaat om weer een proces waar we het net over hadden."},{"startTime":1187.8,"endTime":1191.64,"body":"Dat je dat meeneemt, by design, goed over nadenkt."},{"startTime":1191.64,"endTime":1193.64,"body":"Wat moet je ermee?"},{"startTime":1193.64,"endTime":1195.92,"body":"Dat zijn natuurlijk allemaal afwegingen."},{"startTime":1195.92,"endTime":1197.28,"body":"Hoe goed is het model?"},{"startTime":1197.28,"endTime":1198.52,"body":"Hoe goed moet hij presteren?"},{"startTime":1198.52,"endTime":1200.52,"body":"Waar optimaliseer je op?"},{"startTime":1200.52,"endTime":1206.44,"body":"En past dan een net een ander type die robuuster is op dit gebied, past dat dan ook nog?"},{"startTime":1206.44,"endTime":1208.0,"body":"Moet je gewoon even meenemen."},{"startTime":1208.0,"endTime":1210.96,"body":"En nu het zo nog een keer herhaalt, komt wel iets bij mij naar boven."},{"startTime":1210.96,"endTime":1216.24,"body":"Waar ik zeg van, ja, dan moeten we zo continu wel weten wat was ons doel met het model?"},{"startTime":1216.24,"endTime":1217.48,"body":"Waar wilden we naartoe?"},{"startTime":1217.48,"endTime":1219.6,"body":"Zodat je dat ook aan het doel kan blijven toetsen."},{"startTime":1219.6,"endTime":1222.08,"body":"Volgens mij wordt dat ook nog wel eens onderschat."},{"startTime":1222.08,"endTime":1224.28,"body":"Het model staat er, het moet nou eenmaal gewoon draaien."},{"startTime":1224.28,"endTime":1225.96,"body":"Maar waarom hadden we hem?"},{"startTime":1225.96,"endTime":1227.36,"body":"Hoe willen we hem toepassen?"},{"startTime":1227.36,"endTime":1230.92,"body":"Wat is de ethiek en de responsibility gevoel bij dit model?"},{"startTime":1230.92,"endTime":1232.84,"body":"Ook continu kunnen blijven toetsen."},{"startTime":1232.84,"endTime":1234.52,"body":"Vergeet dat alsjeblieft niet."},{"startTime":1234.52,"endTime":1239.08,"body":"Ja, en dat is wat anders dan dat je zegt van, hé, mijn accuratesse is heel hoog."},{"startTime":1239.08,"endTime":1241.28,"body":"Mijn F1 score is super."},{"startTime":1241.28,"endTime":1244.28,"body":"Weet je, allemaal dat soort fijne metrieken."},{"startTime":1244.28,"endTime":1246.4,"body":"Die area onder de curve hartstikke goed."},{"startTime":1246.4,"endTime":1250.56,"body":"En uiteindelijk doet die niet waar je hem voor gemaakt hebt."},{"startTime":1250.56,"endTime":1252.36,"body":"Ja, wordt die ook goed gebruikt."},{"startTime":1252.36,"endTime":1253.84,"body":"Dat moet je ook meten."},{"startTime":1253.84,"endTime":1256.92,"body":"En de afname daarvan gaat dat ook goed."},{"startTime":1256.92,"endTime":1259.72,"body":"Dus dat zijn ook belangrijke metrieken die je niet moet vergeten."},{"startTime":1259.72,"endTime":1260.72,"body":"Inderdaad."},{"startTime":1260.72,"endTime":1261.72,"body":"Precies."},{"startTime":1261.72,"endTime":1262.72,"body":"Ja."},{"startTime":1262.72,"endTime":1264.8,"body":"Nee, dat is een hele goede toevoeging."},{"startTime":1264.8,"endTime":1265.8,"body":"Ja."},{"startTime":1265.8,"endTime":1269.52,"body":"Dan zitten we op de afhankelijkheden."},{"startTime":1269.52,"endTime":1274.68,"body":"Wat ik al een beetje aangaf, is van je hebt er twee."},{"startTime":1274.68,"endTime":1277.68,"body":"Eén is gewoon heel erg technisch is in je code."},{"startTime":1277.68,"endTime":1279.68,"body":"Ja, de library dependencies."},{"startTime":1279.68,"endTime":1281.68,"body":"De bibliotheken die je gebruikt."},{"startTime":1281.68,"endTime":1284.04,"body":"Heb je daar de juiste, heb je daar dezelfde versies."},{"startTime":1284.04,"endTime":1291.08,"body":"Maar is het ook, het kan zomaar zijn dat je gewoon verschillende versies van één bibliotheek"},{"startTime":1291.08,"endTime":1293.16,"body":"gewoon hebt zitten, zeg maar, in je codebase."},{"startTime":1293.16,"endTime":1295.0,"body":"Weet je, alleen daar begint het al."},{"startTime":1295.0,"endTime":1299.28,"body":"Dat je afhankelijk van de versie, dat je dan een iets ander resultaat krijgt."},{"startTime":1299.28,"endTime":1300.44,"body":"Dat kan natuurlijk nooit waar zijn."},{"startTime":1300.44,"endTime":1309.48,"body":"En aan de andere kant heb je natuurlijk ook van, jouw model kan weer afhankelijk zijn"},{"startTime":1309.48,"endTime":1311.04,"body":"van de uitkomst van andere modellen."},{"startTime":1311.04,"endTime":1315.48,"body":"Dus dat moet je goed in de gaten houden."},{"startTime":1315.48,"endTime":1321.48,"body":"En toch ook weer die traininggegevens."},{"startTime":1321.48,"endTime":1323.36,"body":"Je bent afhankelijk van je traininggegevens."},{"startTime":1323.36,"endTime":1327.28,"body":"Dus wat neem je wel op in je traininggegevens, wat niet."},{"startTime":1327.28,"endTime":1332.64,"body":"Want je hebt daar, dat je het risico loopt op overfitting, underfitting."},{"startTime":1332.64,"endTime":1338.52,"body":"En als je dat hebt, weet je, dan generaliseert je je model minder goed, waardoor die ook"},{"startTime":1338.52,"endTime":1339.92,"body":"weer minder goed presteert."},{"startTime":1339.92,"endTime":1343.4,"body":"En dit is best wel een veelvolkomen probleem."},{"startTime":1343.4,"endTime":1350.04,"body":"Dat bijvoorbeeld de balans van, stel je gaat klassificeren."},{"startTime":1350.04,"endTime":1355.28,"body":"En je hebt, weet ik veel, tien klasses waar je naar klassificeert."},{"startTime":1355.28,"endTime":1362.0,"body":"En één klasse die heeft gewoon, bij je eerste ontwikkeling, weet je, ga je het allemaal netjes"},{"startTime":1362.0,"endTime":1363.0,"body":"balanceren."},{"startTime":1363.0,"endTime":1368.2,"body":"Zeg je nou, allemaal ongeveer evenveel voorbeelden in de trainingsset."},{"startTime":1368.2,"endTime":1377.0,"body":"Maar als je zonder na te denken, bij de hertraining, gegevens uit productie neemt, kan dat helemaal"},{"startTime":1377.0,"endTime":1378.48,"body":"uit balans raken."},{"startTime":1378.48,"endTime":1386.72,"body":"Omdat je, stel je gaat e-mailtjes, ga je klassificeren en je krijgt veel meer e-mail binnen over problemen"},{"startTime":1386.72,"endTime":1387.72,"body":"met inloggegevens."},{"startTime":1387.72,"endTime":1392.2,"body":"Wat niet onwaarschijnlijk is, als je dat soort dingen doet."},{"startTime":1392.2,"endTime":1398.52,"body":"Als je dat allemaal maar gewoon onbeperkt meeneemt, ja dan gaat die uiteindelijk, worden"},{"startTime":1398.52,"endTime":1403.16,"body":"de prestaties van het model minder, omdat je een niet gebalanceerde trainingsset hebt."},{"startTime":1403.16,"endTime":1407.08,"body":"Dus dan zal die bijna alles op een gegeven moment als inlogproblemen gaan klassificeren."},{"startTime":1407.08,"endTime":1411.36,"body":"Omdat je zelf die problemen hebt geïntroduceerd."},{"startTime":1411.36,"endTime":1418.12,"body":"Ja, en dan bij die eerste technologisch gezien is het inderdaad nog wel redelijk te automatiseren."},{"startTime":1418.12,"endTime":1419.12,"body":"Ik denk die andere misschien ook nog wel."},{"startTime":1419.12,"endTime":1422.48,"body":"De lineage of in ieder geval de afhankelijkheden zijn prima natuurlijk in kaart te brengen"},{"startTime":1422.48,"endTime":1423.72,"body":"op codebase niveau."},{"startTime":1423.72,"endTime":1427.96,"body":"Die je net noemt, die is natuurlijk technisch ook nog wel te voorkomen."},{"startTime":1427.96,"endTime":1433.56,"body":"Maar dat ze ook wel continu weer het besef hebben en even de tijd pakken om terug te"},{"startTime":1433.56,"endTime":1434.56,"body":"kijken."},{"startTime":1434.56,"endTime":1435.56,"body":"Wat was er toen ingegaan?"},{"startTime":1435.56,"endTime":1436.56,"body":"Wat moet er nu in?"},{"startTime":1436.56,"endTime":1437.56,"body":"Ja, daar gaan we om."},{"startTime":1437.56,"endTime":1441.56,"body":"Ja, en dat automatiseer je."},{"startTime":1441.56,"endTime":1443.84,"body":"Dat je een gebalanceerde set houdt."},{"startTime":1443.84,"endTime":1450.64,"body":"Dat juist zeg maar zoveel mogelijk automatiseren van dit soort zaken."},{"startTime":1450.64,"endTime":1453.16,"body":"Zeker weten, want het wordt alleen maar meer."},{"startTime":1453.16,"endTime":1456.08,"body":"Dus automation is ook een must, maar dan ook wel goed doen."},{"startTime":1456.08,"endTime":1457.08,"body":"Ja, precies."},{"startTime":1457.08,"endTime":1463.24,"body":"Laatste, geen reproducerbaar ontwikkeld en implementatie proces."},{"startTime":1463.24,"endTime":1465.8,"body":"Daar kan je denk ik alles bij voelen."},{"startTime":1465.8,"endTime":1470.24,"body":"Als dat niet reproducerbaar is, dat je gewoon in de problemen komt."},{"startTime":1470.24,"endTime":1474.36,"body":"Dat je niet meer terug kan voor probleemoplossingen."},{"startTime":1474.36,"endTime":1481.16,"body":"Dat je het niet goed herleidbaar hebt waar besluiten uitkomen."},{"startTime":1481.16,"endTime":1485.52,"body":"Dit lijkt een soort van inkopper."},{"startTime":1485.52,"endTime":1490.92,"body":"Maar het probleem is dat dit gewoon heel veel gebeurt."},{"startTime":1490.92,"endTime":1498.08,"body":"Dat er uiteindelijk een besluit ergens is genomen en gewoon niet meer achteraf te achterhalen"},{"startTime":1498.08,"endTime":1501.08,"body":"is van hoe is dit nou tot stand gekomen?"},{"startTime":1501.08,"endTime":1504.08,"body":"Welke data is gebruikt?"},{"startTime":1504.08,"endTime":1505.44,"body":"Welk algoritme is gebruikt?"},{"startTime":1505.44,"endTime":1507.52,"body":"Welke versie is gebruikt?"},{"startTime":1507.52,"endTime":1510.08,"body":"Ja, dat is wel dramatisch."},{"startTime":1510.08,"endTime":1513.08,"body":"Ja, dat moet echt beter inderdaad."},{"startTime":1513.08,"endTime":1517.68,"body":"Terwijl, vanuit de softwarehoek is het CI/CD all the way altijd."},{"startTime":1517.68,"endTime":1522.84,"body":"We zien dat inderdaad op data en op AI gebied dat het nog minder is."},{"startTime":1522.84,"endTime":1529.96,"body":"Ja, want ook hier moet je even induiken van hoe doe je dat?"},{"startTime":1529.96,"endTime":1531.12,"body":"Hoe krijg je dat goed voor elkaar?"},{"startTime":1531.12,"endTime":1534.52,"body":"Hoe zorg je dat dat vooral geautomatiseerd gaat?"},{"startTime":1534.52,"endTime":1535.52,"body":"Zeker versionering."},{"startTime":1535.52,"endTime":1541.72,"body":"Als je dat niet geautomatiseerd hebt, dan loopt dat uiteindelijk uit de pas."},{"startTime":1541.72,"endTime":1544.16,"body":"Handmatige versionering is echt een no-go."},{"startTime":1544.16,"endTime":1554.2,"body":"En een extra uitdaging bij machine learning is dat je niet alleen maar je code versioneert,"},{"startTime":1554.2,"endTime":1560.84,"body":"zoals wat je bij software development doet, maar dat je je data, je trainingsset, je testset,"},{"startTime":1560.84,"endTime":1567.32,"body":"allemaal dat soort dingen, alles wat je gebruikt, zeg maar je feature set, moet je versioneren"},{"startTime":1567.32,"endTime":1573.32,"body":"samen met het model en de code om dat allemaal aan elkaar te knopen."},{"startTime":1573.32,"endTime":1579.68,"body":"En als je nog explainable AI gebruikt, wil je ook nog eens een keer dat deel erbij versioneren."},{"startTime":1579.68,"endTime":1585.44,"body":"En dat alles bij elkaar, dan heb je pas een versie die je in ieder geval terug kan halen."},{"startTime":1585.44,"endTime":1586.44,"body":"Dan is het reproduceerbaar."},{"startTime":1586.44,"endTime":1587.44,"body":"Ja, dan kan je het ook addaten."},{"startTime":1587.44,"endTime":1593.24,"body":"En herhaalbaar is in ieder geval dat je zoveel mogelijk geautomatiseerd hebt, dat zoveel"},{"startTime":1593.24,"endTime":1596.84,"body":"mogelijk ook gelijksoortig behandeld wordt."},{"startTime":1596.84,"endTime":1597.84,"body":"Ja."},{"startTime":1597.84,"endTime":1601.36,"body":"En daar moet de tooling ook nog wel in meegroeien natuurlijk."},{"startTime":1601.36,"endTime":1605.0,"body":"Er moet nog veel handmatig ook wel uitgeprogrammeerd worden, merk ik."},{"startTime":1605.0,"endTime":1607.8,"body":"Op de data vlak en AI vlak is dat ook nog wel."},{"startTime":1607.8,"endTime":1611.8,"body":"Dan beginnen er wel steeds meer diensten te komen die dat bij je ondersteunen."},{"startTime":1611.8,"endTime":1615.48,"body":"Maar dan moet je wel even goed de tijd voor pakken om dat goed in te richten."},{"startTime":1615.48,"endTime":1619.72,"body":"Als je daarna gaat automatiseren, doe dat gewoon goed de eerste keer en iterateer daarna daarop"},{"startTime":1619.72,"endTime":1621.4,"body":"door en blijf dat ook door ontwikkelen."},{"startTime":1621.4,"endTime":1625.92,"body":"Het is eigenlijk een subproduct van je product, waar ook gewoon continu aandacht en energie"},{"startTime":1625.92,"endTime":1626.92,"body":"in gestopt moet worden."},{"startTime":1626.92,"endTime":1632.8,"body":"Iedere kleine verbetering in die automatisering is voor de volgende 20, 50 producten die ook"},{"startTime":1632.8,"endTime":1635.52,"body":"weer geautomatiseerd worden ook waardevol."},{"startTime":1635.52,"endTime":1636.52,"body":"Ja."},{"startTime":1636.52,"endTime":1644.12,"body":"En nog makkelijker is als je een manage platform afneemt, bijvoorbeeld bij Info Support, dan zijn"},{"startTime":1644.12,"endTime":1645.76,"body":"dit soort dingen gewoon voor je geregeld."},{"startTime":1645.76,"endTime":1651.44,"body":"En dan moet je ook denken, je hebt ook nog te maken met security, privacy, schaalbaarheid,"},{"startTime":1651.44,"endTime":1656.12,"body":"allemaal dat soort elementen die we nu nog niet eens benoemd hebben, waar je ook uiteindelijk"},{"startTime":1656.12,"endTime":1658.12,"body":"in je MLOps eigenlijk mee wil nemen."},{"startTime":1658.12,"endTime":1660.08,"body":"Dat dat allemaal getest wordt."},{"startTime":1660.08,"endTime":1662.72,"body":"Hoe schaalbaar is je model?"},{"startTime":1662.72,"endTime":1668.6,"body":"Het is misschien leuk dat hij het op je testset een beetje performt, maar wat nou als daar"},{"startTime":1668.6,"endTime":1670.16,"body":"enorme lood op komt?"},{"startTime":1670.16,"endTime":1672.16,"body":"Wat gebeurt er dan?"},{"startTime":1672.16,"endTime":1676.28,"body":"Dus dat maakt het leven nog makkelijker, want dan is het gewoon voor je gedaan."},{"startTime":1676.28,"endTime":1677.28,"body":"Ja."},{"startTime":1677.28,"endTime":1680.16,"body":"En valideer dat dus ook als je daar gebruik van gaat maken."},{"startTime":1680.16,"endTime":1681.8,"body":"Wat is daar al voor ingeregeld?"},{"startTime":1681.8,"endTime":1683.56,"body":"Waar word ik in ontzorgd?"},{"startTime":1683.56,"endTime":1685.44,"body":"En wat is er nog niet geregeld?"},{"startTime":1685.44,"endTime":1687.56,"body":"Maar stel die vragen."},{"startTime":1687.56,"endTime":1693.76,"body":"Challenge daar de software of de leverancier op om daar met elkaar kritisch naar te kijken."},{"startTime":1693.76,"endTime":1695.08,"body":"Ik denk dat dat heel belangrijk is."},{"startTime":1695.08,"endTime":1696.08,"body":"Zeker."},{"startTime":1696.08,"endTime":1699.56,"body":"En ook niet alles kan voor je ontzorgd worden."},{"startTime":1699.56,"endTime":1702.64,"body":"Want net wat we erstraks zeiden, het hangt echt van je context af."},{"startTime":1702.64,"endTime":1703.64,"body":"Wat wil je?"},{"startTime":1703.64,"endTime":1706.44,"body":"Dus daar moet je inderdaad heel goed rekening mee houden."},{"startTime":1706.44,"endTime":1707.44,"body":"Ja."},{"startTime":1707.44,"endTime":1711.6,"body":"Organisatiewaarden die doorcijpelen in de modellen en de uitkomsten die je daar wil bereiken"},{"startTime":1711.6,"endTime":1712.6,"body":"met elkaar."},{"startTime":1712.6,"endTime":1714.6,"body":"Ja, dat kan je niet wegautomatiseren."},{"startTime":1714.6,"endTime":1715.6,"body":"Dat zit in je organisatie."},{"startTime":1715.6,"endTime":1718.76,"body":"Dat zit in het hart en ziel van de organisatie."},{"startTime":1718.76,"endTime":1719.76,"body":"Ja toch?"},{"startTime":1719.76,"endTime":1720.76,"body":"Ja, zeker."},{"startTime":1720.76,"endTime":1721.76,"body":"Dus ik denk..."},{"startTime":1721.76,"endTime":1722.76,"body":"Oh, sorry."},{"startTime":1722.76,"endTime":1727.12,"body":"Wat met name dan nog wel een stukje is, er zit heel veel automatisering, heel veel techniek"},{"startTime":1727.12,"endTime":1728.12,"body":"in."},{"startTime":1728.12,"endTime":1730.96,"body":"Maar laten we ook niet vergeten wat we net ook al gezegd hebben."},{"startTime":1730.96,"endTime":1731.96,"body":"Het is ook een cultuur."},{"startTime":1731.96,"endTime":1735.24,"body":"En een cultuurverandering gaat niet zomaar."},{"startTime":1735.24,"endTime":1736.24,"body":"Dat is echt."},{"startTime":1736.24,"endTime":1737.92,"body":"Het is een marathon en het is geen sprint."},{"startTime":1737.92,"endTime":1744.04,"body":"Dat is volhouden, doorzetten, de kernwaarden daarvan, van belangstelling waarom doe je dit."},{"startTime":1744.04,"endTime":1749.04,"body":"En daar kritisch naar elkaar blijven zijn om daar naartoe te werken."},{"startTime":1749.04,"endTime":1753.44,"body":"Het gaat niet zonder slag of stoot, is mijn persoonlijke ervaring."},{"startTime":1753.44,"endTime":1755.04,"body":"Nee, maar als je dit..."},{"startTime":1755.04,"endTime":1757.12,"body":"Kijk, je hoeft het ook niet in één keer te doen."},{"startTime":1757.12,"endTime":1758.56,"body":"Dus je kan het in stappen doen."},{"startTime":1758.56,"endTime":1761.48,"body":"Zeg van, nou weet je, dit zijn de grootste risico's."},{"startTime":1761.48,"endTime":1762.88,"body":"Die willen we als eerste afdekken."},{"startTime":1762.88,"endTime":1764.68,"body":"En zo kun je wel groeien."},{"startTime":1764.68,"endTime":1769.76,"body":"En dat is denk ik ook een mooie opstap naar de afsluiter."},{"startTime":1769.76,"endTime":1771.84,"body":"Het gaat over professionaliseren."},{"startTime":1771.84,"endTime":1772.92,"body":"Dat is een werkwoord."},{"startTime":1772.92,"endTime":1776.56,"body":"Het is het professionaliseren van machine learning met MLOps."},{"startTime":1776.56,"endTime":1779.52,"body":"Dus je werkt daar ook naartoe."},{"startTime":1779.52,"endTime":1781.36,"body":"Stap voor stap."},{"startTime":1781.36,"endTime":1782.68,"body":"Zodanig dat je..."},{"startTime":1782.68,"endTime":1786.12,"body":"Nou, als je op een gegeven moment terugkijkt en je denkt van, zo, weet je, die problemen"},{"startTime":1786.12,"endTime":1787.76,"body":"die hebben we toch allemaal mooi opgelost."},{"startTime":1787.76,"endTime":1789.56,"body":"En het gaat veel soepeler."},{"startTime":1789.56,"endTime":1793.08,"body":"En we hebben uiteindelijk veel betere modellen in productie."},{"startTime":1793.08,"endTime":1798.88,"body":"En de reflectie daarop inderdaad."},{"startTime":1798.88,"endTime":1800.24,"body":"Terugkijken naar waar in het verleden."},{"startTime":1800.24,"endTime":1801.92,"body":"Wat is de effect daarvan?"},{"startTime":1801.92,"endTime":1804.48,"body":"En daarvan die successen vieren."},{"startTime":1804.48,"endTime":1806.64,"body":"En ook het verhaalwerk vieren."},{"startTime":1806.64,"endTime":1807.96,"body":"Want daar kan je op verbeteren."},{"startTime":1807.96,"endTime":1809.64,"body":"En zo doorgroeien."},{"startTime":1809.64,"endTime":1810.76,"body":"Dus het lerend vermogen."},{"startTime":1810.76,"endTime":1814.24,"body":"Niet alleen van de modellen, maar ook van de organisatie, van de teams."},{"startTime":1814.24,"endTime":1816.2,"body":"Komt hier gewoon mooi naar voren."},{"startTime":1816.2,"endTime":1817.2,"body":"Ja, nou, cool."},{"startTime":1817.2,"endTime":1822.2,"body":"Was dat hem alweer voor deze keer, denk ik."},{"startTime":1822.2,"endTime":1823.48,"body":"Dat was hem zeker."},{"startTime":1823.48,"endTime":1824.48,"body":"Leuk."},{"startTime":1824.48,"endTime":1826.6,"body":"We vinden het leuk dat je luistert."},{"startTime":1826.6,"endTime":1830.52,"body":"Als je geen aflevering wilt missen, volg ons dan in je favoriete podcast app."},{"startTime":1830.52,"endTime":1834.16,"body":"Wat we ook leuk vinden als je op LinkedIn laat weten wat je van onze podcast vindt."},{"startTime":1834.16,"endTime":1835.52,"body":"Tot de volgende keer."},{"startTime":1835.52,"endTime":1836.52,"body":"Tot de volgende keer."},{"startTime":1836.52,"endTime":1837.52,"body":"Dag."},{"startTime":1838.52,"endTime":1838.52,"body":"Dag."},{"startTime":1838.52,"endTime":1858.92,"body":"."}]}