S08E83 - Bezorgprobleem bij Bol opgelost zonder AI: waarom de simpelste oplossing vaak wint

Mark Schep, data- en AI-engineer bij onder meer Bol en Winparts, ziet bedrijven onnodig 10.000 tot 15.000 euro per jaar uitgeven aan dataplatforms voordat er ook maar één vraag beantwoord is. Zijn ervaring: teams kiezen voor de bekende, dure tools uit gewoonte, terwijl schaal en complexiteit vaak niet overeenkomen. Hij laat zien hoe je met timeboxen van drie maanden bewijst of een aanpak werkt, en wanneer een simpele regel beter is dan een AI-model.

Bij Winparts bouwde hij zo een dataplatform voor minder dan 100 euro per maand, in plaats van de gangbare 15.000 euro per jaar aan tools als Fivetran en Airflow. Morgen kun je zelf één concrete vraag opschrijven die je nu geld of tijd kost, voordat je nadenkt over welk platform of welke AI je daarvoor nodig hebt.

Onderwerpen

• Simpele oplossingen boven complexe AI-systemen
• Timeboxing van AI-projecten tot drie maanden
• Goedkope dataplatformen als alternatief voor dure tools
• Combinatie van generatieve AI en klassieke machine learning
• Conversational analytics en verificatie van AI-antwoorden

Links

• Bedrijf: Bol
• Bedrijf: Auto onderdelen van Winparts - Morgen thuisbezorgd
• Bedrijf: Mark Your Data
• Evenement: Data Expo
• Podcast: AIToday Live podcast
• Kaartspel: AI Game Changer - Generative AI editie

Genoemde entiteiten: Bol - Winparts - Databricks - Snowflake - Team Voyager - Google - Fivetran - Airflow - ABN Amro

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

Copy Transcript Copied

1
00:00:00,000 --> 00:00:07,280
Mark Schep werkt als data en AI-engineer bij Bol & Windparts, vanuit zijn eigen bedrijf Mark Your Data.

2
00:00:08,279 --> 00:00:12,640
Bij Bol losten hij bezorgproblemen op, zonder ingewikkelde modellen.

3
00:00:13,320 --> 00:00:19,839
Bij Windparts bouwden hij juist het data-fundament helemaal opnieuw op, met een schrijnende conclusie.

4
00:00:20,480 --> 00:00:24,160
Soms heb je helemaal geen dure data-engineer nodig.

5
00:00:25,519 --> 00:00:29,039
Waarom kiest Mark bijna altijd voor de simpelste oplossing?

6
00:00:29,039 --> 00:00:32,560
Ook als iedereen om hem heen roept om AI.

7
00:00:34,160 --> 00:00:37,520
Joop: Leuk dat je luistert naar een nieuwe aflevering van AIToday Live.

8
00:00:37,520 --> 00:00:40,640
Joop: Mijn naam is Joop Snijder, Head of AI's woord.

9
00:00:40,800 --> 00:00:45,680
Niels: Mijn naam is Niels Naglé, bij Info Support Data & AI, denk.

10
00:00:46,960 --> 00:00:49,279
Joop: In de studio hebben we de gast, Mark Schep.

11
00:00:49,360 --> 00:00:51,840
Joop: En we zijn ontzettend blij dat je hier bij ons bent.

12
00:00:51,840 --> 00:00:54,800
Joop: Maar ik zou je jezelf eerst even kort willen voorstellen.

13
00:00:55,680 --> 00:00:57,439
Mark: Ik ben Mark Schep.

14
00:00:57,439 --> 00:01:05,760
Mark: Ik werk als data slash AI-engineer voor verschillende bedrijven, waaronder dus Windparts en Bol, waar we het over gaan hebben vandaag.

15
00:01:06,800 --> 00:01:09,360
Mark: Vanuit mijn eigen bedrijf, Mark Your Data.

16
00:01:11,360 --> 00:01:12,880
Joop: Zullen we eens bij Bol beginnen?

17
00:01:12,880 --> 00:01:16,000
Joop: Want dat is denk ik voor de meeste mensen het meest aansprekend.

18
00:01:16,239 --> 00:01:17,039
Joop: Wat doe je daar?

19
00:01:17,040 --> 00:01:17,999
Joop: Of wat heb je gedaan?

20
00:01:17,999 --> 00:01:19,440
Joop: Ik weet niet, zit je nog steeds bij Bol.

21
00:01:19,520 --> 00:01:20,880
Mark: Ja, ik zit nog steeds bij Bol.

22
00:01:21,440 --> 00:01:25,040
Mark: Wat heb je gedaan, dat is eigenlijk een leukere vraag misschien nog dan wat doe je nu.

23
00:01:25,279 --> 00:01:31,040
Mark: Niet omdat wat ik nu doe niet leuk is, maar omdat een hele historie daarvoor eigenlijk nog zit.

24
00:01:31,760 --> 00:01:34,639
Mark: Toen ik voor mezelf begon ben ik eigenlijk begonnen ook bij Bol.

25
00:01:34,639 --> 00:01:36,319
Mark: Dat was mijn eerste opdrachtgever.

26
00:01:36,319 --> 00:01:41,200
Mark: En dan ben ik toen met een programma van Voyager noemen we dat, Team Voyager.

27
00:01:41,200 --> 00:01:46,560
Mark: Ik begon als een soort van rondreis in data science team, waar we elke drie maanden naar een andere afdeling gingen.

28
00:01:46,560 --> 00:01:47,600
Mark: Het was ontzettend leuk.

29
00:01:47,600 --> 00:01:50,320
Mark: Want er was altijd een vraag.

30
00:01:50,960 --> 00:01:55,840
Mark: We zien wel de potentie van data en je wisten niet zo goed waar ze moesten beginnen.

31
00:01:57,120 --> 00:02:00,799
Mark: Dan gingen we eigenlijk altijd in een maandje gingen we kijken van wat is er allemaal.

32
00:02:01,120 --> 00:02:04,400
Mark: Nog een maandje kijken: waar kunnen we nog wat dieper op ingaan.

33
00:02:04,400 --> 00:02:10,079
Mark: En uiteindelijk zetten we dan een experiment neer om te meten of het werkt eigenlijk.

34
00:02:10,079 --> 00:02:11,519
Joop: Laten we eens beginnen bij.

35
00:02:12,320 --> 00:02:14,719
Joop: Laten we beginnen bij van wat is er allemaal?

36
00:02:14,719 --> 00:02:16,079
Joop: Wat bedoel je daarmee?

37
00:02:16,079 --> 00:02:20,480
Mark: Waar kijk jij dan naar dat hangt dus af van het domein.

38
00:02:20,480 --> 00:02:25,279
Mark: Dus één keer is het marketing aan de logistiek, maar meestal is gewoon een heel simpel bedrijfsprobleem.

39
00:02:25,600 --> 00:02:27,120
Mark: Denk aan de klantenservice.

40
00:02:27,120 --> 00:02:32,400
Mark: Er komen heel veel chats en telefoontjes binnen bij een bedrijf als Bol.

41
00:02:32,400 --> 00:02:36,159
Mark: Maar er zijn ook een heleboel vragen die binnenkomen waar ze eigenlijk niks mee kunnen.

42
00:02:36,160 --> 00:02:38,879
Mark: En dan is het een vraag van kunnen wij dat voorkomen.

43
00:02:38,880 --> 00:02:42,880
Mark: En dan is de vraag, we denken dat data daarmee kan helpen, maar we weten niet zo goed hoe.

44
00:02:43,200 --> 00:02:45,120
Mark: Dan ga je dus allerlei analyses doen.

45
00:02:45,120 --> 00:02:47,840
Joop: En wat voor type vragen moet ik dan denken?

46
00:02:47,840 --> 00:02:48,960
Joop: Mag je daar iets over zeggen, of niet?

47
00:02:49,200 --> 00:02:49,840
Mark: Wat voor vraag?

48
00:02:50,080 --> 00:02:53,039
Mark: Bijvoorbeeld, een hele concrete is.

49
00:02:54,400 --> 00:02:58,480
Mark: Je krijgt een berichtje van Bol: er ligt een pakketje, is bezorgd.

50
00:02:58,719 --> 00:02:59,920
Mark: Maar die is er niet bezorgd.

51
00:03:00,080 --> 00:03:02,320
Joop: Denk, oh nee, wat is er aan de hand.

52
00:03:02,560 --> 00:03:10,160
Mark: En dan ga je dus ga je met de klantenservice bellen, want je gaat bij je buren aanbellen van hebben jullie wat ontvangen.

53
00:03:10,159 --> 00:03:15,040
Mark: En dan is het antwoord eigenlijk van de klantenservice, je moet nog even wachten.

54
00:03:15,039 --> 00:03:17,360
Mark: Want het kan best zijn dat het brievenbus is.

55
00:03:17,360 --> 00:03:20,640
Mark: Dan zit een verwachte levertijd aan en dat verloopt dan.

56
00:03:27,360 --> 00:03:28,720
Mark: Dat gebeurt best wel vaak.

57
00:03:29,999 --> 00:03:31,440
Mark: De zorg is best wel terecht.

58
00:03:33,680 --> 00:03:35,599
Joop: Ik heb deze ook gewoon een keer bij de hand gehad.

59
00:03:35,920 --> 00:03:38,159
Mark: Heel veel mensen herkennen dit verhaal ook.

60
00:03:38,159 --> 00:03:39,600
Mark: En we hebben dus heel veel analyse gedaan.

61
00:03:39,599 --> 00:03:45,280
Mark: Dan kwamen we bijvoorbeeld achter dat er ergens een timestamp is die verloopt en dat je daardoor dan bericht je krijgt.

62
00:03:45,680 --> 00:03:48,879
Mark: En dan is de oplossing vrij simpel.

63
00:03:49,120 --> 00:03:51,280
Mark: Daar gaat natuurlijk wel veel onderzoekswerk naar voor.

64
00:03:51,279 --> 00:03:55,680
Mark: Dus je hoeft ook niet altijd heel ingewikkelde AI te gebruiken om een probleem op te lossen.

65
00:03:55,680 --> 00:03:57,680
Mark: Maar dat is heel erg leuk aan dat soort werk.

66
00:03:57,680 --> 00:04:03,680
Mark: Dus ik ben ooit begonnen bij Bol met dit soort opdrachten, heb ik al acht gedaan, op allerlei verschillende facetten.

67
00:04:03,680 --> 00:04:05,200
Niels: Heed dat alleen, was dat een team?

68
00:04:05,200 --> 00:04:10,240
Mark: Nee, met een heel klein team met twee man met Bas van Berkel deed ik dat, interne data scientist.

69
00:04:10,240 --> 00:04:16,480
Mark: En ik was dan van extern, zo hebben we dat dus twee jaar lang samen gedaan.

70
00:04:16,480 --> 00:04:23,759
Mark: En nadat ik wegging, heeft ook iemand anders dat weer overgenomen, Berend Umas, en die staar nog twee jaar mee doorgegaan.

71
00:04:23,760 --> 00:04:32,560
Mark: En wat heel erg leuk is, zij zijn uiteindelijk weer op een project gestuurd, wat zij hebben aangetoond dat iets werkte en daar ben ik dan weer op ingevlogen om dat op te schalen?

72
00:04:32,879 --> 00:04:35,680
Mark: Dus dat maakt het verhaal eigenlijk eigenlijk rond.

73
00:04:37,040 --> 00:04:39,279
Joop: Je zegt van er was een vraag.

74
00:04:39,279 --> 00:04:41,600
Joop: Dan kijk je naar de data.

75
00:04:41,840 --> 00:04:44,400
Joop: En stap twee was.

76
00:04:44,879 --> 00:04:52,160
Mark: Meestal kijk je heel breed op het begin, want het kan natuurlijk overal vandaan komen, je begint met een brede vraag.

77
00:04:52,160 --> 00:04:57,040
Mark: We willen vragen die eigenlijk voorkomen had kunnen worden, zeg maar willen we verminderen.

78
00:04:57,040 --> 00:04:58,879
Mark: Dat is de vraag: wat is de definitie daarvan?

79
00:04:58,879 --> 00:05:12,079
Niels: En een vraag over die vraag is hadden zij die vraag al liggen bij dat domein waar je dan naartoe ging, of hebben jullie met dat domein die vragen eerst geïnventariseerd en gekeken waar zit de beste kans?

80
00:05:12,160 --> 00:05:14,319
Niels: Of lag hij er al en zou jullie daarmee aan de slag?

81
00:05:14,480 --> 00:05:16,319
Mark: Er ligt altijd wel een richting.

82
00:05:16,319 --> 00:05:19,600
Mark: Maar je maakt dat wel met een groep, maak je dat steeds concreter.

83
00:05:19,600 --> 00:05:20,839
Mark: Dus in de praktijk altijd deden.

84
00:05:20,839 --> 00:05:21,840
Mark: De tijd is kort.

85
00:05:21,840 --> 00:05:25,040
Mark: Drie maanden moet je eigenlijk al iets leveren.

86
00:05:25,040 --> 00:05:26,399
Mark: Je weet nog niks van het domein.

87
00:05:26,400 --> 00:05:27,839
Mark: Je komt net kijken.

88
00:05:27,999 --> 00:05:35,480
Mark: Dus wat wij deden is elke week of elke twee weken een sessie met een groep eromheen, om ook het aantal meetings omheen, zo minimaal mogelijk te houden.

89
00:05:35,639 --> 00:05:40,439
Mark: En dan begonnen we gewoon met een hele brede soort van hypotheses en onderzoeksvragen.

90
00:05:40,439 --> 00:05:43,240
Mark: En dan gingen we daar snelle analyses op doen.

91
00:05:43,240 --> 00:05:45,719
Mark: Delen met iedereen wat de resultaten waren, een beetje bijsturen.

92
00:05:45,959 --> 00:05:46,680
Niels: Snelle analyse.

93
00:05:47,879 --> 00:05:50,280
Niels: Wat moet ik dan aan denken bij zo'n snelle analyse?

94
00:05:50,280 --> 00:05:51,560
Mark: Ja, je weet nog niks.

95
00:05:51,560 --> 00:05:52,360
Mark: Dus wat ga je doen?

96
00:05:52,360 --> 00:05:54,440
Mark: Je gaat kijken welke data ze aanwezig.

97
00:05:54,439 --> 00:05:56,920
Mark: Dus dat is de eerste, wat is er eigenlijk?

98
00:05:56,920 --> 00:06:02,280
Mark: En van daaruit ga je dan even in gesprek van oké, dit is er wat voor informatie zit erin.

99
00:06:02,280 --> 00:06:04,439
Mark: En ga je bijvoorbeeld zijn simpele statistieken maken.

100
00:06:04,680 --> 00:06:14,360
Mark: Hoe vaak komt A, B of C voor om een beetje te duiden van, nou, waar als er ergens een knop zit waar we moeten drukken, dan moeten we waarschijnlijk kun je waarschijnlijk al 80% zeggen, daar hoef ik in ieder geval niet naar te kijken.

101
00:06:14,360 --> 00:06:17,159
Mark: En in die 20% ga je dan weer de vervolgvragen op stellen.

102
00:06:17,319 --> 00:06:19,720
Mark: Oké, als dit er ongeveer aan de hand is.

103
00:06:20,199 --> 00:06:25,160
Mark: Ik zie hier wat voor vragen er binnenkomen, deze zijn wat vaker dan komen we wat vaker voor dan anderen.

104
00:06:25,160 --> 00:06:26,519
Mark: Dat is een deepdive bijvoorbeeld.

105
00:06:26,520 --> 00:06:30,040
Mark: Nou, welke zijn dan degene die voorkomen hadden kunnen worden.

106
00:06:30,280 --> 00:06:31,720
Mark: En waarom dan.

107
00:06:31,719 --> 00:06:37,160
Mark: En dat zijn natuurlijk ook de vragen die steeds minder data worden en steeds meer de mensen opzoeken.

108
00:06:37,719 --> 00:06:41,240
Mark: Je moet ook echt het domeinkennis hebben op dat moment.

109
00:06:41,240 --> 00:06:42,680
Mark: Wij hebben dat niet vanuit de data.

110
00:06:42,680 --> 00:06:48,759
Mark: Dus dan ga je in gesprek met de mensen die daar van de klant service bijvoorbeeld om wat meer kleur te geven.

111
00:06:48,920 --> 00:06:51,320
Niels: Hoe vonden die dat als je met z'n tafel zat?

112
00:06:51,319 --> 00:06:54,999
Niels: Want er is best wel heel erg veel vragen die jij weer gaat stellen, zeg maar.

113
00:06:55,319 --> 00:06:57,720
Mark: Over het algemeen was de energie echt wel goed.

114
00:07:00,280 --> 00:07:03,319
Mark: Je wordt zelf verrast, maar de andere kant wordt soms ook verrast.

115
00:07:03,480 --> 00:07:04,199
Mark: Dat maakt het leuk.

116
00:07:04,199 --> 00:07:11,879
Mark: Dat je ook de druk was best wel hoog, dus je moet veel dingen doen en je moet ook nog een soort van op een beheersbare manier presenteren dat iedereen het snapt.

117
00:07:11,879 --> 00:07:19,159
Mark: Maar van daaruit was het altijd wel een heel heel leuk samenwerking tussen allerlei verschillende rollen.

118
00:07:19,719 --> 00:07:25,960
Joop: En waar in dit traject komt de ene keer wel en de andere keer niet AI naar voren.

119
00:07:26,120 --> 00:07:30,759
Mark: Ja, dat hangt natuurlijk heel erg af van het domein en het probleem.

120
00:07:31,079 --> 00:07:34,199
Mark: Persoonlijk kies ik altijd het liefst voor de makkelijkste oplossing.

121
00:07:34,199 --> 00:07:37,160
Mark: Dus waarom iets moeilijk oplossen als het makkelijk kan.

122
00:07:37,160 --> 00:07:38,360
Mark: Ja, lijkt me ook.

123
00:07:39,640 --> 00:07:48,519
Mark: Als het niet nodig is, kijk, in het geval van dat je erachter komt dat het ergens een timestamp is die verloopt en daar moet je iets op handelen.

124
00:07:48,839 --> 00:07:51,240
Mark: Dan hoef je geen AI te gebruiken, zeker niet.

125
00:07:51,240 --> 00:07:58,999
Mark: En sterker nog, het begon daar met, wij willen dat het blokje op de order detail pagina, waar jij kijkt van nou, dit is wat ik heb besteld.

126
00:07:58,999 --> 00:08:02,199
Mark: Er stond een blokje onder met frequently asked questions.

127
00:08:02,360 --> 00:08:10,999
Mark: En dat wilden ze eigenlijk helemaal personaliseren aan hetgeen wat bij jou past, om dat te doen op zo'n grote schaal is best wel ingewikkeld.

128
00:08:10,999 --> 00:08:13,400
Mark: Want je moet heel veel informatie beschikbaar hebben.

129
00:08:13,640 --> 00:08:20,199
Mark: Dus dat is een vrij complexe situatie, waarbij je dan zeggen, nou AI of een andere complex algoritme dat je achter moet maken.

130
00:08:20,199 --> 00:08:22,840
Joop: Het zou zelfs ook misschien zelfs wel een beetje duur kunnen zijn.

131
00:08:22,839 --> 00:08:24,600
Mark: Ja, dat wordt ook duur.

132
00:08:24,599 --> 00:08:30,600
Mark: Hoe complexer hoe ingewikkelder, hoe meer teams je nodig hebt, hoe ingewikkeld wordt, het wordt ook, hoe meer databronnen en noem maar op.

133
00:08:30,599 --> 00:08:33,720
Mark: En de implementatie is hier gewoon.

134
00:08:33,719 --> 00:08:37,318
Mark: We pakken één datacomponentje, namelijk dat het net verlopen is.

135
00:08:37,318 --> 00:08:39,480
Mark: En dan zetten we bovenaan die frequently asked questions.

136
00:08:39,480 --> 00:08:40,520
Mark: Wat moet ik doen?

137
00:08:40,520 --> 00:08:45,480
Mark: Als mijn pakketje, als er staat dat ik dat mijn pakketje bezorgt, maar dat is nog niet bezorgd.

138
00:08:45,640 --> 00:08:48,600
Mark: En als je daarop klikt, dan staat daar, wacht nog even twee dagen.

139
00:08:48,599 --> 00:08:50,520
Mark: Als het dan nog niet binnen is, dan moet je bellen.

140
00:08:50,520 --> 00:08:53,319
Mark: En anders komt het waarschijnlijk nog wel binnen.

141
00:08:53,319 --> 00:08:55,000
Niels: Wat was daar het resultaat dan van?

142
00:08:54,999 --> 00:08:55,960
Niels: Dat is gigantisch.

143
00:08:55,959 --> 00:09:00,840
Mark: Ik kan het natuurlijk niet zeggen, maar enorm veel scheelde echt heel veel.

144
00:09:01,240 --> 00:09:06,199
Mark: En het voelt als iets super triviaals, maar je moet het dus wel vinden en een praktische toepassing van vinden.

145
00:09:06,199 --> 00:09:09,240
Mark: En wat heel erg hielp, was omdat het korte projecten waren.

146
00:09:09,240 --> 00:09:13,719
Mark: Dus in drie maanden moest je eigenlijk al aangetoond hebben of iets werken of niet.

147
00:09:13,719 --> 00:09:15,319
Mark: Dat was in ieder geval waar we voor gingen.

148
00:09:15,319 --> 00:09:19,160
Mark: Omdat zo straks een timebox was, dan ga je ook niet zo'n ingewikkeld systeem neerzetten.

149
00:09:19,160 --> 00:09:23,079
Mark: Dan ga je gewoon kijken, wat is de simpelst mogelijke manier om dit op te lossen?

150
00:09:23,079 --> 00:09:26,119
Mark: Om te met en te kijken hoe we het dan kunnen meten dat het werkt.

151
00:09:26,839 --> 00:09:30,120
Joop: Dat dat dan ook je tip is voor luisteraars.

152
00:09:30,760 --> 00:09:32,439
Joop: Dat timeboxen je kan helpen.

153
00:09:32,439 --> 00:09:34,199
Mark: Ja, zeker weten, zeker weten.

154
00:09:34,439 --> 00:09:37,160
Mark: Want iedereen wil natuurlijk de next big thing.

155
00:09:37,160 --> 00:09:42,840
Mark: Maar ik vind het heel goed ook om groot te denken en te dromen van wat kan het allemaal doen.

156
00:09:42,839 --> 00:09:47,400
Mark: Maar ik denk dat het de beste tip die ik iedereen kan geven is om het om heel klein te beginnen.

157
00:09:47,720 --> 00:09:51,960
Joop: Heb je ook een concreet voorbeeld waar je uiteindelijk AI wel hebt moeten inzetten.

158
00:09:52,439 --> 00:09:57,240
Mark: Bijvoorbeeld nu waar we het project waar ik nu aan werk, daar gaat het over.

159
00:09:57,720 --> 00:10:01,160
Mark: Dit zal ook iedereen herkennen, in ieder geval in de e-commerce wereld.

160
00:10:01,720 --> 00:10:07,079
Mark: De zoekresultaten van Google bijvoorbeeld, daar staat nu heel vaak zo'n samenvattingsbalkje bij.

161
00:10:07,319 --> 00:10:12,360
Mark: Dat heeft best wel grote invloed op het verkeer, wat op een platform landt.

162
00:10:12,359 --> 00:10:15,800
Mark: Dus voor een e-commerce bedrijf, nou kwam je vaak daar dan bovenaan te staan.

163
00:10:15,800 --> 00:10:19,200
Mark: Nu ben je, nu sta je lager, dus er komt minder verkeer naar jou toe.

164
00:10:19,199 --> 00:10:21,839
Joop: Omdat je niet in dat samenvatting ding terecht komt.

165
00:10:17,560 --> 00:10:23,759
Joop: Gewoon omdat de resultaten ook naar beneden gedrukt.

166
00:10:24,719 --> 00:10:25,599
Niels: Je hebt minder ruimte.

167
00:10:25,760 --> 00:10:26,800
Mark: Er is gewoon minder ruimte.

168
00:10:26,800 --> 00:10:31,520
Mark: En tegelijkertijd claims Google steeds meer betaalde ruimte.

169
00:10:31,520 --> 00:10:34,080
Mark: Dus steeds moeilijker om daar tussen te komen.

170
00:10:34,079 --> 00:10:40,160
Mark: Dus wat je ziet dan, is dat er steeds meer betaald verkeer is en steeds minder.

171
00:10:40,160 --> 00:10:45,120
Mark: Er wordt steeds minder organisch verkeer vanuit die zoekresultaten, dat staat dan een beetje onder druk.

172
00:10:45,359 --> 00:10:47,760
Mark: En dan is de vraag: wat kun je daar tegen doen?

173
00:10:47,760 --> 00:10:52,640
Mark: Dan moet je content zo goed mogelijk zijn om toch bovenaan te komen te staan.

174
00:10:53,119 --> 00:10:56,400
Niels: Wat betekent dan content goed, waar moet ik dan denk ik een beschrijving?

175
00:10:56,719 --> 00:11:01,520
Mark: Dat kunnen de titels zijn, de beschrijvingen, het is vaak een samenspel van een heleboel factoren.

176
00:11:01,520 --> 00:11:06,480
Mark: Je kunt het echt niet op één ding toespitsen, zeg maar.

177
00:11:06,479 --> 00:11:09,439
Mark: Het zijn allerlei dingen die ervan invloed zijn.

178
00:11:09,439 --> 00:11:11,920
Mark: Maar laten we als voorbeeld een producttitel.

179
00:11:12,719 --> 00:11:17,199
Mark: In dit geval waar ik mee begon met de naam van het tabje van de pagina.

180
00:11:17,280 --> 00:11:18,560
Joop: Zelfs dat heeft ingewikkeld.

181
00:11:20,959 --> 00:11:22,640
Joop: Hoe kom je daar dan achter?

182
00:11:22,880 --> 00:11:25,199
Joop: Hoe meet je dat dat invloed heeft?

183
00:11:25,520 --> 00:11:27,280
Mark: Dat is dus niet makkelijk.

184
00:11:28,479 --> 00:11:34,240
Mark: Er zijn natuurlijk overal onderzoeken en mensen die er onderzoek naar doen en allerlei rapporten over geschreven.

185
00:11:34,240 --> 00:11:37,120
Mark: Dus daar kan je op baseren natuurlijk.

186
00:11:37,760 --> 00:11:44,079
Mark: Maar om aan te tonen of een verandering effect heeft, dat is veel moeilijker.

187
00:11:44,079 --> 00:11:51,680
Mark: En daarvoor een verandering in de checkout van een webwinkel, dan kun je dat heel makkelijk AB testen.

188
00:11:51,680 --> 00:11:56,400
Mark: Want dan zeg je nou, de helft of een deel krijgt dit te zien en een ander krijgt dat te zien.

189
00:11:56,400 --> 00:12:00,720
Mark: Maar dat werkt voor in het geval Search Engine Optimization, werkt dat niet.

190
00:12:00,719 --> 00:12:05,279
Mark: Want Google komt langs, die kijkt naar alles wat er op die pagina staat.

191
00:12:05,280 --> 00:12:06,720
Mark: En die bepaalt op basis daarvan.

192
00:12:06,719 --> 00:12:13,280
Mark: Nou, jij krijgt plek 8 of 7, of één als je hem al zal hebt, mazzel, daar heb je hard voor gewerkt.

193
00:12:17,439 --> 00:12:24,720
Mark: Die informatie, zeg maar die zou ik dat zeggen.

194
00:12:25,520 --> 00:12:30,640
Mark: Je hebt al die informatie nodig om in ieder geval om bovenaan te komen.

195
00:12:30,640 --> 00:12:33,040
Mark: En dan komt Google maar één keer langs om dat te kijken.

196
00:12:33,040 --> 00:12:36,719
Joop: Dus je kunt niet twee varianten zeggen van ik heb hier één variant en variant.

197
00:12:36,719 --> 00:12:38,560
Mark: En dan kies jij maar welke het beste werkt.

198
00:12:38,560 --> 00:12:40,479
Mark: Nee, zo werkt dat dus niet.

199
00:12:40,480 --> 00:12:50,479
Mark: Dus wat je dan moet doen, is dan moet je op zoek gaan naar groepen producten die dan op elkaar lijken qua karakteristieken qua het verkeer wat er overheen gaat.

200
00:12:50,480 --> 00:12:56,320
Mark: Dat je twee groepen krijgt die eigenlijk hetzelfde verkeer hebben voor en na een bepaald tijdstip.

201
00:12:56,640 --> 00:12:59,120
Mark: En dan moet je voor de helft moet je dan eigenlijk iets veranderen.

202
00:12:59,119 --> 00:13:00,480
Joop: En de helft is.

203
00:13:00,480 --> 00:13:01,680
Mark: En wat moet je dan veranderen?

204
00:13:01,680 --> 00:13:07,359
Mark: Ja, een stukje content bij wijze van spreken, de naam van een tabje of iets, iets op die website.

205
00:13:07,359 --> 00:13:09,199
Niels: En waar heb je dan AI van ingezet?

206
00:13:09,199 --> 00:13:14,800
Niels: Voor het vergelijkingszoeken van de vergelijkingen die je kan gebruiken voor je onderzoek of ook voor de teksten.

207
00:13:15,040 --> 00:13:20,080
Mark: Nou ja, in dit geval gaat het over bijvoorbeeld zo'n zo'n kopnaamje of zo.

208
00:13:20,640 --> 00:13:24,880
Mark: Als je dat op grote schaal wil doen, voor tien dingen kan je nog met de hand typen.

209
00:13:24,879 --> 00:13:29,520
Mark: Maar als je het duizend of miljoenen dingen worden, dan red je dat niet in de tijd.

210
00:13:29,599 --> 00:13:31,199
Mark: Dus daar kun je dan bijvoorbeeld AI voor.

211
00:13:31,280 --> 00:13:33,039
Joop: Maar AI voor de duidelijkheid.

212
00:13:33,040 --> 00:13:38,560
Joop: Want heel veel mensen vinden AI synoniem tegenwoordig met generatieve AI.

213
00:13:38,560 --> 00:13:42,400
Joop: Hebben we het hier over generatieve AI, hebben we het over machine learning, deep learning.

214
00:13:42,400 --> 00:13:45,199
Joop: Wat is de techniek die je gebruikt?

215
00:13:45,439 --> 00:13:55,439
Mark: Ja, alles eigenlijk, een combinatie van al die zaken, maar het genereren zelf, dat is eigenlijk de basis, je hebt bepaalde informatie die je erin moet stoppen om te zorgen dat het goed is.

216
00:13:55,839 --> 00:14:02,239
Mark: Dan heb je generatieve AI, zeg maar, om er dan een stukje tekst uit te krijgen wat aan jou aan jouw eisen voldoet.

217
00:14:02,240 --> 00:14:05,359
Mark: Maar je hebt ook nog gewoon klassieke machine learning er achteraan zitten.

218
00:14:05,359 --> 00:14:07,439
Mark: Want het genereren is makkelijk.

219
00:14:07,439 --> 00:14:10,000
Mark: Maar hoe weet jij nou dat het klopt en dat het goed is?

220
00:14:10,000 --> 00:14:15,439
Mark: En daar zit dan weer een hele stap achteraan om alles wat gemaakt is eerst op allerlei zaken te checken.

221
00:14:15,439 --> 00:14:19,760
Mark: En dat kan zijn, is het niet te lang.

222
00:14:19,760 --> 00:14:24,160
Mark: Maar dat kan ook zijn, zitten er geen woorden in die we niet willen gebruiken of ingewikkelde zaken.

223
00:14:24,480 --> 00:14:26,480
Joop: Maar dat is nog regelgebaseerd, toch?

224
00:14:26,480 --> 00:14:27,520
Joop: Want dan kan je gewoon dat ook.

225
00:14:27,680 --> 00:14:28,640
Mark: Bijvoorbeeld de taal.

226
00:14:29,040 --> 00:14:29,920
Mark: Je moet wel checken.

227
00:14:30,240 --> 00:14:33,040
Mark: Komt er Nederlands of Engels bij wijze van spreken uit.

228
00:14:33,359 --> 00:14:37,039
Mark: En niet dat het ineens een Frans antwoord is, of code bijvoorbeeld.

229
00:14:37,040 --> 00:14:41,359
Mark: Er zijn dan iets ingewikkelder stappen en daar gebruik je dan iets complexere dingen voor.

230
00:14:41,359 --> 00:14:45,920
Mark: Maar dat kan ook een heel klein en simpel model zijn dat je daarvoor gebruikt.

231
00:14:45,920 --> 00:14:47,759
Mark: Dat heel erg fit for purpose is.
232
00:14:47,760 --> 00:14:52,800
Mark: Want je hoort ook veel dingen over LLM als een judge, zeg maar, dat je alles weer in een AI gooit en noem maar op.
 232
00:14:52,800 --> 00:14:56,640
Mark: Maar dat is traag, kostbaar en overkill.
 233
00:14:57,520 --> 00:15:05,079
Mark: Dus jij bent eigenlijk altijd op zoek naar de juiste combinatie van al die dingen om het goedkoop, efficiënt, maar wel goed te doen.
 234
00:15:05,319 --> 00:15:10,280
Niels: Hoe maak jij die afwegingen wanneer je het een ten opzichte van het andere zou gebruiken?
 235
00:15:12,280 --> 00:15:17,880
Mark: Eigenlijk op dezelfde manier als dat ik het net beschrijf, ik doe het liever simpel oplossen dan ingewikkeld.
 236
00:15:17,880 --> 00:15:35,800
Mark: Dus als ik een simpele manier heb om vanuit de klassieke machine learning kant, om het op te lossen, dan weet ik het goedkoper, het is sneller, het is makkelijker om consistent te houden, het is meer deterministisch dan.
 237
00:15:37,880 --> 00:15:56,520
Niels: Want dat is inderdaad dan even, want het simpelste is misschien gewoon weer in de LLM te gooien en zeggen van is het goed genoeg en dan weer door, maar er zitten dus meerdere aspecten aan inderdaad is het kosten goed te controleren consistentie, dat soort zaken die daarin meespelen, om die afweging te maken en dan nog steeds simpel proberen te houden.
 238
00:15:58,280 --> 00:16:01,079
Mark: Uiteindelijk het hele systeem is natuurlijk nog steeds wel complex.
 239
00:16:01,240 --> 00:16:05,320
Mark: Daarom probeer je alle componenten zo simpel mogelijk te houden.
 240
00:16:06,359 --> 00:16:10,920
Joop: Wat heeft, want je zei, je hebt een heel aantal van dit soort trajecten gedaan.
 241
00:16:12,040 --> 00:16:15,080
Joop: Waar werd je verrast?
 242
00:16:19,000 --> 00:16:27,800
Mark: Ja, dan zit altijd in elk project zit wel een verrassing, soms zit het in een experiment dat gewoon compleet anders uitvalt dan wat je had verwacht.
 243
00:16:27,800 --> 00:16:31,240
Mark: Dus je hebt een hypothese en het antwoord blijkt compleet anders te zijn.
 244
00:16:31,240 --> 00:16:37,640
Mark: Dus heb ik ook een keer iets live gezet en dat werd binnen twee uur weer uitgezet, omdat de impact zo groot was en niet in positieve zin?
 245
00:16:38,199 --> 00:16:42,199
Mark: Kijk, daar weet ik, daar werden we zeker verrast, en dat vonden we natuurlijk ook jammer.
 246
00:16:45,319 --> 00:16:47,160
Joop: De implementatie dan te simpel.
 247
00:16:47,160 --> 00:16:49,080
Mark: Dus dan moet je ingewikkelder gaan hebben.
 248
00:16:49,640 --> 00:16:55,319
Joop: En konden jullie dat dan ook zo snel detecteren, dat was een AB-test.
 249
00:16:55,319 --> 00:16:59,160
Joop: Ja, dat is natuurlijk wel, want dan kun je risico misschien nemen.
 250
00:16:59,160 --> 00:17:00,519
Joop: Dus dan is het misschien niet fijn.
 251
00:17:00,520 --> 00:17:04,118
Joop: Maar als je het heel snel kan constateren, kan je het ook heel snel terugdraaien.
 252
00:17:04,520 --> 00:17:06,118
Joop: Had je het ook zo ontworpen?
 253
00:17:07,079 --> 00:17:09,240
Mark: Ja, zeker, daar wordt ook echt actief naar gekeken.
 254
00:17:11,000 --> 00:17:17,960
Mark: Gaat het werken of gaat het niet, dat kon al heel positief uitvallen van een heleboel mensen, maar in dit geval werkte het niet zoals we het wilden hebben.
 255
00:17:19,079 --> 00:17:22,680
Mark: Maar dan heb je snel geleerd en dan is het leergeld eigenlijk als het ware.
 256
00:17:22,680 --> 00:17:29,640
Mark: Maar hier komt dat snel in het geval van dat CO-stuk, daar duurt het gewoon weken voordat je je antwoord hebt.
 257
00:17:30,599 --> 00:17:34,280
Mark: Zelfs met de schaal van Bol.
 258
00:17:36,199 --> 00:17:39,959
Joop: Hoe ga je daar dan mee om in je ontwerp?
 259
00:17:40,599 --> 00:17:45,720
Joop: Want het is best wel lastig, van als het dan weken duurt, je hebt maar die drie maanden.
 260
00:17:45,720 --> 00:17:47,399
Joop: Hoe ga je daar dan mee om?
 261
00:17:47,399 --> 00:17:51,079
Mark: Nou ja, eigenlijk wat we timboxen de implementatie op drie maanden.
 262
00:17:51,079 --> 00:17:53,399
Mark: En in dit geval, dit was een van de eerste projecten.
 263
00:17:53,399 --> 00:17:56,359
Mark: Dus toen moest ze ook nog een beetje de vorm vinden.
 264
00:17:56,520 --> 00:18:01,639
Mark: Toen hebben ze het een paar weken nadat wij er waren, het was pas de implementatie af.
 265
00:18:01,879 --> 00:18:03,719
Mark: Toen hebben wij gewoon eigenlijk aangegeven.
 266
00:18:04,200 --> 00:18:05,319
Mark: Dit zijn alle mogelijkheden.
 267
00:18:05,319 --> 00:18:07,640
Mark: Dit is de simpelste manier om het te implementeren.
 268
00:18:07,639 --> 00:18:14,919
Mark: Dus niet een ingewikkeld model, maar gewoon één factor die je toch al hebt op die plek, gebruik die en test dan of het werkt.
 269
00:18:15,240 --> 00:18:19,800
Mark: En dat heeft toen het IT-team zelf geïmplementeerd, maar dan een paar weken later.
 270
00:18:20,679 --> 00:18:24,760
Niels: En dan zie je denk ik wel heel veel van zo'n grote organisatie als Bol.
 271
00:18:24,760 --> 00:18:28,200
Niels: En dan kom je daar met z'n tweeën en dan ga je daarna door naar het volgende.
 272
00:18:28,440 --> 00:18:30,679
Niels: Wat gebeurt er dan met de teams waar je nu weggaan zijn?
 273
00:18:30,679 --> 00:18:35,719
Niels: Want die hebben denk ik een spark aan ideeën wat er nog meer mogelijk is, maar jullie hebben maar een klein ding kunnen oppakken.
 274
00:18:36,280 --> 00:18:37,560
Niels: Wat gebeurt daarmee?
 275
00:18:37,560 --> 00:18:42,760
Mark: Ook dat verschilt natuurlijk per team en ook per uitkomst van hoe makkelijk is het om erop door te gaan.
 276
00:18:42,760 --> 00:18:48,439
Mark: Maar het voorbeeld van die pakketje bezorg is, maar toch niet.
 277
00:18:49,000 --> 00:18:52,280
Mark: Dat team heeft echt gewoon dezelfde methodiek gehanteerd.
 278
00:18:52,280 --> 00:18:54,520
Mark: En die heeft daar jaren nog.
 279
00:18:54,520 --> 00:18:58,759
Mark: Ik denk dat ze daar nog steeds verbeteringen uithalen.
 280
00:18:58,760 --> 00:19:03,000
Mark: Dus daar was het echt wel een soort van gamechanger in de manier van werken.
 281
00:19:03,240 --> 00:19:08,919
Mark: Maar voor andere projecten is het misschien dan lever je een stukje software op.
 282
00:19:10,119 --> 00:19:14,279
Mark: Dat wordt dan gebruikt misschien twee jaar en misschien is het dan ook is het ook niet meer nodig.
 283
00:19:14,920 --> 00:19:19,400
Mark: Of misschien is er ook wel een project waar ze van, hier was het niet wat we op gehad hebben gehoopt.
 284
00:19:19,400 --> 00:19:23,640
Mark: Daarom doe je het ook zo kort om aan te valideren van kan het of niet.
 285
00:19:24,040 --> 00:19:27,319
Mark: Dat er gewoon niet verder in geïnvesteerd wordt en dan ga je gewoon weer iets anders proberen.
 286
00:19:27,560 --> 00:19:28,920
Mark: Dat is ook part of the game.
 287
00:19:28,920 --> 00:19:30,599
Mark: Het zijn allemaal experimenten eigenlijk.
 288
00:19:30,599 --> 00:19:37,640
Joop: Wat ik waar ik heel erg benieuwd naar ben, is wat is als het ware je eerste vraag als je bij zo'n project komt?
 289
00:19:37,960 --> 00:19:39,319
Joop: Mijn eerste vraag.
 290
00:19:42,040 --> 00:19:44,280
Mark: Meestal toch gewoon waar denk je zelf dat het zit.
 291
00:19:45,319 --> 00:19:49,599
Mark: Uiteindelijk, je begint helemaal blanco in zo'n project.
 292
00:19:47,400 --> 00:19:52,640
Mark: Dus je probeert echt duidelijk te maken van wat is nou eigenlijk het probleem.
 293
00:19:52,960 --> 00:19:54,239
Mark: Waar loop je nou tegenaan?
 294
00:19:54,240 --> 00:19:56,800
Mark: En daar moet je echt wel goed op doorvragen.
296
00:19:56,800 --> 00:20:03,919
Mark: Omdat dat uiteindelijk bepaalt wat je vlaggestok wordt, waar je naartoe gaat werken of wat je gaat optimaliseren.

295
00:20:04,560 --> 00:20:09,359
Joop: Loop je dan ook niet het risico dat ze al met de oplossing voor iets komen.

296
00:20:10,319 --> 00:20:12,479
Joop: Want daar zijn wij als mensen heel goed in.

297
00:20:12,800 --> 00:20:16,879
Joop: Om in oplossingen te praten waarin een probleem zit verborgen.

298
00:20:17,599 --> 00:20:22,319
Mark: Ja, dat merk je wel, maar daar hadden we wel een leuke aanpak voor bedachten ook.

299
00:20:22,319 --> 00:20:28,800
Mark: Dus eigenlijk tegen het einde van het ene project hadden we dan al, dat deed dan Erik voor ons.

300
00:20:28,800 --> 00:20:36,640
Mark: Die regelde dan al dat alle mensen uit dat domein vanuit alle stukjes in ieder geval dat al één moment hadden, een dagdeel.

301
00:20:37,919 --> 00:20:40,639
Mark: Dat noemden wij dan de ideation sessions.

302
00:20:40,879 --> 00:20:46,319
Mark: Waarbij de momenten waar we informatie deelde waren, de insight sessions, dit waren dan de ideation sessions.

303
00:20:47,599 --> 00:20:49,040
Mark: Daar was iedereen er dan bij.

304
00:20:49,040 --> 00:20:52,159
Mark: Ik kan iedereen al zijn ideeën ook kwijt.

305
00:20:52,159 --> 00:20:54,639
Mark: Dus daardoor kreeg je ook een heleboel oplossingsrichtingen.

306
00:20:54,639 --> 00:21:00,480
Mark: Maar daaruit konden we dan ook wel weer destilleren van oké, dus dit zijn een beetje de componenten waar we mee kunnen spelen.

307
00:21:00,480 --> 00:21:02,480
Mark: En dit zijn de richtingen waar we het gaan zoeken.

308
00:21:02,480 --> 00:21:05,120
Mark: En dan tilden we altijd een niveau hoger.

309
00:21:05,119 --> 00:21:07,760
Mark: Dus ze gingen nooit meteen implementeren.

310
00:21:07,760 --> 00:21:12,640
Mark: Er kwamen allerlei hypothesen en gedachten uit, waardoor we heel snel heel veel domeinkennis op deden.

311
00:21:12,639 --> 00:21:14,560
Mark: En daar kwamen ook die verrassingen uit bijvoorbeeld.

312
00:21:15,119 --> 00:21:16,960
Mark: Oké, ze denken dat het zo werkt.

313
00:21:16,960 --> 00:21:18,399
Mark: En dan doe je een paar analyses.

314
00:21:18,639 --> 00:21:21,359
Mark: Ja, ik zie hier toch echt dingen die compleet iets anders zeggen.

315
00:21:21,359 --> 00:21:22,399
Mark: Hoe kun je dat verklaren?

316
00:21:22,480 --> 00:21:24,159
Mark: Dat leverde wel een leuke gesprek op.

317
00:21:24,159 --> 00:21:26,159
Joop: En waren dat dan ook die insights?

318
00:21:28,079 --> 00:21:29,520
Joop: En want hoe gingen die dan?

319
00:21:29,520 --> 00:21:32,319
Joop: Dus je komt binnen en aan en wat doe je dan.

320
00:21:33,200 --> 00:21:36,160
Mark: In die insight sessions zaten we gewoon met z'n allen aan een grote tafel.

321
00:21:36,319 --> 00:21:38,480
Mark: Wij hadden twee weken analysewerk gedaan.

322
00:21:38,480 --> 00:21:39,999
Mark: Alle highlights eruit gehaald.

323
00:21:40,000 --> 00:21:43,120
Mark: En zeggen van nou, dit zouden we gaan doen, dit waren de invalshoeken.

324
00:21:43,359 --> 00:21:44,560
Mark: Dit hebben we nu geleerd.

325
00:21:44,560 --> 00:21:51,120
Mark: Dit hebben we gevonden, hier snappen we niet waarom dit zo is, zitten wij verkeerd of is er is de hypothese fout, zeg maar.

326
00:21:51,119 --> 00:21:59,280
Mark: En dat was eigenlijk een soort van langlopend gesprek in die drie weken dat steeds meer convergeerde naar een eindpunt.

327
00:21:59,280 --> 00:22:03,199
Mark: Dat een experiment kon zijn of iets anders wijd opgeleverd.

328
00:22:04,159 --> 00:22:10,319
Niels: Ik ben ook wel benieuwd inderdaad, het kan best wel zijn dat er best wel verschillende bronnen data vandaan moet halen worden.

329
00:22:10,720 --> 00:22:13,439
Niels: Wat kwam ik voor uitdagingen waar liep je tegenaan?

330
00:22:13,440 --> 00:22:15,679
Niels: Datakwaliteit, dat kwaliteit.

331
00:22:16,879 --> 00:22:22,960
Mark: Ja, tegen alles wat jij kan bedenken natuurlijk, je bent aan het zoeken, dat heb ik nodig.

332
00:22:22,960 --> 00:22:25,199
Mark: En dan ga je langs bij een paar lokaties.

333
00:22:25,200 --> 00:22:30,000
Mark: En dan oké, dit lijkt wel wat ik nodig heb, dan moet je toegang vragen, duurt een paar dagen.

334
00:22:30,000 --> 00:22:32,319
Mark: Onder die tijd kan het soms spannend zijn.

335
00:22:32,319 --> 00:22:44,240
Mark: Maar het scheelt wel als je dit zo'n paar keer doet, op mijn achter project had ik zeg maar zoveel zoveel data die ik aan elkaar kon knopen dat ik zeg maar in twee weken voor elkaar kreeg wat op het begin wat misschien anderhalve maand duurde.

336
00:22:47,440 --> 00:22:53,760
Niels: waarin winnen dat groeit, waarin je de data steeds meer aan elkaar gekoppeld had, wat je wist wat jullie moest koppelen.

337
00:22:55,200 --> 00:22:58,159
Mark: Want in zo'n bedrijf is het zo groot, er is zoveel.

338
00:22:58,159 --> 00:23:04,399
Mark: En al die domeinen zijn anders, je hebt de logistiek, maar je hebt ook de logistiek weer terug, bijvoorbeeld is eigenlijk gewoon een ander ander verhaal.

339
00:23:05,359 --> 00:23:06,400
Joop: Voor alle retouren.

340
00:23:07,520 --> 00:23:09,919
Niels: En ik denk veel datapunten waar je terecht kan.

341
00:23:10,240 --> 00:23:15,839
Niels: Maar is dat soms een voordeel of een nadeel dat je zoveel data hebt?

342
00:23:16,800 --> 00:23:23,679
Mark: Nou ja, het is een voordeel dat je het hebt en dat het al best wel van hoge kwaliteit is en dat het allemaal op een uniforme manier beschikbaar is.

343
00:23:23,760 --> 00:23:30,399
Mark: Met natuurlijk zijn altijd wel dingen waar je op kan wat minder werkt, maar in de basis is het niveau eigenlijk al heel goed.

344
00:23:30,560 --> 00:23:32,000
Mark: Dat is absoluut een voordeel.

345
00:23:32,879 --> 00:23:35,599
Mark: Dus wel goed begint bij wat is het probleem wat ik wil oplossen.

346
00:23:35,599 --> 00:23:41,520
Mark: Want je kunt namelijk urenlang kun je natuurlijk grasduinen allerlei datasets.

347
00:23:41,520 --> 00:23:47,999
Mark: Maar je moet echt heel scherp blijven met wat wil ik oplossen, welke vraag wil ik beantwoorden en wat heb ik daarvoor nodig en niets meer.

348
00:23:48,240 --> 00:23:53,280
Niels: De standaardisatie was dus al gedaan, dus de data was al in een bepaald formaat voor jou beschikbaar.

349
00:23:53,839 --> 00:23:55,199
Niels: Dus dat voorwerk was al gedaan.

350
00:23:55,199 --> 00:23:56,719
Niels: Dus dat fundament lag er al.

351
00:23:56,879 --> 00:23:59,040
Mark: Ja, dat fundament lag er al, ja zeker.

352
00:23:59,199 --> 00:24:04,240
Joop: En nadat je die acht projecten gedaan hebt, ben je wat anders gaan doen.

353
00:24:04,480 --> 00:24:11,999
Joop: Wat heb je van Bol meegenomen in het begin van het nieuwe traject wat je toen bent gestart?

354
00:24:12,240 --> 00:24:17,200
Mark: Dat was een heel andere organisatie waar ik toen mee landen, toen ging ik bij Tiki aan de slag, ook een heel erg bedrijf.

355
00:24:17,199 --> 00:24:21,599
Mark: Maar die schaal is zoveel kleiner en het domein is zo veel meer overzichtelijk.

356
00:24:21,599 --> 00:24:23,839
Mark: Wat je meeneemt, is natuurlijk van nou, wat is het probleem?

357
00:24:23,920 --> 00:24:25,760
Mark: Wat proberen op te lossen.

358
00:24:26,319 --> 00:24:32,040
Mark: Vanuit die kant denken, maar ook wel een beetje van ja, hoe hebben ze dingen bij bij Bol bijvoorbeeld georganiseerd.

359
00:24:32,040 --> 00:24:33,479
Mark: Hoe zie ik dat het hier georganiseerd?

360
00:24:33,560 --> 00:24:35,240
Mark: Wat zou beter kunnen bij wijze van spreken.

361
00:24:35,720 --> 00:24:37,800
Mark: Dat soort zaken neem je er wel mee.

362
00:24:38,040 --> 00:24:39,719
Mark: Maar dat is specifiek voor die opdracht.

363
00:24:40,440 --> 00:24:42,839
Joop: Maar heb je iets van de aanpak meegenomen?

364
00:24:43,560 --> 00:24:45,159
Mark: Ja, dat kon in die setting niet.

365
00:24:45,800 --> 00:24:49,079
Mark: Maar dat neem ik wel mee voor andere projecten weer.

366
00:24:49,560 --> 00:24:50,599
Mark: Voor Winparts.

367
00:24:51,000 --> 00:24:53,239
Mark: Eigenlijk een soort van zelfde insteken.
370
00:24:53,240 --> 00:24:57,319
Mark: Dat is van oké, jullie willen een soort van datafundament netzetten, wat moet het dan gaan doen.

368
00:24:57,319 --> 00:25:00,760
Mark: En hoe kunnen we dan, wat kunnen we dan in een korte termijn bouwen.

369
00:25:00,760 --> 00:25:04,679
Mark: En hoe zorgen we ervoor dat het meteen waarde oplevert en dat we dat weten.

370
00:25:04,679 --> 00:25:08,040
Mark: Dus dat soort zaken die neem je natuurlijk wel mee.

371
00:25:08,839 --> 00:25:10,199
Joop: En wat heb je achtergelaten?

372
00:25:10,280 --> 00:25:13,000
Joop: Dat je zegt van een nieuwe organisatie.

373
00:25:13,319 --> 00:25:17,079
Joop: Dat was eigenlijk typisch iets voor voor een andere organisatie.

374
00:25:17,399 --> 00:25:20,599
Joop: En hier heb ik daar aanpassingen aan moeten doen.

375
00:25:20,839 --> 00:25:25,639
Joop: En dan bedoel je, qua proces aangepakt.

376
00:25:26,919 --> 00:25:32,760
Joop: Ik kan me voorstellen, omdat je er zo acht achter elkaar hebt gedaan, dan wordt dat proces.

377
00:25:32,919 --> 00:25:34,999
Joop: Je wordt een herhaalbaar proces.

378
00:25:35,560 --> 00:25:44,359
Joop: Maar dat die ook vooral herhaalbaar is binnen die organisatie en dat je toch een stukje hebt moeten aanpassen bij Winparts.

379
00:25:44,440 --> 00:25:47,880
Joop: Dat je zegt van ja, maar zij gewoon anders georganiseerd.

380
00:25:48,440 --> 00:25:49,879
Mark: Ja, ik snap, ik snap wat je bedoelt.

381
00:25:50,119 --> 00:25:58,119
Mark: In ieder geval bij Bol is het fijn dat Berend in mijn voetsporen trap, het was een beetje dat gewoon nog twee jaar doorgetrokken.

382
00:25:58,119 --> 00:26:01,720
Mark: Dus dat proces, dat was bekend en dat ging zo door.

383
00:26:01,720 --> 00:26:03,959
Mark: Dus dat is wel heel fijn.

384
00:26:03,960 --> 00:26:06,040
Mark: Dus dat werd niet in de prullenbak gegooid.

385
00:26:06,040 --> 00:26:11,319
Mark: Maar bij een ander bedrijf, een kleiner bedrijf, heb je echt wel andere aanpakken.

386
00:26:11,319 --> 00:26:15,959
Mark: Daar heb je bijvoorbeeld niet de luxe om drie maanden lang in alle richtingen te gaan grasduinen.

387
00:26:16,040 --> 00:26:19,720
Mark: Altijd maar omdat die data er nog niet is, bijvoorbeeld.

388
00:26:20,599 --> 00:26:22,759
Mark: Daar heb ik het wel echt moeten aanpassen.

389
00:26:23,079 --> 00:26:28,679
Mark: En ook als mijn tempo een beetje moeten aanpassen, ook weer.

390
00:26:28,839 --> 00:26:30,599
Joop: En waar naartoe?

391
00:26:31,240 --> 00:26:31,960
Mark: Lager.

392
00:26:31,960 --> 00:26:33,319
Joop: Ik had verwacht hoger.

393
00:26:33,480 --> 00:26:36,120
Mark: Omdat zo'n bedrijf als Winparts een scale-up.

394
00:26:36,280 --> 00:26:38,919
Mark: Maar ze zijn overgenomen door een grotere organisatie.

395
00:26:38,920 --> 00:26:45,719
Mark: En daardoor heb je ook te maken met afstemming met een heel ander deel van het bedrijf, wat toch allemaal soort van onbekend is.

396
00:26:45,720 --> 00:26:49,000
Mark: Dus je moet eerst daar ook weer allemaal iedereen leren kennen.

397
00:26:49,560 --> 00:26:51,800
Joop: Zij moet je eigenlijk Winparts ook even leren kennen.

398
00:26:51,800 --> 00:26:53,879
Joop: Want Bol kent iedereen natuurlijk.

399
00:26:54,440 --> 00:26:56,679
Joop: Maar kun je heel kort vertellen wat Winparts doet?

400
00:26:56,679 --> 00:26:57,239
Mark: Ja, zeker.

401
00:26:57,240 --> 00:27:01,720
Mark: Als je van als je van sleutelen aan auto's houdt, dan ken je dit bedrijf.

402
00:27:01,720 --> 00:27:04,359
Mark: Ze zijn eigenlijk de webshop voor autoonderdelen.

403
00:27:05,960 --> 00:27:06,999
Joop: Ik sleutel niet.

404
00:27:07,079 --> 00:27:12,040
Mark: Als jij als jij de ruitenwisservloeistof wil vervangen, dan kan je dat daar ook vinden.

405
00:27:13,000 --> 00:27:15,080
Mark: Ook als je niet wil klimmen, dan kan je ook kort terecht.

406
00:27:15,079 --> 00:27:18,839
Mark: Maar je kunt er ook gewoon complete bumpers voor je auto halen.

407
00:27:18,839 --> 00:27:28,999
Mark: Dus hun logistieke centrum is ook helemaal staat vol met spullen die bij Bol niet zo snel verkocht zouden worden, omdat ze bijvoorbeeld rollen of kunnen breken, dat soort zaken.

408
00:27:29,800 --> 00:27:30,760
Joop: Grappig.

409
00:27:32,119 --> 00:27:35,159
Joop: U was aan het vertellen over verschil tussen groot en klein.

410
00:27:35,240 --> 00:27:39,079
Joop: En dat je je tempo moest aanpassen, iets lager.

411
00:27:39,159 --> 00:27:40,680
Joop: En waarom juist lager dan?

412
00:27:40,679 --> 00:27:43,239
Mark: Ja, dus omdat een fundament moet je goed neerzetten.

413
00:27:43,240 --> 00:27:45,720
Mark: En een Bol zou ook niet in één dag gekomen.

414
00:27:45,720 --> 00:27:50,520
Mark: Dus dat betekent dat je over dingen moet nadenken die niet alleen functioneel zijn.

415
00:27:50,520 --> 00:27:55,399
Mark: van ik wil van A naar B komen, ik wil die retouren terugdringen en ik heb daar deze informatie voor nodig.

416
00:27:55,399 --> 00:27:59,879
Mark: Maar je moet ook nadenken over wat is in infrastructuur daarachter en hoe hou ik dat veilig?

417
00:27:59,879 --> 00:28:13,719
Mark: Wie kan daarbij, hoe is de structuur van alles opgezet, hoe zorg ik ervoor dat iemand die daaraan gaat werken, dat hij gemakkelijk niet één bronnetje kan toevoegen van weet ik het niet, van de logistieke leverancier, maar ook van de andere logistieke leverancier.

418
00:28:13,720 --> 00:28:16,759
Mark: En ook van als er iets retour komt, dat dat ook eraan toegevoegd worden.

419
00:28:16,760 --> 00:28:20,839
Mark: Dus je moet alles heel goed in één keer goed neerzetten, zodat je niet later in de problemen komt.

420
00:28:20,839 --> 00:28:37,400
Niels: Ja, dus dat betekent echt de technische infrastructuur van de data, waar de data opgeslagen wordt, hoe gaan de integraties van de data, hoe komt het binnen, hoe gaat het naar buiten, dat moest nog ingeregeld worden, waardoor niet direct de analyse in kon duiken, maar met name de adviezen moest geven dan om dat juist in te richten.

421
00:28:37,400 --> 00:28:40,599
Mark: Het ontwerp, maar daarna ook zeg maar de goedkeuring van het ontwerp.

422
00:28:40,599 --> 00:28:42,839
Mark: Dus dat je met mensen van security en compliance zit.

423
00:28:43,000 --> 00:28:44,999
Mark: Oké, ja, we willen het zo opzetten.

424
00:28:45,000 --> 00:28:47,319
Mark: Dat zij goed begrijpen wat je wil gaan doen.

425
00:28:47,319 --> 00:28:50,759
Mark: Ook goed begrijpen waar een bepaalde stappen nodig zijn en welke niet.

426
00:28:51,000 --> 00:28:55,560
Mark: Maar ja, ook gewoon of het op een veilige manier is opgezet en dat je daar geen dingen voor bij loopt.

427
00:28:55,560 --> 00:28:57,959
Mark: En dat is eigenlijk heel fijn, vertraagt je wel.

428
00:28:58,199 --> 00:29:05,159
Mark: Maar je wil ook niet hebben dat jij morgen de volgende kranten op bent met alle data ligt op straat.

429
00:29:05,159 --> 00:29:06,919
Mark: En dan kun je allerlei dingen aan doen hoor.

430
00:29:07,639 --> 00:29:08,680
Mark: Om dat goed te doen.

431
00:29:09,639 --> 00:29:11,720
Joop: Ik kan je de top drie noemen.

432
00:29:11,720 --> 00:29:15,800
Mark: Ja, hoor, waar je heel goed over na moet denken, is gewoon wie kan erbij.

433
00:29:16,040 --> 00:29:17,439
Niels: Dat is gewoon de basis.

434
00:29:17,079 --> 00:29:20,319
Mark: Bij informatie, dus bij de data.

435
00:29:20,560 --> 00:29:23,120
Mark: En vervolgens, wat stop je erin?

436
00:29:23,119 --> 00:29:26,480
Mark: Je moet er niet in stoppen wat je niet nodig hebt, maar dat wel gevoelig is.

437
00:29:26,480 --> 00:29:31,680
Mark: Je hebt geen de naam van iemand heb je helemaal niet nodig om allerlei analyses over retouren te doen.

438
00:29:32,000 --> 00:29:34,240
Mark: Dus daar moet je goed over nadenken.

439
00:29:34,240 --> 00:29:38,480
Mark: En ook over hoe vaak moet je het bijvoorbeeld updaten.

440
00:29:38,480 --> 00:29:43,280
Mark: Het wordt heel ingewikkeld als je alles altijd meteen instant realtime wil hebben.

441
00:29:43,280 --> 00:29:47,839
Mark: Maar het wordt al veel overzichtelijker als je dat dagelijks moet verversen bijvoorbeeld.

442
00:29:48,240 --> 00:29:48,879
Mark: Dat soort zaak.
446
00:29:49,040 --> 00:29:54,239
Niels: Dat betekent dat het ook niet alleen een kleinere organisatie was, maar ook het fundament moesten opgeheven worden.

443
00:29:54,240 --> 00:29:58,480
Niels: Dus de maturity op dat vlak was misschien nog wat lager en je hebt ze daar echt laten groeien.

444
00:29:58,480 --> 00:30:01,759
Niels: Om uiteindelijk ook in zo'n vliegwiel effect in.

445
00:30:01,839 --> 00:30:03,280
Mark: Dat zijn we nog steeds aan het doen.

446
00:30:03,440 --> 00:30:04,800
Niels: Want dat doe je denk ik niet overnacht.

447
00:30:04,960 --> 00:30:06,319
Mark: Nee, dat kost meer tijd.

448
00:30:06,319 --> 00:30:08,560
Mark: En ook, ik werkte ook één dag in de week.

449
00:30:08,560 --> 00:30:14,879
Mark: Dus inmiddels hebben ze gewoon ook een goede data-engineer aangenomen en die doet fantastisch werk daar.

450
00:30:14,879 --> 00:30:19,759
Mark: En nou, dat is gewoon mooi om te zien hoe die dat dan weer overpakt en het echte run- en vliegwerk doet.

451
00:30:20,079 --> 00:30:21,599
Niels: De data terug hiermee.

452
00:30:21,599 --> 00:30:27,119
Niels: Volgens mij had je ook een artikel geschreven, begin van dit jaar van dat je geen data-engineer aan moest nemen.

453
00:30:28,240 --> 00:30:28,960
Mark: Dat is de challenge.

454
00:30:30,560 --> 00:30:32,480
Niels: Die viel op in mijn research voor jou.

455
00:30:32,639 --> 00:30:33,759
Niels: Kan je die even kort toelichten.

456
00:30:33,760 --> 00:30:35,440
Niels: Waarom had je dat geschreven, die challenge?

457
00:30:35,440 --> 00:30:37,520
Mark: Nou ja, omdat ik heel veel in de praktijk zie.

458
00:30:38,079 --> 00:30:41,760
Mark: Iedereen wil dan een groot Databricks platform hebben of een Snowflake platform.

459
00:30:41,760 --> 00:30:45,359
Mark: Terwijl voor een heleboel kleine organisaties is dat gewoon een grote overkill.

460
00:30:45,599 --> 00:30:48,960
Niels: En voor de mensen die niet bekend zijn met die platform, wat zijn dat voor platformen?

461
00:30:48,960 --> 00:30:49,920
Niels: Wat kan je ermee?

462
00:30:49,919 --> 00:30:52,800
Mark: Nou ja, daar kun je eigenlijk alles mee op datagebied.

463
00:30:52,800 --> 00:30:59,760
Mark: Dat zijn hele volwassen platformen om data-analyse te doen, maar ook om applicaties op te hosten soms zelfs.

464
00:30:59,839 --> 00:31:03,999
Mark: En die zijn uitermate geschikt voor hele grote hoeveelheden met data.

465
00:31:04,240 --> 00:31:09,119
Mark: Maar veel kleine organisaties hebben wel de behoefte om hun data op één plek te brengen.

466
00:31:09,119 --> 00:31:12,240
Mark: En daar dan bepaalde inzichten uit te krijgen.

467
00:31:12,240 --> 00:31:14,560
Mark: Maar daar heb je niet per se een groot platform voor nodig.

468
00:31:14,560 --> 00:31:16,960
Mark: Dat kan ook met open source modellen.

469
00:31:17,280 --> 00:31:20,079
Mark: Dus gewoon een hele simpele kosten inschatting.

470
00:31:20,399 --> 00:31:23,440
Mark: Wat ik voor ook voor Winparts bekeken is.

471
00:31:23,599 --> 00:31:32,639
Mark: Als je het op de standaard manier inzet, zoals het volgens de markt, nou doe het op deze manier, dan gebruik je tools als Fivetran en Airflow om het dan dagelijks te laten draaien.

472
00:31:32,639 --> 00:31:37,040
Mark: Fivetran om de databron aan elkaar te knopen en dan Airflow om dat dagelijks te updaten.

473
00:31:37,040 --> 00:31:39,919
Mark: Dan ben je zo tien, 15.000 euro per jaar kwijt.

474
00:31:39,920 --> 00:31:41,040
Mark: En heb je nog helemaal niks.

475
00:31:41,040 --> 00:31:42,959
Mark: Er heeft er nog niemand één analyse op gedaan.

476
00:31:42,960 --> 00:31:46,319
Mark: En heb je nog helemaal geen structuur in aangebracht, heb je nog helemaal niets.

477
00:31:46,319 --> 00:31:52,960
Mark: En de manier waarop we daar hebben opgezet, is op een veel lichtgewicht manier.

478
00:31:53,359 --> 00:31:55,119
Mark: Dan kost het minder dan 100 euro per maand.

479
00:31:55,280 --> 00:31:56,720
Mark: Dat is een groot verschil.

480
00:31:57,520 --> 00:32:01,679
Mark: Dan heb je ook weer wat geld over om andere dingen naar mee te doen.

481
00:32:01,679 --> 00:32:06,560
Mark: En als je het zo simpel aanpakt, dan heb je misschien dus ook geen data-engineer nodig.

482
00:32:06,560 --> 00:32:13,999
Mark: In die zin dat je als je die databron gewoon goed neerzet, dan zou je misschien ook een data-analyst er meteen op kunnen laten werken.

483
00:32:14,319 --> 00:32:18,240
Mark: Wat het gewoon veel minder complex is, de hele situatie.

484
00:32:18,399 --> 00:32:27,359
Joop: Maar als je geen data-engineer hebt, hoe zorg je dan dat de datakwaliteit wel zodanig is dat er geen rapportages uitkomen.

485
00:32:27,359 --> 00:32:29,839
Joop: Waar je dan straks verkeerde beslissingen opneemt.

486
00:32:29,839 --> 00:32:33,119
Mark: Ja, dan zou je iemand dat part-time kunnen laten doen bijvoorbeeld.

487
00:32:33,679 --> 00:32:37,839
Mark: Dus je zou je zou het bij wijze van spreken aan mij kunnen vragen of ik dat zou kunnen onderhouden.

488
00:32:37,839 --> 00:32:41,440
Mark: En zorgen dat wat er binnenkomt goed is en dat er gewoon goede checks op zijn.

489
00:32:41,440 --> 00:32:47,280
Mark: En dan kan een data-analist stapje verder, zeg maar in het proces dingen doen met die data.

490
00:32:47,280 --> 00:32:50,959
Mark: En die ziet dan ook wel hoor, of er iets niet klopt of niet.

491
00:32:50,960 --> 00:32:58,960
Niels: Ja, maar die kan misschien weer niet de aanwijzigingen erop doen die nodig zijn om het geautomatiseerd, goed getest, de datakwaliteit verhogen om dat geautomatiseerd.

492
00:32:59,599 --> 00:33:03,280
Mark: Als je dat dus goed doet, als je dat goed opzet, dan is dat snel gefixt.

493
00:33:03,280 --> 00:33:08,319
Mark: En zou iemand anders, zou ik bijvoorbeeld het vrij vlot erin kunnen krijgen.

494
00:33:08,319 --> 00:33:13,920
Niels: Dus daarmee zeg je eigenlijk voor zo'n misschien wat simpelere oplossing, heb je niet fulltime een data-engineer nodig.

495
00:33:14,240 --> 00:33:19,520
Niels: Maar je hebt wel de uitkomsten van kwaliteit nodig, dan kan je met minder tijd.

496
00:33:20,159 --> 00:33:21,040
Mark: Minder tijd minder geld.

497
00:33:21,119 --> 00:33:22,079
Mark: Ja, dat is eigenlijk heel simpel.

498
00:33:22,079 --> 00:33:27,040
Mark: Want als organisatie die groeit, wat heb je nodig, inzicht uit data om bepaalde businessproblemen op te lossen.

499
00:33:27,040 --> 00:33:27,919
Mark: Die wil je hebben, eigenlijk.

500
00:33:27,920 --> 00:33:29,120
Mark: Je wil die oplossing hebben.

501
00:33:29,119 --> 00:33:32,959
Mark: En je wil je eigenlijk helemaal niet zorgen over maken over alles wat erachter gebeurt.

502
00:33:32,960 --> 00:33:34,399
Mark: Je wil die antwoorden hebben.

503
00:33:34,400 --> 00:33:38,319
Mark: En helaas wordt er een bepaald fundament bij, wat je daar daarvoor moet hebben.

504
00:33:38,319 --> 00:33:43,199
Mark: Maar uiteindelijk de toegevoegde waarde zit hem in die bijvoorbeeld in die analist die die inzichten levert.

505
00:33:43,199 --> 00:33:44,800
Mark: En niet in het fundament daaronder.

506
00:33:44,800 --> 00:33:46,719
Mark: Dat is gewoon een soort van benodigdheid.

507
00:33:46,720 --> 00:33:51,359
Mark: Dus als je dat goedkoper en simpeler neer kan zetten, of een stukje kan uitbesteden zodat je dan.

508
00:33:51,760 --> 00:33:54,959
Mark: Het is gewoon heel simpel, als je 100.000 euro kan besteden.

509
00:33:56,400 --> 00:34:00,480
Mark: Je kunt niet een data-engineer en een data-analist aannemen, dat gaat gewoon niet.

510
00:34:00,639 --> 00:34:04,280
Mark: En de toegevoegde waarde zit hem niet in dat platform, want dan zit hem in het gebruik.

511
00:34:02,560 --> 00:34:08,920
Mark: Dus dan kun je waar moet je dan beginnen, toch denk ik aan de toegepaste kant, zeg maar.

512
00:34:09,000 --> 00:34:14,280
Mark: En dan moet je het fundament op een manier goedkoper zien in te vullen of simpeler.

513
00:34:14,599 --> 00:34:20,280
Joop: En kun je iets van een concreet resultaat noemen van wat dat dan voor hun betekend heeft, dit traject.

514
00:34:20,679 --> 00:34:25,239
Mark: Dus een van de dingen die ik op het begin zei, ik ga niet een dataplatform neer te zetten zonder een use case.

515
00:34:25,239 --> 00:34:26,998
Mark: Dus ik wil echt gewoon weten wat moet het doen.

516
00:34:27,000 --> 00:34:28,440
Mark: Welk probleem moet dit oplossen?

517
00:34:28,440 --> 00:34:32,040
Mark: Want anders weet dan ga je zeggen, ik wil deze 30 datasets in hebben.

518
00:34:32,040 --> 00:34:33,079
Mark: Waar ga je beginnen?

519
00:34:33,719 --> 00:34:34,759
Mark: We beginnen met retouren.

520
00:34:34,760 --> 00:34:37,079
Mark: Want alles wat retour komt, dat is duur.

521
00:34:39,000 --> 00:34:40,438
Mark: Je begrijpt het.

522
00:34:41,880 --> 00:34:43,399
Mark: Dat is bijvoorbeeld.

523
00:34:43,719 --> 00:34:45,478
Mark: Wat is dan een uitkomst?

524
00:34:45,480 --> 00:34:51,799
Mark: Bijvoorbeeld een heel simpel lijstje met wat zijn nou de producten die acht van de tien keer worden teruggestuurd.

525
00:34:51,799 --> 00:34:53,399
Mark: Dat is toch een enorme red flag.

526
00:34:54,360 --> 00:34:56,199
Mark: Die vraag konden ze niet beantwoorden.

527
00:34:56,759 --> 00:34:58,359
Joop: En een lijstje kan al.

528
00:34:58,520 --> 00:35:03,959
Joop: En dat konden ze niet beantwoorden omdat ze de data niet hadden of dat ze dat ze het niet goed ontsloten.

529
00:35:03,960 --> 00:35:08,759
Mark: Nou ja, de data is er uiteindelijk wel, maar het zit op allerlei verschillende plekken.

530
00:35:10,279 --> 00:35:16,599
Mark: Het kan zijn dat een bronsysteem dat er zoveel aan gewerkt wordt, dat jouw vraag gewoon helemaal onderaan de lijst komt om die vraag te kunnen beantwoorden.

531
00:35:16,599 --> 00:35:17,960
Mark: En jij weet niet hoe groot het probleem is.

532
00:35:17,960 --> 00:35:20,599
Mark: Dus je kunt ook niet zeggen, ja, maar jongens, dit kost dan zoveel geld.

533
00:35:21,159 --> 00:35:22,280
Mark: Dat kan je niet.

534
00:35:22,599 --> 00:35:25,079
Mark: Dus op die manier blijft het dan gewoon liggen.

535
00:35:25,079 --> 00:35:29,400
Mark: Dus het zit hem vaak in prioriteiten, maar ook in de versnippering van informatie.

536
00:35:30,520 --> 00:35:33,560
Mark: Er waren nog echt data-analisten, zeg maar in een bedrijf.

537
00:35:33,560 --> 00:35:34,919
Mark: Dus ja, wie gaat dat dan doen?

538
00:35:34,920 --> 00:35:39,000
Mark: Dan komt het toch weer neer op ergens aankloppen, vragen om een Exceletje.

539
00:35:39,480 --> 00:35:51,799
Mark: En dan is het eigenlijk de tijd van jouw vraag tot je antwoord, is zo groot en er gaat zoveel tijd in zitten, dat het eigenlijk veel duurder is dan te investeren in zo'n fundament en daar dan een data-analyst op te zetten.

540
00:35:51,799 --> 00:35:53,079
Joop: Duidelijk.

541
00:35:53,079 --> 00:35:58,999
Joop: Maar heeft AI ook invloed gehaald in de afgelopen jaren op je eigen werkwijze.

542
00:35:59,239 --> 00:36:00,359
Mark: Ja, absoluut.

543
00:36:00,759 --> 00:36:02,520
Mark: Ja, zeker weten.

544
00:36:03,639 --> 00:36:10,359
Mark: De komst van nu, bijvoorbeeld de code assistants, dat heeft grote invloed wel op je programmeerwerk.

545
00:36:10,360 --> 00:36:15,719
Mark: Ik ben nu ook meer bezig met bedenken van nou, wat wil ik nou bereiken.

546
00:36:15,719 --> 00:36:17,159
Mark: En daar de stapjes in nadenken.

547
00:36:17,159 --> 00:36:19,560
Mark: En zelfs dat ik nu aan bijvoorbeeld een cloud vraagt.

548
00:36:19,560 --> 00:36:25,240
Mark: Oké, nou, stel mij nou nog even vijf vragen, zeg maar van dingen die je daar nu nog vaag vindt aan dit plan.

549
00:36:25,480 --> 00:36:26,599
Mark: Dan helpt die daarmee.

550
00:36:26,599 --> 00:36:29,319
Mark: En dan krijg je een completer punt.

551
00:36:29,320 --> 00:36:31,879
Mark: En ook dat ik gewoon grote stukken wel uit handen geeft.

552
00:36:32,040 --> 00:36:36,679
Mark: Nou ja, maak dan maar een opzetje over hoe je dit zou kunnen doen.

553
00:36:36,679 --> 00:36:40,839
Mark: En voor de complexe vraagstukken is het moeilijk, maar voor bijvoorbeeld zo'n dataplatform, werkt het dus perfect.

554
00:36:40,840 --> 00:36:46,279
Mark: Want als je dat goed neerzet en je goed documenteert van op deze manier voeg je een nieuwe bron toe.

555
00:36:46,279 --> 00:36:53,800
Mark: Dan is het eigenlijk alleen nog maar welke de details van de goed connectie kan leggen met die bron en zeggen, nou, implementeer het maar en dan is het bijna klaar.

556
00:36:53,880 --> 00:37:01,079
Mark: Dus als je dan dat goed inricht, dan kun je daar zelfs heel veel tijd ook mee mee winnen.

557
00:37:02,920 --> 00:37:10,599
Joop: Want je raakt nu eigenlijk weer het zelf, zeg maar, maken, bouwen, onderhouden van een platform.

558
00:37:12,199 --> 00:37:19,959
Joop: Vooral dat onderhoud, dat dat bouwen snel gaat, dat begrijp ik, maar onderhoud wordt wel vaak vergeten.

559
00:37:20,119 --> 00:37:28,599
Joop: Dus het is vaak 20% van je kosten zit in het maken, 80% van je kosten zit in onderhoud en beheer.

560
00:37:28,599 --> 00:37:40,040
Joop: Weegt dat dan nog steeds volgens jou af ten opzichte, van als je een product zou aanschaffen of licentiëren, hangt een beetje vanaf wat jij dan nu als onderhoud ziet.

561
00:37:40,840 --> 00:37:44,759
Mark: Als een bron iets verandert en daardoor gaat een datapijplijn stuk.

562
00:37:44,759 --> 00:37:47,880
Mark: Dat onderhoud heb je hoe dan ook, dat is geen tool voor jou op.

563
00:37:48,279 --> 00:37:55,000
Mark: Maar als het er gaat om het bijvoorbeeld om het veilig en up-to-date te houden, ook daar is.

564
00:37:55,000 --> 00:38:02,759
Mark: Als je de connectivity dat niemand er makkelijk bij kan, als je dat al goed hebt opgelost, dan is dat geen heel groot probleem meer.

565
00:38:02,759 --> 00:38:12,760
Mark: Want dan kun je eigenlijk gewoon regelmatig gewoon elke keer checken, zijn er een soort van vulnerabilities bijgekomen, noem op en dan update je die twee Docker images.

566
00:38:12,759 --> 00:38:14,520
Mark: Dat is dan voor de gemiddelde.

567
00:38:16,840 --> 00:38:19,719
Mark: Je hoeft maar twee dingen in de gaten te houden.

568
00:38:19,719 --> 00:38:22,679
Mark: En dan is het weer een soort van veilig, zeg maar.

569
00:38:23,799 --> 00:38:30,439
Mark: Ja, onderhoud is een factor, maar niet zo'n grote factor als jij het beschrijft in mijn ogen.

570
00:38:30,759 --> 00:38:43,399
Mark: Behalve als je dan meeneemt als een leverancier zijn pijplijn stuk maakt, omdat hij een veldje heeft een andere naam heeft gegeven of zijn IP-adres heeft aangepast bij wijze van spreken, dan gaat de rol kapot en daar ben je tijd mee kwijt om dat uit te zoeken wat ze gebeurt.

571
00:38:43,400 --> 00:38:45,560
Niels: Ja, en dat ook te spotten dat het gebeurd is.

572
00:38:45,560 --> 00:38:48,239
Niels: Dus dat je signalen goed hebt ingebouwd in de omgeving.

573
00:38:48,560 --> 00:38:50,400
Mark: Als je dat goed doet, heb je dat automatisch.

574
00:38:50,480 --> 00:38:52,560
Mark: Ik heb gewoon een berichtje van hier klopt iets niet.

575
00:38:47,320 --> 00:38:53,759
Mark: Maar dan moet je dat wel goed hebben.

576
00:38:54,000 --> 00:38:56,560
Niels: In de praktijk zien we dat natuurlijk nog niet altijd op orde is.

577
00:38:56,560 --> 00:39:01,599
Niels: Je wil wel genoeg signalering hebben om het beheerwerk goed te maken, dus dat er iets fout gaat.

578
00:39:01,759 --> 00:39:06,079
Niels: Heel vaak is nu het geval dat te laat gespot wordt dat er iets fout gaat.

579
00:39:06,079 --> 00:39:11,599
Niels: En er zijn er misschien al beslissingen genomen en dat is ook een stukje beheer dat noemen we het zelf DataOps.

580
00:39:11,599 --> 00:39:15,040
Niels: Dus het monitoren van wat is de kwaliteit van de data, komt het nog goed binnen.

581
00:39:15,040 --> 00:39:16,400
Niels: Wie heeft er gebruik van gemaakt?

582
00:39:16,400 --> 00:39:21,359
Niels: Wanneer is er gebruik van, maar daar zit gewoon beheerwerk in om de monitoring.

583
00:39:21,360 --> 00:39:22,719
Niels: Ja, dan kan je heel veel automatiseren.

584
00:39:22,719 --> 00:39:26,799
Niels: Maar dan heb je wel mensen voor die dat soort dingen ook monitoren om het ook weer bij te sturen.

585
00:39:26,960 --> 00:39:30,719
Niels: Kan je makkelijker maken, maar volgens mij zit er best wel wel wat werk in.

586
00:39:30,719 --> 00:39:33,040
Niels: En zeker als het complexer en groter gaat worden.

587
00:39:33,360 --> 00:39:37,119
Mark: Maar als het complexer en groter wordt, dan ga ik er ook vanuit dat de business case een stuk groter is.

588
00:39:37,119 --> 00:39:39,119
Mark: Dus dat je er ook meer tijd in kan stoppen.

589
00:39:39,119 --> 00:39:40,160
Niels: Op die manier.

590
00:39:41,119 --> 00:39:44,079
Joop: We hebben bol gehad, Winparts.

591
00:39:44,079 --> 00:39:52,960
Joop: Waar zie jij het gebied zeg maar van dataplatforms, data-engineering, AI, waar groeit dat naartoe.

592
00:39:54,480 --> 00:39:57,999
Mark: Nou ja, dit is natuurlijk koffiedik kijken.

593
00:39:58,000 --> 00:40:06,799
Mark: Maar wat je ziet in ieder geval in de markt is dat die platformer bijvoorbeeld steeds meer dingen steeds een groter deel van de taart proberen te pakken, dus steeds meer dingen met elkaar integreren.

594
00:40:06,799 --> 00:40:12,639
Mark: Dus dat je niet alleen dat je je datapipelines op één platform kan bouwen.

595
00:40:12,639 --> 00:40:27,919
Mark: En dat je daar ook de alle checks kan doen en dat je ook je datamodellen er kan neerzetten en ook de dashboards en ook de agents en ze willen steeds meer, steeds maar op één plek is ook makkelijk, want dan hoef je veel uit handen genomen.

596
00:40:27,920 --> 00:40:29,840
Mark: Dus dat zie je gebeuren.

597
00:40:31,199 --> 00:40:34,320
Joop: Dan gaan agents straks niet jouw dataanalyse doen.

598
00:40:34,320 --> 00:40:46,799
Mark: Nou, ik ben nu heel veel in de gaten aan het houden en ook dingen aan het uitproberen zelf over een concept dat heet dan conversational analytics praten met je database.

599
00:40:46,799 --> 00:40:51,279
Mark: Als je me tien jaar geleden, toen begon ik bij ABN Amro.

600
00:40:51,599 --> 00:40:55,359
Mark: En toen weet ik nog dat er een keer ergens in een claim was, ja, we kunt praten met je database.

601
00:40:55,360 --> 00:40:57,199
Mark: En dat ik daar, dit is gewoon je reinste onzin.

602
00:40:57,199 --> 00:40:58,399
Mark: Dat kan helemaal niet.

603
00:40:58,400 --> 00:41:00,319
Mark: En als ik nu zie, kan het wel.

604
00:41:00,320 --> 00:41:06,719
Mark: Maar de grootste downfall is nog dat die agents echt super overtuigd van alles.

605
00:41:06,719 --> 00:41:09,520
Mark: Dus ze vertellen ook gewoon complete onzin.

606
00:41:10,000 --> 00:41:12,079
Mark: Maar wel wel heel overtuigend.

607
00:41:14,480 --> 00:41:17,759
Mark: Het gaat er naartoe dat je straks kan praten met je database.

608
00:41:18,000 --> 00:41:19,599
Mark: En dat je ook gewoon antwoorden krijgt.

609
00:41:19,599 --> 00:41:27,280
Mark: Dus dat daardoor heel veel analysewerk eigenlijk wel gewoon simpele vragen, denk ik met name uit handen wordt genomen van analisten.

610
00:41:27,759 --> 00:41:33,039
Mark: En of dat dan een bedreiging of een zegen is, weet ik nog niet.

611
00:41:33,040 --> 00:41:39,040
Mark: Want je wordt ook gek van allemaal die kleine vragen, want die houden je af van de grote plek en die kosten relatief veel tijd.

612
00:41:39,040 --> 00:41:41,360
Mark: Dus ik zou dat op zich wel fijn vinden.

613
00:41:41,679 --> 00:41:44,399
Mark: Maar je gaat wel, dit gaat wel gebeuren, denk ik.

614
00:41:44,400 --> 00:41:51,599
Mark: En dan misschien ook niet voor de stel dat je 80% van dat soort vragen kan afvangen, dan speel je weer veel tijd vrij.

615
00:41:51,599 --> 00:42:02,880
Joop: En misschien moet daar nog iets van een laag bovenop komen, die we misschien wel uit de software engineering, zeg maar al kennen, dat je geautomatiseerd testen hebt, dat van alles moet draaien.

616
00:42:03,840 --> 00:42:05,520
Joop: Voordat die coding agent iets mag.

617
00:42:05,520 --> 00:42:10,079
Joop: Dat als je zo'n conversational query heeft.

618
00:42:10,400 --> 00:42:16,560
Joop: Dat bijvoorbeeld statistische significantie automatisch wordt berekend, dat de controles.

619
00:42:16,880 --> 00:42:21,760
Joop: Ik kan me zo voorstellen dat daar misschien iets tussen komt, zie je dat ook.

620
00:42:22,000 --> 00:42:25,759
Mark: Ja, het hangt er vanaf welke welk niveau je er naar kijkt.

621
00:42:25,759 --> 00:42:29,839
Mark: Maar in de basis zullen er een soort van checks moeten zijn, ook als een model zich aan veranderd.

622
00:42:30,000 --> 00:42:31,759
Mark: Want je gaat een agent gebruiken.

623
00:42:31,759 --> 00:42:35,679
Mark: Maar morgen is dat Gemini en vandaag is het Claude, of een andere variant.

624
00:42:35,679 --> 00:42:37,280
Mark: Je moet altijd weten dat het nog werkt.

625
00:42:37,279 --> 00:42:40,960
Mark: Je zal een soort van vragen tegen die database moet gooien, dan moet altijd zelf de antwoord uitkomen.

626
00:42:41,279 --> 00:42:45,280
Mark: Nou, dat is één probleem dat moet opgelost worden, daar zit de tests in.

627
00:42:46,239 --> 00:42:48,719
Mark: En waarschijnlijk een stukje een soort van safeguards.

628
00:42:48,719 --> 00:42:52,639
Mark: Dat als hij het niet weet, dat hij niet dat hij ook gewoon gaat zeggen ik weet het niet.

629
00:42:52,960 --> 00:42:55,040
Mark: Dat je niet te mist in gaat.

630
00:42:55,040 --> 00:42:57,040
Mark: Dus dat soort dingen zit er wel aan te komen.

631
00:42:57,040 --> 00:42:59,440
Mark: Mikantietest en zo, ja, weet ik niet.

632
00:42:59,440 --> 00:43:04,560
Mark: Als je nou een gestandardiseerde manier hebt om experimenten op je website te zetten en die automatisch te laten analyseren.

633
00:43:04,560 --> 00:43:08,560
Mark: Dus als de input altijd hetzelfde is, dan kan dat denk ik wel heel goed.

634
00:43:10,799 --> 00:43:16,560
Mark: De stap daarna weet ik niet zeker, omdat ik ook nog niet weet hoeveel je nou echt in dat ding wil stoppen.

635
00:43:16,560 --> 00:43:18,719
Mark: Want je gaat niet je hele database erin gooien.

636
00:43:18,719 --> 00:43:20,319
Mark: Dat is één duur, maar ook voor hetzelfde geld.

637
00:43:20,400 --> 00:43:24,480
Mark: Zitten daar weet ik het ongeluk een naam van iemand in, en heb je ineens een datalek te pakken.

638
00:43:24,480 --> 00:43:29,760
Mark: Dus je kunt niet alles erin gooien en allerlei alle analysiestappen daar laten doen, denk ik.

639
00:43:30,320 --> 00:43:35,239
Niels: Wat ik daar in de praktijk nu zie, is dat er best wel wat werk zit in de context goed vastleggen.

640
00:43:32,480 --> 00:43:38,519
Niels: Welke vragen kunnen we wel beantwoorden, welke kunnen we niet beantwoorden.

641
00:43:38,840 --> 00:43:40,999
Niels: Wat is de zekerheidscore?

642
00:43:41,000 --> 00:43:48,199
Niels: Heel vaak zijn het veel terugkomende vragen die jou 80% van het werk opleveren, waar je eenmaal een antwoord op wil geven.

643
00:43:48,360 --> 00:43:50,599
Niels: Misschien is dan een rapport of dashboard wel voldoende.

644
00:43:50,599 --> 00:43:55,079
Niels: Of je geeft gewoon letterlijk het antwoord als deze vraag gesteld wordt, LLM, pak dat antwoord.

645
00:43:55,079 --> 00:43:58,599
Niels: En dat wordt nu al in de bepaalde platformen gebouwd.

646
00:43:58,759 --> 00:44:01,719
Niels: Er is een Databreaks Genie, Copilot.

647
00:44:02,119 --> 00:44:07,719
Niels: Kan je dus zeggen, als die vraag komt, hoef je niet gaan zoeken, geef gewoon dit antwoord.

648
00:44:07,960 --> 00:44:11,959
Niels: En klaar, zeg maar om te voorkomen, inderdaad, dat dat vaak gaat gebeuren.

649
00:44:11,960 --> 00:44:18,920
Niels: Dus er zit nu best wel wat huishoudingswerk in om die agents de goede kant op te sturen.

650
00:44:18,920 --> 00:44:23,319
Niels: En ik denk dat dat wel gaat veranderen in de toekomst, dat het makkelijker wordt en ook makkelijker moet worden.

651
00:44:23,320 --> 00:44:25,959
Niels: Want anders kost het nog steeds heel veel tijd om het in te richten.

652
00:44:26,360 --> 00:44:31,160
Niels: Wat dan misschien met een rapport of een belletje nog sneller opgelopen en goedkoper is.

653
00:44:31,400 --> 00:44:33,560
Mark: Dat is wel waar nu alle vraag.

654
00:44:33,560 --> 00:44:39,960
Mark: iedereen is allerlei dingen aan het proberen, maar ik ben er nog niet uit wanneer je nou de wanneer het nou de moeite waard is eigenlijk.

655
00:44:40,279 --> 00:44:42,040
Mark: Maar ik vind het wel razend interessant.

656
00:44:42,360 --> 00:44:43,560
Mark: Wat gebeurt er allemaal?

657
00:44:43,560 --> 00:44:51,159
Mark: En met name ook over het stukje, kijk, dat je de boel aan elkaar kan knopen op een bepaalde manier, dan geloof ik wel dat ze dat helemaal dichtgetimmerd krijgen.

658
00:44:51,159 --> 00:44:53,319
Mark: Maar ook de domeinkennis van we hebben hier een kolom.

659
00:44:53,480 --> 00:45:01,560
Mark: Weet al wat die kolom betekent, maar als in die kolom A staat, dan is het ineens een compleet andere conclusie dan als er B staat.

660
00:45:02,199 --> 00:45:05,079
Mark: En die domeinkennis moet er op een of andere manier ook ingebed worden.

661
00:45:05,400 --> 00:45:08,679
Niels: Dan zijn nieuwe data die we aan het creëren zijn.

662
00:45:09,000 --> 00:45:13,079
Niels: Naast de bronnen en waar wij mensen data in de applicatie aan het zetten zijn.

663
00:45:13,079 --> 00:45:15,639
Niels: Dus technisch noemen we dat metadata, active metadata.

664
00:45:15,639 --> 00:45:20,919
Niels: Maar dat zijn zaken die we nog moeten gaan ervaren en leren op dat vlak waar gaan we heen.

665
00:45:21,079 --> 00:45:22,360
Mark: Het antwoord is er nog niet.

666
00:45:23,000 --> 00:45:25,400
Niels: Hier zijn twee data die elkaar vinden.

667
00:45:26,279 --> 00:45:28,919
Joop: Ik ga je toch nog heel even challengen over die toekomst.

668
00:45:29,000 --> 00:45:31,239
Joop: Want je hebt helemaal gelijk, weet je, is heel moeilijk te kijken.

669
00:45:31,239 --> 00:45:39,719
Joop: Maar je gaat spreken in september op de Data Expo.

670
00:45:39,960 --> 00:45:43,800
Joop: Wat is de titel van je sessie, weet je die?

671
00:45:43,960 --> 00:45:49,159
Joop: Het zijn er twee, en ik weet niet uit mijn hoofd nou hoe we het genoemd hebben, maar eentje gaat dus over zijn dataplatform.

672
00:45:49,159 --> 00:45:53,880
Mark: En de andere gaat over eigenlijk content generatie op schaal.

673
00:45:55,320 --> 00:45:58,520
Mark: Dat kan gaan over plaatjes, maar ook over tekst.

674
00:45:59,400 --> 00:46:00,999
Joop: Ik wil je eigenlijk uitdagen.

675
00:46:01,320 --> 00:46:07,079
Joop: Wat wordt de titel van jouw presentatie 2027 Data Expo?

676
00:46:07,079 --> 00:46:12,359
Mark: Nou, dan zou ik dus wel iets leuk vinden met conversational analytics.

677
00:46:12,360 --> 00:46:13,319
Mark: Dat zou ik wel leuk vinden.

678
00:46:13,480 --> 00:46:15,159
Mark: Wat zou dan een mooie titel zijn?

679
00:46:15,960 --> 00:46:18,359
Mark: Hoe conversational analytics can work voor je.

680
00:46:18,360 --> 00:46:24,119
Mark: Iedereen die of bij een klant, weet je, hoe we dat hebben gefixt of zo, maar dat zou ik wel leuk vinden.

681
00:46:24,440 --> 00:46:29,560
Joop: Dus dat voorzie je dat dat aankomende periode wel een item gaat worden.

682
00:46:29,560 --> 00:46:38,599
Mark: Nou, in ieder geval, ik vind het persoonlijk heel interessant, omdat AI, data, dataplatformen, analyses, alles komt daarin op een bepaalde manier samen.

683
00:46:38,599 --> 00:46:40,520
Mark: En daarom vind ik dat heel interessant.

684
00:46:40,520 --> 00:46:45,079
Mark: Er zullen vast ook wel veel grotere topics zijn op dat moment, maar daar hou ik me dan op de onderwijs.

685
00:46:45,799 --> 00:46:51,959
Niels: Ik durf wel een kratje bier erop te zetten, inderdaad, dat dit het onderwerp gaat worden waar we de komende jaren hard mee bezig zijn.

686
00:46:51,960 --> 00:46:55,399
Joop: Ik roep het al jaren, dus misschien is het misschien niet helemaal dat het volgende gaat komen.

687
00:46:55,799 --> 00:46:57,400
Mark: Misschien moeten we dit timebox.

688
00:46:57,400 --> 00:46:58,440
Mark: Waarom is het?

689
00:46:59,320 --> 00:47:00,679
Niels: Maar ik roep het al een tijdje.

690
00:47:00,679 --> 00:47:02,599
Niels: En dat komt steeds dichterbij, heb ik het idee.

691
00:47:02,599 --> 00:47:03,560
Niels: Dus het gaat er wel komen.

692
00:47:03,960 --> 00:47:05,960
Niels: Je ziet echt de technologie en de bewegingen naartoe.

693
00:47:06,119 --> 00:47:08,840
Joop: Als je het al jaren zegt, dan ben je slechte voorspeller.

694
00:47:09,639 --> 00:47:14,440
Niels: Geeft niet, als je helemaal een punt heeft waar je heen gaat en het gaat de goede kant op, dan valt u een keertje.

695
00:47:14,759 --> 00:47:22,119
Joop: Mark ontzettend bedankt dat je zoveel inzichten met ons wilde delen over je werk en wat je aan het doen bent, heel erg bedankt.

696
00:47:22,520 --> 00:47:24,040
Mark: Jullie bedankt voor de uitnodiging.

697
00:47:25,560 --> 00:47:28,440
Joop: Leuk dat je weer luisterde naar deze aflevering.

698
00:47:28,440 --> 00:47:31,560
Joop: Vergeet je niet te abonneren via je favoriete podcast-app.

699
00:47:32,520 --> 00:47:35,640
Joop: Dus die Data Expo komt eraan, is gratis.

700
00:47:35,639 --> 00:47:37,720
Joop: Link staat in de show notes.

701
00:47:38,199 --> 00:47:39,719
Joop: Ga er naartoe, zou ik zeggen.

702
00:47:39,719 --> 00:47:41,880
Niels: Zeker, tot de volgende keer.