S05E65 - Hoe het Erasmus MC AI gebruikt om no-shows te voorspellen en de zorg te verbeteren.

Welkom bij een nieuwe aflevering van AIToday Live! Vandaag hebben we een speciale setting, want Niels is niet aanwezig in de studio.

Vandaag hebben we Ben Werkhoven van het Erasmus MC te gast.

Ben is data scientist en werkt aan het toepassen van machine learning en AI in de zorg. Hij heeft onder andere een succesvol no-show model ontwikkeld, wat heeft geleid tot kostenbesparingen en een verbetering van de zorg.

Het Erasmus MC laat zien dat AI echt waarde kan toevoegen in de zorg en meer is dan alleen een hype. 

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

Copy Transcript Copied

1
00:00:00,000 --> 00:00:03,800
[Muziek]

2
00:00:03,800 --> 00:00:06,800
Welkom bij een nieuwe aflevering van AIToday Live

3
00:00:06,800 --> 00:00:09,800
Met vandaag een van de speciale setting

4
00:00:09,800 --> 00:00:11,800
Niels is niet aanwezig in de studio

5
00:00:11,800 --> 00:00:13,800
Dus zijn stem zal ietsje anders klinken

6
00:00:13,800 --> 00:00:15,800
Mijn naam is Joop Snijder, CTO bij Aigency

7
00:00:15,800 --> 00:00:17,800
[Muziek]

8
00:00:17,800 --> 00:00:19,800
Mijn naam Niels Naglé

9
00:00:19,800 --> 00:00:21,800
En inderdaad, klinkt misschien wat anders, maar nog steeds

10
00:00:21,800 --> 00:00:23,800
Chapter Lead Data & AI bij Info Support

11
00:00:23,800 --> 00:00:25,800
Zit hier vanuit Rotterdam

12
00:00:25,800 --> 00:00:27,800
Precies, en vandaag hebben we aanwezig

13
00:00:27,800 --> 00:00:29,800
Ben Werkhoven

14
00:00:29,800 --> 00:00:35,200
bij het Erasmus MC. Ben, zou je jezelf even heel kort willen voorstellen?

15
00:00:35,200 --> 00:00:39,920
Ja, tuurlijk. Mijn naam is Ben Werkhoven. Ik werk nu bijna drie jaar als data scientist

16
00:00:39,920 --> 00:00:44,800
voor het Erasmus MC. Ik heb echt geen data science achtergrond. Ik ben in natuurkunde

17
00:00:44,800 --> 00:00:49,720
opgeleid. Daar heb ik een PhD in gedaan, maar die data analyse skills die ik daar heb opgedaan,

18
00:00:49,720 --> 00:00:53,920
die kan ik nu wel gebruiken voor machine learning en AI in de zorg.

19
00:00:53,920 --> 00:01:05,920
Ja, waar we jou voor hebben uitgenodigd is dat jullie als ziekenhuis in het nieuws kwamen rondom een hele succesvolle implementatie van een specifiek machine learning model.

20
00:01:05,920 --> 00:01:07,920
Zou je daar wat over kunnen vertellen?

21
00:01:07,920 --> 00:01:10,920
Ja, tuurlijk. Dat is een beetje mijn kindje eigenlijk.

22
00:01:10,920 --> 00:01:17,920
Want toen ik daar begon te werken bij Terrasmus ben ik eigenlijk ook daarvoor aangenomen om dat project te helpen opzetten.

23
00:01:17,920 --> 00:01:20,920
Het team waar ik nu ook in werk is toen echt net opgezet.

24
00:01:20,920 --> 00:01:26,520
Met als doel om te kijken, kunnen we met machine learning AI, kunnen we waarde toevoegen aan de zorg?

25
00:01:26,520 --> 00:01:30,280
Kunnen we iets moois neerzetten dat ook echt de zorg gaat helpen?

26
00:01:30,280 --> 00:01:34,200
Want ja, de zorg heeft natuurlijk allemaal kostenproblemen, capaciteitsproblemen enzo.

27
00:01:34,200 --> 00:01:42,720
En het Erasmus MC zet ook in op dat AI een van de technologieën is waarmee we dat probleem kunnen verlichten enigszins.

28
00:01:42,720 --> 00:01:50,120
Ja, en wat je best wel heel veel ziet, wat typisch in het nieuws komt, gaat over radiologie, oncologie.

29
00:01:50,120 --> 00:01:55,320
waarbij het altijd maar de vraag is hoe het gebruikt wordt.

30
00:01:55,320 --> 00:01:58,840
Of het daadwerkelijk zeg maar in het primaire bedrijfsproces,

31
00:01:58,840 --> 00:02:01,840
of in dit geval het ziekenhuisproces, gebruikt wordt.

32
00:02:01,840 --> 00:02:03,160
Maar jullie hebben iets heel anders gedaan.

33
00:02:03,160 --> 00:02:08,600
Ja, wat wij graag wilden doen, vooral omdat we dus een klein experimenteel team waren,

34
00:02:08,600 --> 00:02:11,120
dus wij wilden iets meer iets lager hangend vrij doen.

35
00:02:11,120 --> 00:02:14,200
Want die radiologie, dat zijn hele mooie projecten,

36
00:02:14,200 --> 00:02:17,200
maar ze zijn heel ingewikkeld vooral om in een werkproces te krijgen.

37
00:02:17,200 --> 00:02:19,320
Vooral omdat je ook heel veel regulatie hebt.

38
00:02:19,320 --> 00:02:22,560
Als je direct in de patiëntzorg gaat zitten, moet je er veel meer regels voor doen.

39
00:02:22,560 --> 00:02:23,560
Dat is heel logisch.

40
00:02:23,560 --> 00:02:28,120
Wat wij dachten te doen, is dat we niet direct in de zorg gaan zitten,

41
00:02:28,120 --> 00:02:31,960
maar we gaan in het hele logistieke proces daaromheen zitten.

42
00:02:31,960 --> 00:02:34,160
Dat is wat wij de bedrijfsvoering van de zorg noemen.

43
00:02:34,160 --> 00:02:38,320
En dat is eigenlijk een heel groot deel van de zorg.

44
00:02:38,320 --> 00:02:43,080
Dat is gewoon zorgen dat bijvoorbeeld de patiënten bij een poliklinische afspraak komen,

45
00:02:43,080 --> 00:02:44,040
of opgenomen worden.

46
00:02:44,040 --> 00:02:48,800
Dat is een enorme logistieke operatie, waar heel veel geld en capaciteit naartoe gaat.

47
00:02:48,800 --> 00:02:52,480
Dus als je daar iets kan verbeteren, dan kan je ook heel veel winnen.

48
00:02:52,480 --> 00:02:57,480
En het is veel minder strak gereguleerd, dus de regels zijn veel minder streng,

49
00:02:57,480 --> 00:02:59,400
omdat de risico's veel lager zijn.

50
00:02:59,400 --> 00:03:02,920
Dus als je fout maakt met je radiologiemodel, dan heeft dat een flinke impact op iemand.

51
00:03:02,920 --> 00:03:06,400
Als je fout maakt met ons no-show model, dan heeft dat een redelijk minimale impact.

52
00:03:06,400 --> 00:03:08,160
Ja, want dat is wat jullie gemaakt hebben, hè?

53
00:03:08,160 --> 00:03:14,680
Een no-show model, oftewel voorspellen of iemand wel of niet komt opdagen bij zijn...

54
00:03:14,680 --> 00:03:16,800
Hoe noem je dat? Bij de afspraak.

55
00:03:16,820 --> 00:03:18,900
De poliklinische afspraak. - De poliklinische afspraak.

56
00:03:18,900 --> 00:03:20,860
Ja, dat hebben jullie gemaakt, toch? - Ja, precies.

57
00:03:20,860 --> 00:03:24,740
Dus wij geven dan een aantal dagen voordat de afspraak gepland is...

58
00:03:24,740 --> 00:03:28,640
...doen wij een risico-inschatting voor de patiëntenpopulatie van die dag.

59
00:03:28,640 --> 00:03:33,120
En als mensen boven bepaalde grenzen uitkomen voor een kans om een no-show te zijn...

60
00:03:33,120 --> 00:03:35,680
...dan geven wij ze een herinnering. - O ja.

61
00:03:35,680 --> 00:03:37,760
Een telefonische herinnering. - Telefonisch?

62
00:03:37,760 --> 00:03:40,560
Ja. - Maar dat is denk ik wel anders dan...

63
00:03:40,560 --> 00:03:41,840
...andere systemen.

64
00:03:41,840 --> 00:03:45,880
De mensen, ik ben gewend, ik kom nog wel eens in het UMC Utrecht...

65
00:03:46,720 --> 00:03:50,640
En dan krijg ik vijf werkdagen, dus dat is het belangrijke.

66
00:03:50,640 --> 00:03:53,760
Vijf werkdagen van tevoren krijg ik een sms'je.

67
00:03:53,760 --> 00:03:57,960
Je hebt over vijf werkdagen een afspraak.

68
00:03:57,960 --> 00:04:01,360
Dus dat betekent op donderdag dat ik een sms'je krijg voor de dinsdag.

69
00:04:01,360 --> 00:04:04,400
Vier werkdagen zijn dat dan.

70
00:04:04,400 --> 00:04:09,160
Die ben ik echt helemaal kwijt hoor, op maandag of op dinsdag.

71
00:04:09,160 --> 00:04:12,480
Ja, dat snap ik. Wij bellen drie werkdagen van tevoren.

72
00:04:12,480 --> 00:04:13,920
Dus wij bellen ook het weekend over.

73
00:04:13,940 --> 00:04:17,940
Maar we hebben expres gekozen inderdaad voor een telefonische herinnering.

74
00:04:17,940 --> 00:04:20,960
Daar hebben we even goed naar gekeken ook.

75
00:04:20,960 --> 00:04:25,980
Want als je zo'n voorspelling hebt van no-show, wat doe je daar precies mee?

76
00:04:25,980 --> 00:04:31,000
Een sms-herinnering, er wordt al heel veel gedaan, omdat het heel makkelijk te schalen is.

77
00:04:31,000 --> 00:04:34,020
Je hoeft niet eens een AI-model voor te gebruiken.

78
00:04:34,020 --> 00:04:36,040
Nee, je doet het gewoon aan iedereen.

79
00:04:36,040 --> 00:04:42,060
Maar wat meerdere studies ook lieten zien, is dat zelfs als je een sms-herinnering hebt,

80
00:04:42,080 --> 00:04:45,940
Als je daarbovenop ook nog eens belt, heeft dat gewoon een grotere impact op mensen.

81
00:04:45,940 --> 00:04:47,940
- Oh ja. - Simpelweg, ja.

82
00:04:47,940 --> 00:04:53,220
Als je gebeld wordt, heeft dat veel meer impact op jezelf, op je herinnering,

83
00:04:53,220 --> 00:04:57,340
ten opzichte van een sms, wat veel passiever is eigenlijk.

84
00:04:57,340 --> 00:05:00,540
Naast dat een telefoontje ook nog eens mensen de gelegenheid stelt van,

85
00:05:00,540 --> 00:05:04,140
"Nou, met deze afspraak kom ik niet uit, dus ik ga nu alvast afzeggen."

86
00:05:04,140 --> 00:05:06,300
En dan kan het nog herplanned worden.

87
00:05:06,300 --> 00:05:10,380
Dus als je drie werkdagen van tevoren je poliklinische afspraak hebt geannuleerd,

88
00:05:10,380 --> 00:05:14,700
dan is er nog tijd om iets nieuws in te plannen voor de polikliniek.

89
00:05:14,700 --> 00:05:16,500
Terwijl als je dat de dag zelf afbelt,

90
00:05:16,500 --> 00:05:19,820
stel je hebt om 12 uur een afspraak en je belt om 10 uur 's ochtends,

91
00:05:19,820 --> 00:05:23,220
ja, ik kom toch niet, dan heb je nog steeds een tijdslot...

92
00:05:23,220 --> 00:05:25,540
wat niet gebruikt moet worden, dat is gewoon verspild middelen eigenlijk.

93
00:05:25,540 --> 00:05:28,540
Ja, en daarom heb je natuurlijk ook al dat je het niet kan schalen.

94
00:05:28,540 --> 00:05:30,080
Sorry Niels, jij bent zo...

95
00:05:30,080 --> 00:05:35,180
Wij kunnen elkaar niet zien, dus luisteraar Niels die kijkt wel naar Ben, maar niet naar mij.

96
00:05:35,180 --> 00:05:39,200
Dus het is af en toe een beetje lastig om te kijken van wie stelt nou welke vraag.

97
00:05:39,220 --> 00:05:43,920
Dat betekent dus ook dat je een echte model nodig hebt.

98
00:05:43,920 --> 00:05:50,020
Want het bellen kan je niet schalen, dus je moet echt voorspellen wie niet op komt dagen,

99
00:05:50,020 --> 00:05:54,160
zodat je de mensen met de hoogste kans, denk ik, dat je die nabelt.

100
00:05:54,160 --> 00:05:59,560
Ja, precies. Dus de waarde van AI in dit proces, vooral ten opzichte van sms,

101
00:05:59,560 --> 00:06:05,480
is dat ze maar een relatief klein deel van de patiëntpopulatie hoeven te bellen,

102
00:06:05,480 --> 00:06:09,040
omdat bellen niet schaalbaar is. Het heeft een hoog impact, maar het is niet schaalbaar.

103
00:06:09,060 --> 00:06:13,560
Dus met een AI-model kunnen we zeggen, nou, we hadden in eerste instantie 35%,

104
00:06:13,560 --> 00:06:17,060
maar dat gaan we verlagen naar 20% van de hoogste risicopatiënten per dag.

105
00:06:17,060 --> 00:06:18,380
Die bellen we.

106
00:06:18,380 --> 00:06:20,860
Nou, dan gaat je capaciteit wat je nodig hebt om te bellen,

107
00:06:20,860 --> 00:06:22,980
gaat ineens met 80% omlaag.

108
00:06:22,980 --> 00:06:25,100
Ja, wow. -En dan in één keer,

109
00:06:25,100 --> 00:06:29,380
dan kan je zelfs het geld eruit halen.

110
00:06:29,380 --> 00:06:32,620
Want gewoon zoveel mensen bellen, kost gewoon heel veel geld eigenlijk.

111
00:06:32,620 --> 00:06:34,580
Ook al, ja, we bellen wat studenten.

112
00:06:34,580 --> 00:06:37,060
Nou, het zijn niet de meest dure medewerkers om te betalen.

113
00:06:37,080 --> 00:06:40,080
Maar toch, als je iedereen gaat bellen, dat kost gewoon heel veel tijd.

114
00:06:40,080 --> 00:06:41,840
En dat is ook heel veel geld voor het ziekenhuis.

115
00:06:41,840 --> 00:06:46,640
Maar als je dus heel gericht kan bellen op die hoog risico groep,

116
00:06:46,640 --> 00:06:48,860
dan kan je nog steeds heel veel no-shows voorkomen.

117
00:06:48,860 --> 00:06:53,460
En elke voorkomende no-show levert ook weer nieuwe capaciteit en geld op.

118
00:06:53,460 --> 00:06:57,780
Maar je hoeft dus minder te besteden om die no-shows te voorkomen.

119
00:06:57,780 --> 00:07:00,380
Dus daar kan je ook echt een kostenbate analyse doen,

120
00:07:00,380 --> 00:07:03,460
die wat ingewikkelder is dan we in eerste instantie dachten.

121
00:07:03,460 --> 00:07:05,500
Maar goed, je kan er in principe wel wat over zeggen.

122
00:07:05,880 --> 00:07:09,760
En dan kan je laten zien dat je dit geld eruit kan halen.

123
00:07:09,760 --> 00:07:10,760
Ja, mooi.

124
00:07:10,760 --> 00:07:12,400
Niet alleen maak je de zorg beter voor de patiënten,

125
00:07:12,400 --> 00:07:16,000
omdat ze meer opdagen of je haalt onnodige afspraken weg,

126
00:07:16,000 --> 00:07:20,080
maar je kan ook zoals het ziekenhuis zelf helpen door gewoon geld te besparen.

127
00:07:20,080 --> 00:07:24,600
Dat is de waarde van het ziekenhuis, vooral in deze tijd.

128
00:07:24,600 --> 00:07:25,600
Jazeker.

129
00:07:25,600 --> 00:07:26,600
Niels?

130
00:07:26,600 --> 00:07:31,800
Ik was wel nieuwsgierig naar wat voor factoren worden meegenomen

131
00:07:31,800 --> 00:07:34,920
om te bepalen wanneer iemand een no-show is.

132
00:07:34,920 --> 00:07:39,220
Ja, dat was voor ons echt gewoon een beetje graven in het EPD.

133
00:07:39,220 --> 00:07:45,920
Er wordt natuurlijk heel veel geregistreerd, maar je bent heel erg afhankelijk van hoe dat proces zit en wat wel en niet geregistreerd wordt.

134
00:07:45,920 --> 00:07:51,720
Dus sommige hele belangrijke dingen die we zouden willen hebben, bijvoorbeeld verkeersinformatie of zo,

135
00:07:51,720 --> 00:07:59,120
die kan je misschien doen met een Google API, maar dat is wat ingewikkelder om erin te verwerken dan dingen die we al gewoon in het EPD kunnen vinden.

136
00:07:59,120 --> 00:08:02,320
Dus in eerste instantie hebben we gewoon in het EPD gezocht, wat wordt er nou precies geregistreerd?

137
00:08:02,320 --> 00:08:04,320
Dan krijg je simpel de dingen als de leeftijd.

138
00:08:04,320 --> 00:08:07,780
Dat is een heel straightforward ding om erin te verwerken.

139
00:08:07,780 --> 00:08:12,400
Bijvoorbeeld ook consulttypen. Wat voor soort consult komt de patiënt voor?

140
00:08:12,400 --> 00:08:16,000
Want als het wat heftiger is, dan is de kans groter dat ze komen opdagen.

141
00:08:16,000 --> 00:08:19,520
Voor chemo kom je eerder opdagen dan voor een routine.

142
00:08:19,520 --> 00:08:21,540
-Ja, precies.

143
00:08:21,540 --> 00:08:24,300
Dus daar hebben we ook naar gekeken.

144
00:08:24,300 --> 00:08:28,020
Maar ook hele, ik denk al, redelijk Erasmus-specifieke dingen.

145
00:08:28,020 --> 00:08:30,520
Want wat we bij het Erasmus hebben, zijn aanmeldzuilen.

146
00:08:30,540 --> 00:08:33,740
Dus als een patiënt binnenkomt, dan log je in bij een aanmeldzuil...

147
00:08:33,740 --> 00:08:35,680
en die tijd wordt ook geregistreerd.

148
00:08:35,680 --> 00:08:39,800
Wat we hebben kunnen doen, is een soort van stiptheid...

149
00:08:39,800 --> 00:08:42,460
of punctualiteit van de patiënt categoriseren.

150
00:08:42,460 --> 00:08:46,860
Dus hoe ver voor een afspraak is deze patiënt gemiddeld aanwezig?

151
00:08:46,860 --> 00:08:49,940
Dus dan krijg je iemand die bijvoorbeeld vijf minuten te vroeg is...

152
00:08:49,940 --> 00:08:52,700
een iets hogere kans dat die de volgende keer ook komt opdagen.

153
00:08:52,700 --> 00:08:54,700
Terwijl als iemand structureel te laat is...

154
00:08:54,700 --> 00:08:57,740
is het een iets lager kans dat je komt opdagen de volgende keer.

155
00:08:57,740 --> 00:08:59,740
Dus daar hebben we ook naar kunnen kijken.

156
00:08:59,760 --> 00:09:00,760
Slim.

157
00:09:00,760 --> 00:09:08,760
Nogal een vervolgvraag, ik hoorde je net zeggen inderdaad, we gaan dan actief bellen als we verwachten dat het een no-show is,

158
00:09:08,760 --> 00:09:14,760
waardoor eigenlijk de categorisatie van een no-show eigenlijk niet meer van toepassing is,

159
00:09:14,760 --> 00:09:18,760
omdat de persoon toch komt opdagen. Hoe gaan jullie daarmee om in het model?

160
00:09:18,760 --> 00:09:24,760
Ja, dat is inderdaad een goede vraag. Hoe wij het nu doen, ik weet niet of het langetermijn houdbaar is,

161
00:09:24,760 --> 00:09:26,760
Dat is een vraag waar we nu wel mee worstelen.

162
00:09:26,760 --> 00:09:29,940
En daar moeten wij als team iets mee.

163
00:09:29,940 --> 00:09:33,780
Maar ik denk ook als AI-veld in het aantal mensen

164
00:09:33,780 --> 00:09:35,280
die we hebben geïnterviewd,

165
00:09:35,280 --> 00:09:37,900
dat we ook een model hebben van hoe we dat kunnen doen.

166
00:09:37,900 --> 00:09:39,440
En dat is een heel belangrijk punt.

167
00:09:39,440 --> 00:09:41,460
Want we hebben een model van hoe we dat kunnen doen.

168
00:09:41,460 --> 00:09:42,980
En dat is een heel belangrijk punt.

169
00:09:42,980 --> 00:09:44,000
En dat is een heel belangrijk punt.

170
00:09:44,000 --> 00:09:45,020
En dat is een heel belangrijk punt.

171
00:09:45,020 --> 00:09:46,040
En dat is een heel belangrijk punt.

172
00:09:46,040 --> 00:09:47,060
En dat is een heel belangrijk punt.

173
00:09:47,060 --> 00:09:48,080
En dat is een heel belangrijk punt.

174
00:09:48,080 --> 00:09:49,100
En dat is een heel belangrijk punt.

175
00:09:49,100 --> 00:09:50,120
En dat is een heel belangrijk punt.

176
00:09:50,120 --> 00:09:51,140
En dat is een heel belangrijk punt.

177
00:09:51,140 --> 00:09:52,160
En dat is een heel belangrijk punt.

178
00:09:52,160 --> 00:09:53,180
En dat is een heel belangrijk punt.

179
00:09:53,200 --> 00:09:58,200
Als AI-veld in het algemeen, hoe doe je dat met modellen die al een tijdje lopen...

180
00:09:58,200 --> 00:09:59,700
en waar een interventie op gedaan wordt?

181
00:09:59,700 --> 00:10:01,420
Want dan kan je niet zomaar hertrainen.

182
00:10:01,420 --> 00:10:03,280
Dus niet blind hertrainen.

183
00:10:03,280 --> 00:10:08,500
We zoeken uit technieken van hoe je toch nog je model herijken of hertrainen.

184
00:10:08,500 --> 00:10:11,880
Dus gewoon door de tijd verschuift gewoon bepaalde waardes...

185
00:10:11,880 --> 00:10:13,900
of meer oudere mensen komen opdagen of zo...

186
00:10:13,900 --> 00:10:16,620
en dat beïnvloedt dan ook weer de voorspelling die je model maakt.

187
00:10:16,620 --> 00:10:19,380
Ja, of hoe als mensen vaker zijn gebeld...

188
00:10:19,400 --> 00:10:24,140
Dat dat betekent dat je een tijdje nog, dat ze wel op komen dagen...

189
00:10:24,140 --> 00:10:27,900
en misschien als dat er straks weer af gaat, dat dat dan weer wegvloeit.

190
00:10:27,900 --> 00:10:28,920
Ja, precies.

191
00:10:28,920 --> 00:10:32,540
Ja, daar hebben we nu nog geen antwoord op hoe we dat precies gaan doen.

192
00:10:32,540 --> 00:10:33,560
Snap ik.

193
00:10:33,560 --> 00:10:35,860
Maar daar moeten we wel iets mee.

194
00:10:35,860 --> 00:10:36,880
Ja.

195
00:10:36,880 --> 00:10:40,100
Hé, en kan je iets vertellen over die besparing?

196
00:10:40,100 --> 00:10:44,140
Want je ging daar best wel vlot overheen.

197
00:10:44,140 --> 00:10:48,500
Zo van, ja dat betekent dat voor alles waar mensen niet voor komen...

198
00:10:48,520 --> 00:10:50,520
Kan je misschien nu wel iets herplannen?

199
00:10:50,520 --> 00:10:53,520
Kan je iets vertellen over de orde van grootte waar we het over hebben?

200
00:10:53,520 --> 00:10:55,520
Van het geld waar we het over hebben?

201
00:10:55,520 --> 00:11:01,520
Geld of uren of waar je het ook in uitdrukt, zeg maar, het succes van het model?

202
00:11:01,520 --> 00:11:09,520
Ja, ik denk dat je hebt meer kwantitatieve voordelen en meer kwalitatieve voordelen.

203
00:11:09,520 --> 00:11:13,520
Kwalitatief denk ik meer aan dat het gewoon fijn is voor de patiënt om herinnerd te worden.

204
00:11:13,520 --> 00:11:15,520
Maakt het ook beter voor de politieke.

205
00:11:15,520 --> 00:11:18,520
Het kwantitatieve, daar kom je ook financiële uit.

206
00:11:18,520 --> 00:11:23,680
Dat komt eigenlijk vooruit uit het feit dat je meer afspraken kan doen per jaar.

207
00:11:23,680 --> 00:11:27,440
Dus omdat je, laten we zeggen, 20% minder no-shows.

208
00:11:27,440 --> 00:11:29,840
En je bezettingsgraad gaat omhoog.

209
00:11:29,840 --> 00:11:31,120
Gewoon extra afspraken die je hebt.

210
00:11:31,120 --> 00:11:33,720
En elke afspraak is in principe geld voor een ziekenhuis.

211
00:11:33,720 --> 00:11:38,660
Het is lastig om dat echt in harde euro's uit te drukken,

212
00:11:38,660 --> 00:11:41,420
omdat er een gekke financieringsstructuur in de zorg zit.

213
00:11:41,420 --> 00:11:45,240
Die snap ik ook niet helemaal, maar je betaalt niet per afspraak.

214
00:11:45,260 --> 00:11:49,260
betaald voor een zorgpad. Dus een set afspraken of set interventies.

215
00:11:49,260 --> 00:11:53,040
Dus als je één afspraak daarvan, van de no-show naar een show zet,

216
00:11:53,040 --> 00:11:56,000
is dat niet één op één in geld om te zetten.

217
00:11:56,000 --> 00:12:01,440
Dus hoe we het meer gedaan hebben, is dat we weten wat het kost om te bellen,

218
00:12:01,440 --> 00:12:03,560
want dat is eigenlijk gewoon de telefoniste.

219
00:12:03,560 --> 00:12:05,440
Dat kun je gewoon heel makkelijk uitrekenen.

220
00:12:05,440 --> 00:12:08,440
We kunnen afschatten hoeveel no-shows we hebben voorkomen.

221
00:12:08,440 --> 00:12:10,260
We hebben een testgroep en een controlegroep,

222
00:12:10,260 --> 00:12:12,560
dus we kunnen heel goed, het is gewoon een randomized control trial,

223
00:12:12,560 --> 00:12:15,000
we kunnen heel goed afschatten zoveel no-shows we hebben voorkomen.

224
00:12:15,020 --> 00:12:18,620
En dan kan je uitrekenen hoeveel het kost om één no-show te voorkomen.

225
00:12:18,620 --> 00:12:19,620
Ja, precies.

226
00:12:19,620 --> 00:12:23,620
Dan kom je uit op 25 euro of zo.

227
00:12:23,620 --> 00:12:24,620
20 tot 25 euro.

228
00:12:24,620 --> 00:12:25,620
Oké, wauw.

229
00:12:25,620 --> 00:12:26,620
Dat is niet zo heel erg veel.

230
00:12:26,620 --> 00:12:31,340
Toch wel, want uiteindelijk gaat dat allemaal stapelen.

231
00:12:31,340 --> 00:12:36,020
Ja, één no-show voorkomen voor het ziekenhuis kost dus maar 20, 25 euro.

232
00:12:36,020 --> 00:12:41,900
Maar de opbrengst van een consult is veel hoger dan dat.

233
00:12:41,900 --> 00:12:46,900
Dus de goedkoopste zullen rond de 80 euro liggen of zo, wat je vergoed krijgt van de verzekering.

234
00:12:46,900 --> 00:12:47,900
Ja, precies.

235
00:12:47,900 --> 00:12:53,400
Dus dat geld haal je er heel makkelijk uit, ook al kunnen we niet heel direct zeggen dat we zoveel geld hebben bespaard.

236
00:12:53,400 --> 00:13:00,900
Het is wel duidelijk van, zoveel kost het per notion voorkomen, maar je haalt er wel echt meer uit dan alleen dat.

237
00:13:00,900 --> 00:13:09,900
Ja, want dat kwantitatief gaat natuurlijk over, het moeilijkste in de zorg is dat mensen trouw zijn aan bijvoorbeeld het slikken van hun medicijnen,

238
00:13:09,900 --> 00:13:13,700
aan het opvolgen van het advies van de arts en allemaal dat soort zaken.

239
00:13:13,700 --> 00:13:16,620
Dus als je op een gegeven moment uit beeld raakt van je consult,

240
00:13:16,620 --> 00:13:21,040
ik neem aan dat dat inderdaad heel moeilijk te meten is,

241
00:13:21,040 --> 00:13:23,360
maar dat zijn wel de dingen waar je aan bijdraagt.

242
00:13:23,360 --> 00:13:24,880
Ja, dat is wel het idee.

243
00:13:24,880 --> 00:13:26,300
Dat is wel het idee inderdaad, ja.

244
00:13:26,300 --> 00:13:30,680
Dat we de communicatie tussen de patiënt en het ziekenhuis ook gewoon echt beter maken.

245
00:13:30,680 --> 00:13:35,960
Dat zagen we bijvoorbeeld ook in de notities die telefonisten maken.

246
00:13:35,960 --> 00:13:37,160
Dat is heel leuk om erheen te scrollen.

247
00:13:37,180 --> 00:13:39,740
Soms maak je notities van hoe is het gesprek gegaan.

248
00:13:39,740 --> 00:13:44,580
Soms staat erin, ja, mijn vrouw heeft deze afspraak afgezegd,

249
00:13:44,580 --> 00:13:46,700
maar blijkbaar staat het nog steeds in het systeem.

250
00:13:46,700 --> 00:13:48,420
En heeft al meerdere keren gebeld.

251
00:13:48,420 --> 00:13:51,740
- Oh, je krijgt ook procesverbeteringen eigenlijk.

252
00:13:51,740 --> 00:13:54,660
- Dat soort dingen komen er heel toevallig uit.

253
00:13:54,660 --> 00:13:58,060
Dat het ook gewoon soms frustratie bij de patiënt,

254
00:13:58,060 --> 00:13:59,380
of gewoon een foutje die het ziekenhuis maakt,

255
00:13:59,380 --> 00:14:01,060
of gewoon administratiefout, dat gebeurt gewoon.

256
00:14:01,060 --> 00:14:01,780
- Ja, tuurlijk.

257
00:14:01,780 --> 00:14:02,940
- Die haal je dan ook gewoon uit.

258
00:14:02,940 --> 00:14:05,500
En dat maakt het gewoon minder frustrerend

259
00:14:05,520 --> 00:14:09,220
voor eigenlijk zowel het zorgpersoneel, de polikliniekmedewerker, als de patiënt zelf,

260
00:14:09,220 --> 00:14:12,380
dat die communicatie veel meer op één lijn brengt.

261
00:14:12,380 --> 00:14:14,100
Wat geweldig. - Mooi.

262
00:14:14,100 --> 00:14:20,580
Wat is één van de dingen die je zelf geleerd hebt?

263
00:14:20,580 --> 00:14:26,060
Want je zegt, ik ben hier drie jaar mee bezig, niet per se een data science-achtergrond.

264
00:14:26,060 --> 00:14:29,580
Wat was voor jou het ding, als je nu drie jaar terugkijkt,

265
00:14:29,580 --> 00:14:33,060
dat je denkt, dat had ik echt nooit gedacht, dat heb ik geleerd?

266
00:14:35,100 --> 00:14:38,100
Ik denk voor mij een van de belangrijkste lessen die ik heb geleerd is...

267
00:14:38,100 --> 00:14:45,900
hoe belangrijk de toepassing is voor hoe je data science, AI-modellen ontwikkelt.

268
00:14:45,900 --> 00:14:46,940
Hoe je dat doet.

269
00:14:46,940 --> 00:14:51,980
Dus bij ons is altijd de toepassing van hoe gaan we de voorspelling ook echt...

270
00:14:51,980 --> 00:14:57,300
in het zorgproces krijgen, dat staat eigenlijk centraal aan hoe we het doen.

271
00:14:57,300 --> 00:14:59,500
Heel veel...

272
00:14:59,500 --> 00:15:03,020
Ten opzichte van, want je zet het ergens tegen af...

273
00:15:03,060 --> 00:15:05,380
Dus ik denk dat je een beeld hebt ten opzichte van...

274
00:15:05,380 --> 00:15:09,340
Ja, dus voor ik de overstap maakte van natuurlijk naar data science...

275
00:15:09,340 --> 00:15:11,780
en dan ga je door wat van die simpele cursussen heen...

276
00:15:11,780 --> 00:15:14,060
en daar zie je eigenlijk...

277
00:15:14,060 --> 00:15:19,180
Die cursussen zijn, nu ik zo terugkijk, niet een hele goede weerspiegeling...

278
00:15:19,180 --> 00:15:22,540
van hoe wij ook echt data science doen.

279
00:15:22,540 --> 00:15:24,420
Het is heel gericht op het hele technische.

280
00:15:24,420 --> 00:15:25,980
Terwijl...

281
00:15:25,980 --> 00:15:28,940
En dat is natuurlijk ook een deel van de i, de hele technische...

282
00:15:28,940 --> 00:15:30,780
van hoe werken die modellen precies.

283
00:15:31,140 --> 00:15:34,260
Maar voor ons is het veel meer niet zozeer hoe werkt het model precies,

284
00:15:34,260 --> 00:15:36,620
maar hoe gaan we dit model gebruiken.

285
00:15:36,620 --> 00:15:39,420
En wat voor voorspellingen willen we het model laten maken,

286
00:15:39,420 --> 00:15:42,920
dat het ook echt nuttig is voor de toepassing.

287
00:15:42,920 --> 00:15:46,380
Dus om het even terug te betrekken op NoShow,

288
00:15:46,380 --> 00:15:47,860
wat ik daar altijd interessant vond,

289
00:15:47,860 --> 00:15:51,940
is dat we hadden twee toepassingen die we overwogen.

290
00:15:51,940 --> 00:15:55,780
Eén is het vooraf bellen, en de andere was het overboeken van afspraken.

291
00:15:55,780 --> 00:15:58,420
Dus ik kan ook zeggen, nou, een hele hoog risico op NoShow,

292
00:15:58,420 --> 00:15:59,980
we gaan die gewoon over elkaar inboeken.

293
00:16:00,000 --> 00:16:02,200
Als er een die komt opdagen... -O ja.

294
00:16:02,200 --> 00:16:05,880
Eigenlijk wat de vliegtuigmaatschappijen doen.

295
00:16:05,880 --> 00:16:07,880
Ja, dat is wat de vliegtuigmaatschappijen doen.

296
00:16:07,880 --> 00:16:10,120
Daar kwam het idee ook vandaan van een collega van mij.

297
00:16:10,120 --> 00:16:16,160
En het verschil tussen die twee, merk je bij het ontwikkelen van de model zelf,

298
00:16:16,160 --> 00:16:20,600
is dat bij de ene toepassing willen we de precision heel hoog hebben,

299
00:16:20,600 --> 00:16:23,040
en bij de andere toepassing wil je de recall heel hoog hebben.

300
00:16:23,040 --> 00:16:24,960
Dus hoe je je model ontwikkelt...

301
00:16:24,960 --> 00:16:28,280
We hebben best wel hele brede luisteraars geroepen.

302
00:16:28,320 --> 00:16:33,200
Zou je Precision en Recall heel klein beetje kunnen uitleggen?

303
00:16:33,200 --> 00:16:35,960
Met Precision bedoel ik,

304
00:16:35,960 --> 00:16:40,920
als het model zegt dat een afspraak een no-show gaat worden,

305
00:16:40,920 --> 00:16:45,760
welk percentage van die voorspelling van het model is ook echt correct?

306
00:16:45,760 --> 00:16:47,880
Dus eigenlijk, het zit een beetje in de naam,

307
00:16:47,880 --> 00:16:53,040
hoe precies is de voorspelling van mijn model op de risicogroep?

308
00:16:54,480 --> 00:16:57,920
Dus bij de afspraakherinnering,

309
00:16:57,920 --> 00:17:02,760
een foute notions voorspelling is niet zo erg.

310
00:17:02,760 --> 00:17:05,800
Dan krijgt iemand een telefoontje die anders toch was komen opdagen.

311
00:17:05,800 --> 00:17:08,080
Die is twee minuten van zijn tijd kwijt

312
00:17:08,080 --> 00:17:10,920
en nog steeds heb je wel iets van communicatie gehouden met het patiënt.

313
00:17:10,920 --> 00:17:12,440
Dus dat is niet zo erg.

314
00:17:12,440 --> 00:17:16,200
Terwijl zo'n zelfde foute voorspelling bij het overboeken,

315
00:17:16,200 --> 00:17:17,960
dat is ook een heel goede voorziening.

316
00:17:17,960 --> 00:17:20,980
En dan heb je ook een heel goede voorziening van de verantwoordelijkheid.

317
00:17:21,000 --> 00:17:25,800
Terwijl, zo'n zelfde foute voorspelling bij het overboeken, dat is wel een probleem.

318
00:17:25,800 --> 00:17:27,820
Want dan staat ineens je wachtkamer voor een patiënt.

319
00:17:27,820 --> 00:17:31,360
Ja, dan heb je een dubbel aantal patiënten die dag.

320
00:17:31,360 --> 00:17:34,460
Ja, niemand is thuisgebleven.

321
00:17:34,460 --> 00:17:41,960
Dus dat is gewoon de impact van hoe je je model gebruikt op hoe je je model ontwikkelt.

322
00:17:41,960 --> 00:17:48,180
Die interactie, het is niet zomaar van pak je je metriek en we verhogen de accuracy of zo.

323
00:17:48,200 --> 00:17:51,700
Je moet er heel goed nadenken, wat is het proces waar we in terechtkomen...

324
00:17:51,700 --> 00:17:53,660
en hoe gaan we daar een impact op hebben?

325
00:17:53,660 --> 00:17:55,960
Want bij opleidingen zie je dat heel veel, hè?

326
00:17:55,960 --> 00:18:00,260
Dat er heel erg wordt getraind op nauwkeurigheid, accuracy...

327
00:18:00,260 --> 00:18:02,380
dat ze hoog mogelijk krijgen.

328
00:18:02,380 --> 00:18:06,180
Terwijl, waar je het nu over hebt, dat zijn de dingen die van belang zijn.

329
00:18:06,180 --> 00:18:09,580
Want daarmee stuur je uiteindelijk ook gedrag...

330
00:18:09,580 --> 00:18:14,340
van de mensen waar het model ook voor bedoeld is.

331
00:18:14,340 --> 00:18:15,700
Ja, precies.

332
00:18:15,720 --> 00:18:19,440
Uiteindelijk moet iemand het gaan gebruiken.

333
00:18:19,440 --> 00:18:20,860
Iemand moet er iets mee gaan doen.

334
00:18:20,860 --> 00:18:23,560
En het moet in een werkproces terechtkomen.

335
00:18:23,560 --> 00:18:25,680
En daar moet je op aanhaken.

336
00:18:25,680 --> 00:18:29,160
Want anders ga je opleggen van je moet het nu zo doen of zo.

337
00:18:29,160 --> 00:18:31,920
Het geheim niet met hoe het in de praktijk werkt.

338
00:18:31,920 --> 00:18:34,280
Vooral niet als je afstand met de eindgebruik.

339
00:18:34,280 --> 00:18:37,360
Zo moet je het gebruiken of zo is het goed voor jou om te gebruiken.

340
00:18:37,360 --> 00:18:38,220
Dan hebben ze ook geen zin in.

341
00:18:38,220 --> 00:18:39,720
Het zorgpersoneel is druk genoeg.

342
00:18:39,720 --> 00:18:41,360
Dus als je onzin dingetjes gaat opleggen,

343
00:18:41,360 --> 00:18:44,180
dan hebben ze niks aan het hebben, dan haken ze snel af.

344
00:18:44,200 --> 00:18:48,200
Het voordeel bij het No-Show-model is dat onze eindgebruikers zijn de telefonisten.

345
00:18:48,200 --> 00:18:51,200
Dus het is een soort van parallel proces van de poliklinieken.

346
00:18:51,200 --> 00:18:54,200
Dat is redelijk uniek aan dit No-Show-model.

347
00:18:54,200 --> 00:18:57,200
Bij andere projecten is dat veel minder zo.

348
00:18:57,200 --> 00:19:00,200
Dus je gaat een beetje langs de poliklinieken heen.

349
00:19:00,200 --> 00:19:03,200
Maar goed, we bellen wel hun patiënten, dus we moeten wel goed met hen afstemmen.

350
00:19:03,200 --> 00:19:06,200
Dit gaan we nu doen met jullie patiënten.

351
00:19:06,200 --> 00:19:09,200
En toen we dat in eerste instantie deden,

352
00:19:09,200 --> 00:19:11,200
Dit gaan we nu doen met jullie patiënten.

353
00:19:11,200 --> 00:19:14,600
En toen we dat in eerste instantie deden,

354
00:19:14,600 --> 00:19:17,520
een beetje gemengde reacties.

355
00:19:17,520 --> 00:19:20,360
Sommigen vonden het interessant.

356
00:19:20,360 --> 00:19:22,360
Sommigen waren bezorgd.

357
00:19:22,360 --> 00:19:24,360
Wat gaan jullie allemaal met de patiënten doen?

358
00:19:24,360 --> 00:19:27,200
Maar je praat ze een beetje bij en ik denk, dat is op zich wel interessant.

359
00:19:27,200 --> 00:19:30,960
Maar een heel klein groepje was ook wel van trouw.

360
00:19:30,960 --> 00:19:35,560
Van, gaat dit model nu onze patiënten zitten profileren?

361
00:19:35,560 --> 00:19:38,160
Is dit wel ethisch om dit zo te doen?

362
00:19:38,160 --> 00:19:41,720
En dat zijn hele terechte zorgen.

363
00:19:41,720 --> 00:19:45,280
Het kan helemaal fout gaan als je dat niet goed aanpakt.

364
00:19:45,280 --> 00:19:49,640
Maar dat was dus wel in eerste instantie een beetje gemengd.

365
00:19:49,640 --> 00:19:53,280
Het meeste positief, maar een aantal waren ook wel heel voorzichtig, heel sceptisch.

366
00:19:53,280 --> 00:19:56,360
Die zorgen hebben we nu al kunnen wegnemen.

367
00:19:56,360 --> 00:19:58,880
We zijn gewoon met ze in gesprek gegaan.

368
00:19:58,880 --> 00:19:59,880
Zo werkt het.

369
00:19:59,880 --> 00:20:03,880
En eigenlijk het enige wat we doen is een extra dienst boven wat we nu al doen.

370
00:20:03,880 --> 00:20:05,720
We zijn niet aan het profileren.

371
00:20:05,720 --> 00:20:11,320
De features die het model gaat zorgen echt voor dat hij niet aan het profileren is.

372
00:20:11,320 --> 00:20:14,720
En nu zijn ze eigenlijk allemaal heel positief.

373
00:20:14,720 --> 00:20:15,740
Wat leuk.

374
00:20:15,740 --> 00:20:18,340
Nu zijn we aan het opschalen. Het begon eerst heel klein op één polikliniek.

375
00:20:18,340 --> 00:20:19,360
Ja.

376
00:20:19,360 --> 00:20:22,360
Vergroot naar 23 en nu gaan we naar alle poliklinieken.

377
00:20:22,360 --> 00:20:23,380
Wauw.

378
00:20:23,380 --> 00:20:25,900
En eigenlijk elke keer als ze langsgaan zeggen ze,

379
00:20:25,900 --> 00:20:26,920
ja leuk, wij willen graag meedoen.

380
00:20:26,920 --> 00:20:27,940
Ja.

381
00:20:27,940 --> 00:20:30,260
En dan hebben ze natuurlijk van elkaar al gehoord.

382
00:20:30,260 --> 00:20:31,280
Ja, precies.

383
00:20:31,280 --> 00:20:33,300
Dan krijgen we inderdaad een ontmoet.

384
00:20:33,300 --> 00:20:34,320
Ja.

385
00:20:34,340 --> 00:20:41,340
Het klinkt als een hele menselijke aanpak van AI inbouwen in een werkproces en oplossing.

386
00:20:41,340 --> 00:20:47,340
Wat ik me nog afvroeg is, bij het opschalen, ben je daar nog bepaalde uitdagingen tegengekomen

387
00:20:47,340 --> 00:20:51,340
die je had verwacht of niet had verwacht en hoe hebben die getackled?

388
00:20:51,340 --> 00:20:56,340
Ja, er komen altijd veel uitdagingen op kijken bij opschalen.

389
00:20:56,340 --> 00:21:02,340
Een is wat technischer van aard, daar hadden we gelukkig een beetje op ingespeeld,

390
00:21:02,340 --> 00:21:05,480
Dat je je code moet ermee om kunnen gaan.

391
00:21:05,480 --> 00:21:09,120
Vooral toen we de eerste kleine pilot bij één polikliniek deden,

392
00:21:09,120 --> 00:21:15,280
is het heel verleidelijk om je code ook heel maatwerk voor die Eén Polikliniek te geven.

393
00:21:15,280 --> 00:21:19,780
Maar uiteindelijk moet er gewoon iets staan wat elke dag draait,

394
00:21:19,780 --> 00:21:21,500
wat elke dag een bellijst klaarzet,

395
00:21:21,500 --> 00:21:23,440
waar je niet elke dag naar hoeft te kijken.

396
00:21:23,440 --> 00:21:26,980
Je wil gewoon dat je als ontwikkelaar dat het ding gewoon staat te doen wat het wil,

397
00:21:26,980 --> 00:21:28,000
wat het moet doen.

398
00:21:28,000 --> 00:21:31,740
Dus je moet je code daar gewoon op inrichten dat het schaalbaar is.

399
00:21:31,760 --> 00:21:36,840
Dat je gewoon, als ik nu een polyclinic toevoeg, daar ben ik toevallig deze week ook mee bezig,

400
00:21:36,840 --> 00:21:44,240
dat ik gewoon een polyclinic code toevoeg aan de code, door de hele pipelines heen draai.

401
00:21:44,240 --> 00:21:46,440
Natuurlijk wel eventjes een check van, ziet het model er oké uit?

402
00:21:46,440 --> 00:21:49,760
Maar dat ik het daarna door kan zetten naar productie en dan is het, ja,

403
00:21:49,760 --> 00:21:51,760
niet al te veel tijd die ik daaraan kwijt ben om...

404
00:21:51,760 --> 00:21:53,160
Een fluitje van de cent, wou je zeggen?

405
00:21:53,160 --> 00:21:56,160
Dat wil ik ook niet zeggen.

406
00:21:56,160 --> 00:21:57,160
Relatief.

407
00:21:57,160 --> 00:21:58,160
Relatief gezien wel, ja.

408
00:21:58,160 --> 00:22:00,160
Ja, want dat is wel wat je wil, ja.

409
00:22:00,160 --> 00:22:05,540
Ja, dus daar hebben we ook goed op ingezet als team.

410
00:22:05,540 --> 00:22:09,060
Niet vanaf het begin of aan, wat we misschien wel hadden moeten doen,

411
00:22:09,060 --> 00:22:12,120
maar op een gegeven moment wilden we gaan opschalen.

412
00:22:12,120 --> 00:22:14,720
Nu moet onze code ook echt schaalbaar zijn.

413
00:22:14,720 --> 00:22:19,760
Zodat het ook voor onze andere projecten, dat we dezelfde logica erachter inbouwen,

414
00:22:19,760 --> 00:22:22,660
zodat het goed schaalbaar blijft.

415
00:22:22,660 --> 00:22:24,680
Dat is denk ik al redelijk gelukt.

416
00:22:24,680 --> 00:22:27,900
Dat is een hele technische uitdaging.

417
00:22:27,920 --> 00:22:31,320
Een meer praktische uitdaging voor Opschalen is dat je...

418
00:22:31,320 --> 00:22:33,640
Je moet gewoon even bij iedereen langs.

419
00:22:33,640 --> 00:22:35,900
Je gaat een patiënt bellen.

420
00:22:35,900 --> 00:22:38,160
Je moet ze even aanhoren.

421
00:22:38,160 --> 00:22:40,480
Maar goed, we hebben het over het Erasmus MC met...

422
00:22:40,480 --> 00:22:42,480
Dat zal zijn 80-plus polikliniek.

423
00:22:42,480 --> 00:22:43,500
Zo, ja.

424
00:22:43,500 --> 00:22:45,240
Sommigen zijn het gewoon goed beheerd wel.

425
00:22:45,240 --> 00:22:47,420
Maar we zijn er eventjes mee bezig.

426
00:22:47,420 --> 00:22:50,940
Iedereen moet gewoon ook zijn zeggen kunnen doen.

427
00:22:50,940 --> 00:22:53,620
En zeggen van, dit is belangrijk voor mijn patiënten.

428
00:22:53,620 --> 00:22:55,460
Dan halen wij ook hele nuttige dingen uit.

429
00:22:55,480 --> 00:22:59,960
Eentje zei bijvoorbeeld dat hij voor ons heel relevant of er een bloedprik van tevoren is gedaan.

430
00:22:59,960 --> 00:23:00,960
Oh ja.

431
00:23:00,960 --> 00:23:03,120
Dan gaan we zoeken of we er inderdaad wat aan kunnen prikken.

432
00:23:03,120 --> 00:23:04,120
Ja.

433
00:23:04,120 --> 00:23:07,600
Eentje zei, als een patiënt opgenomen is, dan hoef je niet te bellen.

434
00:23:07,600 --> 00:23:10,600
Dan kan hij geen kant op.

435
00:23:10,600 --> 00:23:17,360
Dus dat is ook hele relevante informatie en ideeën die we daar dan uit halen.

436
00:23:17,360 --> 00:23:19,880
Dus dat is ook nuttig, maar goed, het kost wel veel tijd.

437
00:23:19,880 --> 00:23:25,480
Ja, nou wordt dat ook, wij zien dat natuurlijk ook, van het maken van een model.

438
00:23:25,480 --> 00:23:29,680
Dat is eigenlijk de speldenprik in je hele oplossing.

439
00:23:29,680 --> 00:23:32,880
Heb je dat ook zo gevoeld met waar je nu mee bezig bent?

440
00:23:32,880 --> 00:23:37,380
Jazeker, ja. Voor mijn gevoel, dat hangt een beetje vanaf welke fase,

441
00:23:37,380 --> 00:23:43,380
maar van een heel AI-project ben je 50% bezig met gewoon de data opschonen.

442
00:23:43,380 --> 00:23:44,380
Ja.

443
00:23:44,380 --> 00:23:49,380
Dat is gewoon heel messy.

444
00:23:49,380 --> 00:23:54,380
Dat opschonen en dat klaarmaken voor een model kost gewoon zoveel tijd.

445
00:23:54,380 --> 00:23:59,380
En dan het model zelf, dat is heel vaak gewoon een lijncode van model.fit.

446
00:23:59,380 --> 00:24:02,380
Dat is een beetje schoon te doen.

447
00:24:02,380 --> 00:24:05,380
En daarna is er een deel, zeggen we 20%,

448
00:24:05,380 --> 00:24:08,380
gewoon in de performance goed checken.

449
00:24:08,380 --> 00:24:11,380
Statistische relaties en zo.

450
00:24:11,380 --> 00:24:13,380
Dat laatste is eigenlijk de praktische richting.

451
00:24:13,380 --> 00:24:16,380
Afstemmen met de eindgebruikers, met de stakeholders.

452
00:24:16,380 --> 00:24:18,380
Voordoet het aan hun verwachtingen?

453
00:24:18,380 --> 00:24:23,380
Want zij hebben ook al bepaalde verwachtingen in het project.

454
00:24:23,380 --> 00:24:26,380
Klopt het nog met de praktijk, met de realiteit?

455
00:24:26,380 --> 00:24:29,380
Zij hebben een bepaald registratieproces.

456
00:24:29,380 --> 00:24:31,380
Kunnen we daarop aansluiten?

457
00:24:31,380 --> 00:24:33,380
Daar moeten wij uiteindelijk onze data uit halen.

458
00:24:33,380 --> 00:24:36,380
Dus dat laatste is eigenlijk de praktische richting.

459
00:24:36,380 --> 00:24:38,380
Afstemmen met de eindgebruikers.

460
00:24:38,380 --> 00:24:43,700
en ook onze data uit te halen. Dus dat laatste deel is ook gewoon echt heel praktisch van aard.

461
00:24:43,700 --> 00:24:44,700
Precies.

462
00:24:44,700 --> 00:24:46,700
Om af te stemmen met de eindgebruikers.

463
00:24:46,700 --> 00:24:47,700
Ja.

464
00:24:47,700 --> 00:24:50,700
Hé, en had jij vraag Niels of niet?

465
00:24:50,700 --> 00:24:54,700
Nee, nee. Ik was gewoon aan het luisteren en ik zei ja.

466
00:24:54,700 --> 00:24:57,700
Oké, ja. Nee, omdat we, ja, we elkaar niet zien.

467
00:24:57,700 --> 00:25:00,700
Dat is af en toe een beetje lastig. In de studio keek je elkaar zo aan, weet je,

468
00:25:00,700 --> 00:25:03,700
beetje precies van, oh ja, die gaat de hele vraag stellen.

469
00:25:03,700 --> 00:25:05,700
Wat ik...

470
00:25:05,700 --> 00:25:09,020
Nou ontschiet hij me omdat we dit zo hebben.

471
00:25:09,020 --> 00:25:13,780
O ja, je zei van ik ben drie jaar geleden begonnen.

472
00:25:13,780 --> 00:25:16,980
En ook aangenomen voor dit traject.

473
00:25:16,980 --> 00:25:23,900
Zijn jullie ook echt daadwerkelijk drie jaar bezig geweest voor de eerste implementatie tot aan productie?

474
00:25:23,900 --> 00:25:28,420
Nee, niet tot de eerste implementatie.

475
00:25:28,420 --> 00:25:34,900
Ik denk binnen een jaar hadden we eerst de pilot op één polikliniek gedaan.

476
00:25:34,900 --> 00:25:40,060
Ik ben in december aangenomen en die pilot hebben we in augustus naar gedraaid.

477
00:25:40,060 --> 00:25:41,300
En dat is op één polikliniek.

478
00:25:41,300 --> 00:25:44,420
En daar kwam ook nog covid-dingen doorheen.

479
00:25:44,420 --> 00:25:46,260
Ja, even een dingetje.

480
00:25:46,260 --> 00:25:50,260
Dus als je op de IT-afdeling van een ziekenhuis werkt in covid-tijd,

481
00:25:50,260 --> 00:25:53,660
dan wordt je tijd soms gekaapt om even iets covid-19 te doen.

482
00:25:53,660 --> 00:25:58,100
Snap ik, maar goed, dat heeft wel wat vertraging opgeleverd.

483
00:25:58,100 --> 00:26:03,820
Maar dat is eigenlijk in een paar maanden tijd van idee naar productie, eerste poli.

484
00:26:03,820 --> 00:26:05,100
Dat is echt super kort.

485
00:26:05,100 --> 00:26:06,100
Wel netjes.

486
00:26:06,100 --> 00:26:07,100
Ja, het is heel lastig.

487
00:26:07,100 --> 00:26:09,820
De echte doorlooptijd was uiteindelijk ongeveer een jaar,

488
00:26:09,820 --> 00:26:12,300
want het is net iets eerder gestart dan ik daar begon.

489
00:26:12,300 --> 00:26:14,500
Maar omdat er zoveel tussendoor is gekomen,

490
00:26:14,500 --> 00:26:16,500
is het sowieso korter dan een jaar.

491
00:26:16,500 --> 00:26:18,500
Maar hoeveel korter, dat weet ik niet.

492
00:26:18,500 --> 00:26:20,500
Nee, precies. Maar wel netjes gedaan.

493
00:26:20,500 --> 00:26:24,100
Ja, omdat we vanaf het begin af aan wilden inspelen op,

494
00:26:24,100 --> 00:26:25,500
we willen implementeren.

495
00:26:25,500 --> 00:26:31,180
We willen naar de praktijk, we willen er een theoretisch feestje van maken.

496
00:26:31,180 --> 00:26:35,020
Want we zagen al in het ziekenhuis wat heel vaak gebeurt,

497
00:26:35,020 --> 00:26:37,860
is een van de PSD die maakt een heel leuk model,

498
00:26:37,860 --> 00:26:41,820
heel interessant, die publiceert en is dan weg.

499
00:26:41,820 --> 00:26:44,620
En dan heb je zo'n model, die ligt in de stoffen.

500
00:26:44,620 --> 00:26:48,420
Dan is alles ingestemd, afgestemd op de praktijk.

501
00:26:48,420 --> 00:26:52,940
Nog steeds is er dan niet de know-how of de wil,

502
00:26:52,940 --> 00:26:56,740
of wat dan ook wat nodig is om het te implementeren.

503
00:26:56,740 --> 00:26:58,760
Dus daar zaten we vanaf het begin af aan op,

504
00:26:58,760 --> 00:27:00,140
van oké, we willen implementeren,

505
00:27:00,140 --> 00:27:02,360
en daarvoor moeten we dus eerst aantonen dat het werkt.

506
00:27:02,360 --> 00:27:03,580
Dat je er ook echt wat aan hebt.

507
00:27:03,580 --> 00:27:06,640
En daarvoor hebben we dus zo'n pilot, eigenlijk twee pilots hebben we gedaan,

508
00:27:06,640 --> 00:27:10,200
om dat effect van deze beldienst aan te tonen.

509
00:27:10,200 --> 00:27:13,360
En ik denk dat het super belangrijk is, hè, de eerste waarde.

510
00:27:13,360 --> 00:27:15,160
Ja, precies.

511
00:27:15,160 --> 00:27:18,360
Dus we kunnen ook heel leuk zo'n beldienst opzetten,

512
00:27:18,360 --> 00:27:22,560
maar als we dat gewoon zeggen bij een polyclinic manager,

513
00:27:22,580 --> 00:27:24,580
Ja, we gaan nu een beldienst voor je inrichten.

514
00:27:24,580 --> 00:27:26,580
Ja, dat moeten we doen.

515
00:27:26,580 --> 00:27:28,580
Tot nu kunnen we zeggen,

516
00:27:28,580 --> 00:27:30,580
we hebben een randomized control trial gedaan.

517
00:27:30,580 --> 00:27:32,580
We zien gewoon dat het dojo percentage

518
00:27:32,580 --> 00:27:34,580
in zijn geheel met ongeveer 15%

519
00:27:34,580 --> 00:27:36,580
afneemt als je dit doet.

520
00:27:36,580 --> 00:27:38,580
En waarschijnlijk verlies je er geen geld aan.

521
00:27:38,580 --> 00:27:40,580
Daar gaan ze mee doen.

522
00:27:40,580 --> 00:27:42,580
Daarom zijn ze enthousiast.

523
00:27:42,580 --> 00:27:44,580
We gaan zien wat hij zegt.

524
00:27:44,580 --> 00:27:46,580
Het kost ze eigenlijk helemaal niks.

525
00:27:46,580 --> 00:27:48,580
Ja, geweldig.

526
00:27:48,580 --> 00:27:50,580
Niels, wil jij nog even vragen stellen?

527
00:27:50,580 --> 00:27:59,140
erbij? Ja zeker. Komt hij zo een beetje zo in een keer binnen. Ik hoor ook ineens gedraaid zie ik.

528
00:27:59,140 --> 00:28:09,620
Oh joh, wat een interessant gevaar is zo. Wat ik me afvroeg is, zijn er ook verrassende effecten

529
00:28:09,620 --> 00:28:20,180
bijgekomen bij het zoeken naar de implementatie. Dus proces naar implementatie.

530
00:28:20,180 --> 00:28:29,420
Wat we hebben gezien is dat dit project een soort van start is geweest om op een bredere

531
00:28:29,420 --> 00:28:38,460
manier NoShow aan te pakken. Dus deze beldienst is gezet in een breder project om ook de registratie

532
00:28:38,460 --> 00:28:42,180
die rondom no-show meer te egaliseren in het ziekenhuis.

533
00:28:42,180 --> 00:28:44,640
Want je hebt zoveel verschillende poliklinieken,

534
00:28:44,640 --> 00:28:47,000
ze hebben de neiging om alles op hun eigen manier te doen.

535
00:28:47,000 --> 00:28:50,240
Wat ook betekent dat alles weer op een eigen manier en de data bezig is.

536
00:28:50,240 --> 00:28:54,780
Dus de vraag is, wat is onze no-show percentage nou eigenlijk?

537
00:28:54,780 --> 00:28:58,240
Dat is heel lastig te beantwoorden voor managementadvies en zo.

538
00:28:58,240 --> 00:29:01,940
Dat is eigenlijk heel gek, want dan wil je gewoon wel een goed beeld hebben,

539
00:29:01,940 --> 00:29:03,660
van wat is nou de no-show van deze polikliniek?

540
00:29:03,660 --> 00:29:06,780
En als ik het over no-show heb bij de radiologie,

541
00:29:06,800 --> 00:29:08,800
moet ik hetzelfde hebben als bij NoShow bij Dermot.

542
00:29:08,800 --> 00:29:09,440
Precies.

543
00:29:09,440 --> 00:29:11,780
Dus je moet ook nog eens dezelfde definitie hanteren.

544
00:29:11,780 --> 00:29:12,260
Ja.

545
00:29:12,260 --> 00:29:15,280
En dat op dezelfde manier ook registreren in de database.

546
00:29:15,280 --> 00:29:18,580
Dus het is onderdeel van een groter project

547
00:29:18,580 --> 00:29:23,800
om dit soort bredere thema's rondom NoShow aan te pakken.

548
00:29:23,800 --> 00:29:25,440
Kunnen we het goed registreren?

549
00:29:25,440 --> 00:29:27,880
Kunnen we er één waarheid hebben als ziekenhuis?

550
00:29:27,880 --> 00:29:29,800
Dit is nou ons NoShow-percentage.

551
00:29:29,800 --> 00:29:31,820
En welke definitie hanteren we dan?

552
00:29:31,820 --> 00:29:35,680
Dus eigenlijk ben je onderdeel ook nog eventjes de datakwaliteit aan het ophogen.

553
00:29:36,120 --> 00:29:38,120
Dat is de hoop. - Niet alleen dat.

554
00:29:38,120 --> 00:29:40,960
Dat doen de andere afdeling. Die gaat echt langs.

555
00:29:40,960 --> 00:29:42,980
Hoe doen jullie registreren nou precies?

556
00:29:42,980 --> 00:29:45,940
De lean methodiek en zo.

557
00:29:45,940 --> 00:29:50,940
Maar ik merk wel dat dit project wel dat soort dingen in gang heeft gezet.

558
00:29:50,940 --> 00:29:52,360
Dat daar beter naar gekeken wordt.

559
00:29:52,360 --> 00:29:55,640
Ook de definitie die wij hebben neergezet in dit project,

560
00:29:55,640 --> 00:29:57,860
dat wordt ook de definitie van het EMC.

561
00:29:57,860 --> 00:29:58,880
Ja, precies.

562
00:29:58,880 --> 00:30:03,760
Dus niet alleen is er iemand geregistreerd als no-show,

563
00:30:03,780 --> 00:30:07,640
Maar ook bijvoorbeeld heeft iemand heel kort van tevoren afgemeld.

564
00:30:07,640 --> 00:30:09,960
Als je de ochtend van tevoren afmeldt,

565
00:30:09,960 --> 00:30:12,840
dan ben je praktisch gezien voor de Polikliniek een no-show.

566
00:30:12,840 --> 00:30:14,720
Ook al heb je op tijd afgemeld,

567
00:30:14,720 --> 00:30:16,620
en je staat in de database als het is.

568
00:30:16,620 --> 00:30:18,120
Oh ja, als afgemeld.

569
00:30:18,120 --> 00:30:20,060
Afgemeld is geen no-show.

570
00:30:20,060 --> 00:30:23,080
Dus in die zin, datakwaliteit,

571
00:30:23,080 --> 00:30:27,720
maar ook gewoon een betere idee van wat nou de situatie in de Erasmus is.

572
00:30:27,720 --> 00:30:29,240
Heel interessant.

573
00:30:29,240 --> 00:30:33,720
We hebben nog een virtuele co-host, Ben,

574
00:30:33,740 --> 00:30:39,300
Ik ga eventjes de tune van haar instarten, dan halen we dat erbij.

575
00:30:39,300 --> 00:30:55,300
[muziek]

576
00:30:55,300 --> 00:30:57,300
Stel maar een vraag.

577
00:30:57,300 --> 00:30:59,300
Het is geweldig om je hier te hebben.

578
00:30:59,300 --> 00:31:01,300
Voor degenen die mij nog niet kennen,

579
00:31:01,300 --> 00:31:07,020
ik ben Aisha, de AI van deze podcast. Zou ik je een vraag mogen stellen?

580
00:31:07,020 --> 00:31:09,020
Ja hoor, dat mag.

581
00:31:09,020 --> 00:31:13,740
Hoe kunnen we AI zo vormgeven dat het onze menselijkheid versterkt?

582
00:31:13,740 --> 00:31:15,740
Wow.

583
00:31:15,740 --> 00:31:20,460
Dat zijn wel de lastige filosofe vraagstukken die gesteld worden.

584
00:31:20,460 --> 00:31:22,460
Ja hé.

585
00:31:22,460 --> 00:31:29,740
Door er echt een symbiose van te maken.

586
00:31:29,740 --> 00:31:35,780
Dus niet AI inzetten ter vervanging van mensen, maar ter ondersteuning van mensen.

587
00:31:35,780 --> 00:31:41,780
Dat je de sterke kwaliteiten van beide kan combineren, in plaats van dat je de een de

588
00:31:41,780 --> 00:31:43,220
ander laat vervangen.

589
00:31:43,220 --> 00:31:47,420
Want het kan nou eenmaal sommige dingen beter dan we bij mensen kunnen, maar andersom ook.

590
00:31:47,420 --> 00:31:48,420
Ja toch?

591
00:31:48,420 --> 00:31:49,420
Ja.

592
00:31:49,420 --> 00:31:54,420
Je geeft een erg duidelijk antwoord op mijn vraag, thanks.

593
00:31:54,420 --> 00:31:56,420
Ja graag gedaan.

594
00:31:56,420 --> 00:32:00,420
Mag ik vragen, hoe maken jullie dat eigenlijk?

595
00:32:00,420 --> 00:32:03,420
Ja, we hebben Aisha zelf ontwikkeld in die zin.

596
00:32:03,420 --> 00:32:07,420
En we hebben daar heel veel generatieve AI voor gebruikt.

597
00:32:07,420 --> 00:32:13,420
Wat ik gedaan heb is eerst een profiel geschreven over wie is Aisha.

598
00:32:13,420 --> 00:32:22,700
Dus we hebben gezegd van, nou dit is een student, nee ze heeft gestudeerd Human Centered AI aan een universiteit, is heel erg geëngageerd.

599
00:32:22,700 --> 00:32:29,660
Zo hebben we eigenlijk een heel profiel beschreven, dat aan Chad Gipity gegeven.

600
00:32:29,660 --> 00:32:35,580
En hij zegt, wat voor type vragen zou zo'n persoon nou stellen?

601
00:32:35,580 --> 00:32:39,980
Maar ook natuurlijk qua intro's en outro's en dat soort zaken.

602
00:32:39,980 --> 00:32:43,780
Dat omgezet, allemaal van tekst naar spraak.

603
00:32:43,780 --> 00:32:48,260
En de AI luistert niet mee.

604
00:32:48,260 --> 00:32:50,860
Dus daar heb ik wel bewust voor gekozen.

605
00:32:50,860 --> 00:32:55,780
En ik heb ook bewust voor gekozen om geen profieldata van jou te geven.

606
00:32:55,780 --> 00:33:00,860
Om juist ander type vragen te krijgen dan die Niels of ik zouden stellen in zo'n gesprek.

607
00:33:00,860 --> 00:33:02,180
Want wij luisteren al naar je.

608
00:33:02,180 --> 00:33:04,460
Dus dat het juist een heel andere vraag zou komen.

609
00:33:04,460 --> 00:33:09,060
Dus met die tekst naar spraak, die wordt dan nu afgespeeld.

610
00:33:09,060 --> 00:33:10,580
- Leuk.

611
00:33:10,580 --> 00:33:14,340
- En nu dat we het profiel hebben, kan ik ook eventueel vragen.

612
00:33:14,340 --> 00:33:16,580
"Geef me nog honderd andere vragen."

613
00:33:16,580 --> 00:33:20,660
- Ik vind dat ze hele goede vragen stelden eigenlijk.

614
00:33:20,660 --> 00:33:22,620
- Ja, toch? Ik vond het ook wel heel verrassend.

615
00:33:22,620 --> 00:33:25,580
Ik moet wel zeggen dat ik een paar vragen, dus ik ben er wel doorheen gegaan,

616
00:33:25,580 --> 00:33:28,420
ik heb wel vragen eruit gevist waarvan ik dacht dan,

617
00:33:28,420 --> 00:33:30,700
"Ja, maar die wil ik echt niet dat die gesteld zijn."

618
00:33:30,700 --> 00:33:32,220
Of dat die gesteld worden.

619
00:33:32,220 --> 00:33:34,220
- Er is wel een filtering overheen gegaan.

620
00:33:34,240 --> 00:33:38,240
Ja, zeker. En dan zijn we terug bij jouw symbiose, denk ik.

621
00:33:38,240 --> 00:33:39,240
Ja, precies. - Toch?

622
00:33:39,240 --> 00:33:41,240
Mooi bruggetje, ja.

623
00:33:41,240 --> 00:33:48,240
Wat ik in ieder geval over heb gehouden aan dit gesprek, is dat je zegt van eerst waarde aantonen.

624
00:33:48,240 --> 00:33:54,240
Machine Learning model, belangrijk, maar klein onderdeel van de implementatie.

625
00:33:54,240 --> 00:34:01,240
En dat het daadwerkelijk succes van wat jullie gedaan hebben echt zit in de communicatie met de gebruikers en de implementatie.

626
00:34:01,240 --> 00:34:03,720
dat je daar eigenlijk vanaf dag één mee bezig bent geweest.

627
00:34:03,720 --> 00:34:05,040
Klopt dat een beetje zo?

628
00:34:05,040 --> 00:34:06,560
Ja, ik denk dat...

629
00:34:06,560 --> 00:34:10,400
Nou, de focus op dat model is onderdeel van een veel breder geheel...

630
00:34:10,400 --> 00:34:12,080
in een heel project van hoe je dat doet.

631
00:34:12,080 --> 00:34:14,920
En dat model is naast een klein onderdeel.

632
00:34:14,920 --> 00:34:21,600
Ik denk dat het vakgebied moet beter aantonen dat het echt waarde kan toevoegen.

633
00:34:21,600 --> 00:34:23,620
Dat het meer is dan alleen een hype.

634
00:34:23,620 --> 00:34:27,000
Dat zit wel een beetje in een hype natuurlijk, maar je kan er heel veel mee.

635
00:34:27,000 --> 00:34:30,880
Maar dan moet je ook laten zien dat mensen voelen dat het ook echt waarde toevoegt.

636
00:34:30,900 --> 00:34:35,500
Ja, wat ik heel mooi vind is dat jullie het echt in het werkproces hebben geïntegreerd.

637
00:34:35,500 --> 00:34:39,900
Dat het nu operationeel is en dat het ook waarde levert.

638
00:34:39,900 --> 00:34:44,900
Ja, geweldig. Dankjewel Ben voor je aanwezigheid in de studio.

639
00:34:44,900 --> 00:34:49,500
En je interessante inkijk in wat jullie aan het doen zijn bij het Erasmus MC.

640
00:34:49,500 --> 00:34:50,500
Ja, graag gedaan.

641
00:34:50,500 --> 00:34:57,900
Dankjewel voor het luisteren aan deze aflevering van AIToday Live.

642
00:34:57,900 --> 00:35:03,300
Vergeet je niet te abonneren via je favoriete podcast app en mis geen aflevering.

643
00:35:03,300 --> 00:35:05,300