1
00:00:00,000 --> 00:00:09,000
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de EOTD Live.

2
00:00:09,000 --> 00:00:14,000
Vandaag hebben we te gast Roos Labberton-Groeneveld. Leuk dat je aanwezig bent.

3
00:00:14,000 --> 00:00:17,000
Mijn naam is Joop Snijder, CTO bij Aigency.

4
00:00:17,000 --> 00:00:21,000
En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support.

5
00:00:21,000 --> 00:00:23,000
Ja, leuk.

6
00:00:23,000 --> 00:00:25,000
Ja Roos, leuk dat je er bent.

7
00:00:25,000 --> 00:00:29,000
Zou je jezelf even kunnen voorstellen aan de luisteraars?

8
00:00:29,000 --> 00:00:40,000
Ja, zeker. Mijn naam is Roos. Ik woon in Utrecht met mijn gezin en ik ben al een jaar of 15 bezig met informatieanalyse en gebruikerservaring.

9
00:00:40,000 --> 00:00:49,000
En in die rol ben ik nu ook werkzaam als UX-designer en UX-researcher, oftewel gebruikerservaringsdeskundige.

10
00:00:49,000 --> 00:00:59,240
Ja, en misschien vragen onze kijkers zich nu af van wat doet een UX, gebruikerservaringstestkundige in deze podcast over AI?

11
00:00:59,240 --> 00:01:03,640
Nou, dat kan ik uitleggen, want ik had namelijk een heel interessant artikel van jou gelezen, Roos,

12
00:01:03,640 --> 00:01:08,280
over hoe jij gekeken hebt naar het algoritmeregister.

13
00:01:08,280 --> 00:01:15,240
Ik denk dat de meeste luisteraars van ons dat wel kennen, maar zou jij misschien uit kunnen leggen wat het algoritmeregister is?

14
00:01:15,240 --> 00:01:25,240
Ja, zeker. Het algoritmeregister is een van de drie trajecten die op dit moment worden uitgevoerd vanuit de werkbrief Digitalisering.

15
00:01:25,240 --> 00:01:35,240
Waarbij bij het algoritmeregister het traject het doel is om algoritmes zo goed mogelijk inzichterlijk te maken en in beeld te brengen en te verzamelen.

16
00:01:35,240 --> 00:01:38,240
Zodat het publiekelijk toegankelijk is.

17
00:01:38,240 --> 00:01:47,240
En jij als deskundige juist op het gebied van het gebruik, hebt daar naar gekeken toch?

18
00:01:47,240 --> 00:01:52,240
Zeker, eigenlijk is het niet alleen kijken, nou vooral niet kijken trouwens.

19
00:01:52,240 --> 00:01:59,240
We zijn in 21 december 2022 live gegaan met het register.

20
00:01:59,240 --> 00:02:07,240
En daarbij hebben we eigenlijk gezegd, we gaan nu alvast live, terwijl dat register nog heel erg in ontwikkeling is.

21
00:02:07,240 --> 00:02:15,880
Sterker nog, dit is de eerste versie, maar we vinden het heel belangrijk dat we dat open en transparant beschikbaar maken.

22
00:02:15,880 --> 00:02:24,520
Juist met het idee, ook met de boodschap, we zijn open aan het ontwikkelen en we willen dat algoritmeregister vanaf nu doorontwikkelen.

23
00:02:24,520 --> 00:02:36,120
En vanaf die slag ben ik gaan meekijken naar waar liggen kansen en waar liggen mooie stukken die we kunnen doorontwikkelen,

24
00:02:36,120 --> 00:02:38,120
of die we willen aanpassen.

25
00:02:38,120 --> 00:02:41,120
Dus dat is dan echt al zo vroeg mogelijk live gegaan...

26
00:02:41,120 --> 00:02:44,120
om de feedback cycle al een beetje op te kunnen starten?

27
00:02:44,120 --> 00:02:51,120
Ja, zeker om de aller verschillende gebruikers die we hebben te betrekken.

28
00:02:51,120 --> 00:02:55,120
En ook omdat we, net als de meeste mensen weten,

29
00:02:55,120 --> 00:02:59,120
je kan niet in één keer iets neerzetten wat perfect is of wat af is.

30
00:02:59,120 --> 00:03:02,120
En we willen ook niet waterval ontwikkelen.

31
00:03:02,120 --> 00:03:08,480
Dus dat je zegt van nou we werken een jaar lang aan de hele visie die we hebben voor het jaar erna ofzo.

32
00:03:08,480 --> 00:03:12,120
En dan zetten we een groep ontwikkelaars drie maanden aan het werk en dan is het klaar.

33
00:03:12,120 --> 00:03:14,960
Nee, want dan ben je gewoon niet in contact met je gebruikers.

34
00:03:14,960 --> 00:03:18,360
En wie zijn de gebruikers van het algoritme register?

35
00:03:18,360 --> 00:03:20,760
Ja, dat is een hele goede vraag.

36
00:03:20,760 --> 00:03:24,560
Daar begon eigenlijk ook mijn vraag en mijn werk.

37
00:03:24,560 --> 00:03:29,560
Hoe kunnen we nou dat algoritme register zo goed mogelijk maken?

38
00:03:29,560 --> 00:03:31,720
de beste versie maken van dat register.

39
00:03:31,720 --> 00:03:35,400
Dat doe je door de link te maken naar de gebruikers.

40
00:03:35,400 --> 00:03:37,000
Voor wie doe ik het eigenlijk?

41
00:03:37,000 --> 00:03:40,700
En omdat daar heel veel antwoorden op kwamen van wie zijn mijn gebruikers,

42
00:03:40,700 --> 00:03:43,940
om me heen hebben we gezegd vanuit het projectteam

43
00:03:43,940 --> 00:03:46,200
van we willen eigenlijk een doelgroepenanalyse.

44
00:03:46,200 --> 00:03:50,800
Dus wie zijn de beoogde doelgroepen voor deze applicatie?

45
00:03:50,800 --> 00:03:53,800
En die analyse hebben we vrij uitgebreid gedaan.

46
00:03:53,800 --> 00:03:58,000
En daar zijn een stuk of negen hoofddoelgroepen uitgekomen.

47
00:03:58,100 --> 00:04:05,100
Denk aan de burgers, maar ook aan politiek-bestuurlijke partijen, maar ook aan de toezichthouders,

48
00:04:05,100 --> 00:04:10,500
een groep journalisten, een groep specialisten, een groep maatschappelijk betrokken organisaties.

49
00:04:10,500 --> 00:04:14,100
Dat is nogal een diverse groep aanbieden.

50
00:04:14,100 --> 00:04:16,500
Die burger had ik natuurlijk wel bedacht.

51
00:04:16,500 --> 00:04:23,100
De toezichthouder ook wel, maar die anderen die zaten niet direct op mijn radar inderdaad.

52
00:04:23,100 --> 00:04:27,700
Nee, ik kon nog wel even doorgaan, maar ik vind dit inderdaad, dat geeft wel een beetje gevoel van.

53
00:04:27,700 --> 00:04:30,700
En die doelgroepen overlappen natuurlijk ook voor een deel.

54
00:04:30,700 --> 00:04:35,200
En waar we dan heel erg naar kijken ook is, heeft het nog zin om het verder te gaan specificeren?

55
00:04:35,200 --> 00:04:40,200
Of zijn het eigenlijk eenzelfde soort gebruikers die eenzelfde soort informatiebehoeften hebben?

56
00:04:40,200 --> 00:04:46,000
Ja, en wat ik me dan gelijk afvraag is, bij die analyse is de informatiebehoefte bekeken,

57
00:04:46,000 --> 00:04:49,800
maar ook hoe mensen zich die informatie kunnen consumeren.

58
00:04:49,800 --> 00:04:52,600
Misschien dat de ander het andere consumeert dan de ander, is dat meegenomen?

59
00:04:52,600 --> 00:04:56,600
Zeker, zeker. Ja, even kijken.

60
00:04:56,600 --> 00:05:00,560
Ja, het gaat dan bijvoorbeeld om...

61
00:05:00,560 --> 00:05:05,320
Als je een algoritmeomschrijving hebt, dan zit daar best wel veel metadata achter, noemen we dat.

62
00:05:05,320 --> 00:05:09,320
Dus verschillende velden die omschrijven wat voor algoritme wij naar kijkt.

63
00:05:09,320 --> 00:05:12,840
Dus wat is het doel van dat algoritme? Wat is het inzet?

64
00:05:12,840 --> 00:05:16,200
Wat is het juridische kader? Wat is de wettelijke grondslag?

65
00:05:16,200 --> 00:05:19,280
En ga zomaar 35 termen door, zeg maar.

66
00:05:19,280 --> 00:05:21,440
Dus dat gaat heel erg over die informatie consumeren...

67
00:05:21,560 --> 00:05:27,760
En daarover zijn we heel erg nu aan het kauwen van hoe kun je dat nou behapbaar maken voor die verschillende groepen.

68
00:05:27,760 --> 00:05:34,920
En dat is eigenlijk gekoppeld aan wie zijn dan je doelgroepen vervolgens weer.

69
00:05:34,920 --> 00:05:40,640
En je kan het heel erg plat slaan door te zeggen je hebt burgers aan de ene kant, die praten niet zo technisch.

70
00:05:40,640 --> 00:05:44,320
En je hebt een specialist aan de andere kant en die weten waar ze het over hebben, zeg maar.

71
00:05:44,320 --> 00:05:44,920
Ja.

72
00:05:44,920 --> 00:05:46,440
Heel plat is dat.

73
00:05:47,520 --> 00:05:52,280
Nou, en ik was vooral getriggerd door jouw onderzoek juist bij die burgers.

74
00:05:52,280 --> 00:05:56,440
Dus ik denk dat de specialisten weten wel redelijk hun weg te vinden.

75
00:05:56,440 --> 00:06:01,160
Die kunnen misschien ook omgaan met wat moeilijkere termen.

76
00:06:01,160 --> 00:06:07,000
Je had een onderzoek, twee keer een gebruikersonderzoek gedaan met burgers, toch?

77
00:06:07,000 --> 00:06:14,600
Ja, zeker. Dat was in een fase van het onderzoek doen eigenlijk, waarin je je empathize,

78
00:06:14,600 --> 00:06:16,600
Je gaat je inleven in je gebruikers.

79
00:06:16,600 --> 00:06:19,600
Dus je wilt eigenlijk alles weten over een specifieke doelgroep.

80
00:06:19,600 --> 00:06:23,600
Dus uit die negen doelgroepen die ik net een soort van opzwomde, daarvan zeiden we van

81
00:06:23,600 --> 00:06:25,600
nou de burger, daar willen we mee beginnen.

82
00:06:25,600 --> 00:06:28,600
We hebben ook een aantal die we heel snel daarna willen.

83
00:06:28,600 --> 00:06:31,600
Dus maatschappelijke organisaties en de toezichthouder.

84
00:06:31,600 --> 00:06:35,600
Maar die burger, dat was er eentje waarvan we zeiden van nee, je moet in elk geval voor een burger

85
00:06:35,600 --> 00:06:38,600
een gebruiksvriendelijke duidelijke website hebben.

86
00:06:38,600 --> 00:06:40,600
Dus die moet aansluiten bij je burger.

87
00:06:40,600 --> 00:06:49,240
En dan ga je, als je gaat inleven in je gebruiker, dan ga je dus heel erg kijken naar welke behoeften

88
00:06:49,240 --> 00:06:52,880
heeft hij of zij, welke vragen heeft hij, wat is het kennisniveau.

89
00:06:52,880 --> 00:07:01,280
Even kijken, ja, hoe kan ik, ja, dus eigenlijk van wat speelt er bij die gebruiker, welk

90
00:07:01,280 --> 00:07:04,960
probleem zit daar, of welke vraag, zodat je kan aansluiten met je applicatie.

91
00:07:04,960 --> 00:07:06,960
En dan kan je dus gaan aanpassen daarnaar.

92
00:07:06,960 --> 00:07:09,960
En hoe ben je aan de burgers gekomen?

93
00:07:09,960 --> 00:07:14,960
Ja, daar hebben we over nagedacht. Wat is nou een goede locatie om mensen te gaan opzoeken?

94
00:07:14,960 --> 00:07:20,960
Je kan het heel groot aanpakken met een respondentenbureau en een groot UX-onderzoek opzetten, zeg maar.

95
00:07:20,960 --> 00:07:24,960
Dat kost heel veel tijd en heel veel geld, denk ik ook.

96
00:07:24,960 --> 00:07:28,960
En wij hebben gezegd van, nou, we willen eigenlijk gewoon informatie ophalen,

97
00:07:28,960 --> 00:07:32,960
want we weten nog heel weinig over de burger in relatie tot het algoritmeregister.

98
00:07:32,960 --> 00:07:34,960
Dus we gaan dat heel erg kwalitatief onderzoek doen.

99
00:07:34,960 --> 00:07:38,960
Dus dat is gewoon naar de mensen toe en daar naar ze luisteren.

100
00:07:38,960 --> 00:07:41,960
Vertel, wat weet jij over algoritmes?

101
00:07:41,960 --> 00:07:43,960
Weet jij eigenlijk wel wat een algoritme is?

102
00:07:43,960 --> 00:07:45,960
- Ja, en wat was het antwoord?

103
00:07:45,960 --> 00:07:47,960
- Nou, mensen weten dat lang niet altijd.

104
00:07:47,960 --> 00:07:50,960
En als ze het weten, zeggen ze ja, wat YouTube doet.

105
00:07:50,960 --> 00:07:52,960
En dat is eigenlijk wat iedereen ongeveer zegt.

106
00:07:52,960 --> 00:07:56,960
Dus ja, Facebook, YouTube, ik zit in een kanaal of ik zit in een tunnel, zeg maar.

107
00:07:56,960 --> 00:07:57,960
- Oh ja.

108
00:07:57,960 --> 00:08:01,960
- Maar we hebben dus dat gebruiksonderzoek gedacht van we willen de burger benaderen.

109
00:08:01,960 --> 00:08:08,960
En ons leek de bibliotheek een goede plek, want daar komen veel mensen van allerlei soorten herkomst.

110
00:08:08,960 --> 00:08:13,960
Die tijd hebben vaak, ze zijn niet gehaast, zoals op een centraal station ofzo.

111
00:08:13,960 --> 00:08:14,960
Ja, dat is leuk.

112
00:08:14,960 --> 00:08:21,960
Ja, en het was winter dus we willen ook gewoon binnen zijn en niet op straat mensen aanvragen.

113
00:08:21,960 --> 00:08:25,960
Ja, en daar hebben we dus mensen aangesproken eigenlijk.

114
00:08:25,960 --> 00:08:27,960
Heb je heel even de tijd?

115
00:08:27,960 --> 00:08:34,960
Wat waren de reacties op dat algoritme gisteren? Tenminste op de website. Je laat ze de website bekijken toch?

116
00:08:34,960 --> 00:08:41,560
Ja, we doen eerst gewoon even een praatje maken met mensen. Ze zijn toch vaak een beetje zenuwachtig.

117
00:08:41,560 --> 00:08:45,960
Of hebben het gevoel van, je gaat mij testen. Wat is mijn kennis over algoritmes?

118
00:08:45,960 --> 00:08:46,960
Ja, dat is een goede.

119
00:08:46,960 --> 00:08:51,360
Ja, dus dan wil je echt vooral zeggen van, we testen niet jou. We interviewen niet jou.

120
00:08:51,360 --> 00:08:54,960
Maar we zijn heel benieuwd naar hoe jij je verhoudt tot een onderwerp.

121
00:08:54,960 --> 00:08:56,960
In spreektaal.

122
00:08:56,960 --> 00:09:03,640
Ja, eigenlijk vinden ze het dan vervolgens heel erg leuk dat er 20 minuutjes of een half uur naar iemand geluisterd wordt.

123
00:09:03,640 --> 00:09:12,240
En als je iemand hebt die een beetje niet zo spraakzaam is, dan vraagt dat van mij als onderzoeker juist weer heel erg de skills van

124
00:09:12,240 --> 00:09:14,240
hoe krijg ik diegene wel aan het praten?

125
00:09:14,240 --> 00:09:16,240
Ja.

126
00:09:16,240 --> 00:09:22,520
Dan ga je een beetje vertellen of hum, of een beetje geluidjes maken of herhalen wat ze net zeiden, zeg maar.

127
00:09:22,520 --> 00:09:28,880
En zo probeer je van elke burger, van elke mens die je dan spreekt, informatie in haar voren te krijgen.

128
00:09:28,880 --> 00:09:32,880
Je vroeg naar wat ze dan reageren op het afgesloten gisteren.

129
00:09:32,880 --> 00:09:37,880
We doen het dan eerst gewoon praten, van waar sta je eigenlijk, hoe digivaardig ben je?

130
00:09:37,880 --> 00:09:39,880
Dat probeer je dan te achterhalen als onderzoeker.

131
00:09:39,880 --> 00:09:46,880
Maar ook, wat is je kennis van de politiek een beetje, van algoritmes, hoe technisch ben je?

132
00:09:46,880 --> 00:09:49,320
maar ook hoe wereldwijs. Nee, dat zeg ik niet goed.

133
00:09:49,320 --> 00:09:52,440
Hoe kritisch ben je op techniek eigenlijk?

134
00:09:52,440 --> 00:09:55,660
Hoe bewust ben je van de gevaren en zo?

135
00:09:55,660 --> 00:10:00,620
Ja, dus die dingen. Dan heb je een beetje contact gemaakt met iemand

136
00:10:00,620 --> 00:10:03,940
die heeft van alles verteld. En dan maak je op een gegeven moment de overstap naar

137
00:10:03,940 --> 00:10:06,940
"Ik heb een paar schermen voor je, zou je eens willen meekijken?"

138
00:10:06,940 --> 00:10:11,940
En dan zeg je van "Zou je eens alles wat je denkt hardop willen meedenken?"

139
00:10:11,940 --> 00:10:15,980
Dat vraagt wel wat van iemand, om hardop te denken.

140
00:10:16,000 --> 00:10:19,000
Want ook dan weer, zeg ik niet iets doms.

141
00:10:19,000 --> 00:10:26,000
En moeten ze dan zeggen wat ze zien, wat ze begrijpen?

142
00:10:26,000 --> 00:10:28,000
Ze zien zo'n scherm.

143
00:10:28,000 --> 00:10:31,000
Ja, dan zeg ik, nou vertel eens, waar kijk je naar?

144
00:10:31,000 --> 00:10:35,000
Dan zeggen ze, nou ik zie hier heel duidelijk een zoekbalk. Wat fijn is dat?

145
00:10:35,000 --> 00:10:36,000
Bijvoorbeeld.

146
00:10:36,000 --> 00:10:40,000
Of, ja ik vind het heel overzichtelijk, er staat niet heel veel.

147
00:10:40,000 --> 00:10:43,000
Ja, je laat ze echt hard op denken eigenlijk.

148
00:10:43,000 --> 00:10:47,000
En als ze dan niet echt iets zeggen, zeg je nou, vertel eens wat zie je.

149
00:10:47,000 --> 00:10:55,000
Wat me wel lastig lijkt, is omdat je de mensen heb je, nou ja, niet letterlijk van straat getrokken, maar...

150
00:10:55,000 --> 00:11:05,000
zij zijn op zich, ze zijn wel potentiële gebruikers, maar zijn niet misschien op dat moment per se op zoek naar een uitleg over een algoritme.

151
00:11:05,000 --> 00:11:09,000
Ja, daar heb je een heel goed punt, zeg maar.

152
00:11:09,000 --> 00:11:13,000
Dus dan heb je een, we hebben de zoekbalk en daar staat de tekst in.

153
00:11:13,000 --> 00:11:14,000
Waar ben je nou op zoek?

154
00:11:14,000 --> 00:11:18,000
En dan krijgen we dat ook wel terug van twee mensen van ja, maar ik ben niet op zoek naar iets.

155
00:11:18,000 --> 00:11:25,000
Dus wat een UX designer, wat vanuit mijn vakgebied zeg maar, moet je heel erg nadenken van op welk moment,

156
00:11:25,000 --> 00:11:30,000
uit welke situatie komt iemand in dit scherm terecht?

157
00:11:30,000 --> 00:11:36,000
En ja, dat is eigenlijk onderdeel van een grotere puzzel, waarbij we binnen het project bijvoorbeeld

158
00:11:36,000 --> 00:11:40,000
bijvoorbeeld, probeerde de verbanden te leggen naar...

159
00:11:40,000 --> 00:11:43,280
Eigenlijk is het scenario waarschijnlijk dat een burger...

160
00:11:43,280 --> 00:11:46,200
thuis een besluit krijgt van een bepaalde organisatie...

161
00:11:46,200 --> 00:11:48,200
en dat hij zich afvraagt of zij van...

162
00:11:48,200 --> 00:11:51,800
welke gegevens over mij zijn gebruikt om tot deze keuze te komen...

163
00:11:51,800 --> 00:11:53,760
of welke...

164
00:11:53,760 --> 00:11:58,400
Hoezo hebben ze mijn uitkering gekort, ik zeg maar iets.

165
00:11:58,400 --> 00:12:01,920
En hoe kom je dan op dat algoritmeregister terecht?

166
00:12:01,920 --> 00:12:04,200
Want dan heb je een hele specifieke vraag...

167
00:12:04,320 --> 00:12:08,120
naar die van de gemeente Rotterdam over, nou ja, ik weet niet wat.

168
00:12:08,120 --> 00:12:13,480
Dus die slag willen we heel graag maken, maar het gaat ook zo hard als het gaat.

169
00:12:13,480 --> 00:12:17,480
We hebben ook een specialist voor linked data,

170
00:12:17,480 --> 00:12:20,880
dus we proberen echt een link te leggen naar andere bronnen, zeg maar.

171
00:12:20,880 --> 00:12:25,200
Je hebt besluiten van overheid, je hebt regels met overheid.

172
00:12:25,200 --> 00:12:30,680
Je hebt heel veel sites, daar willen we naar linken en verbinding leggen.

173
00:12:31,760 --> 00:12:36,220
Ik heb echt duizenden en een vragen in mijn hoofd.

174
00:12:36,220 --> 00:12:38,220
We beginnen met nummer één.

175
00:12:38,220 --> 00:12:50,340
Waar ik benieuwd naar ben, de mensen die je geïnterviewd hebt, kwamen die ook uit een gemeente die al bijvoorbeeld in het algoritmeregister genoemd wordt?

176
00:12:50,340 --> 00:12:52,960
En kwamen ze die dan ook tegen?

177
00:12:52,960 --> 00:12:57,960
Nee, ja en nee.

178
00:12:57,960 --> 00:13:02,960
De gemeente Utrecht heeft zeker wel algoritmes in het algoritmeregister.

179
00:13:02,960 --> 00:13:05,960
Van de gemeente Den Haag, dat is erg, maar ik weet het niet uit mijn hoofd.

180
00:13:05,960 --> 00:13:09,960
Ik heb net gekeken, daar zit in ieder geval, nu zit daar wel wat voor.

181
00:13:09,960 --> 00:13:11,960
Hoeveel zijn dat er? Ik weet het niet.

182
00:13:11,960 --> 00:13:15,960
Oh nee, het was als nieuw toegevoegde zag ik hem staan, gemeente Den Haag.

183
00:13:15,960 --> 00:13:19,960
Ik had er straks nog even gekeken op het algoritmeregister.

184
00:13:19,960 --> 00:13:25,120
Het was niet voor het eerst trouwens hoor. - Nee, het is echt wel een goed initiatief dat het er is...

185
00:13:25,120 --> 00:13:27,640
en dat we daar steeds meer op kunnen vinden. - Zeker.

186
00:13:27,640 --> 00:13:32,000
En besef hebben van wat er al is en wat er al gebruikt wordt. Wat vaak denk ik ontbreekt ook.

187
00:13:32,000 --> 00:13:35,560
Ja, daar hoor ik graag na de uitzending meer over.

188
00:13:35,560 --> 00:13:38,240
Wat je daarvan allemaal dacht.

189
00:13:38,240 --> 00:13:43,680
De mensen die we aanspraken, die waren inderdaad niet op zoek.

190
00:13:43,680 --> 00:13:46,720
Dus die hadden ook niet zoiets van ik wil iets weten over mijn eigen gelieten.

191
00:13:46,720 --> 00:13:48,960
Dus daar is niet in het bijzonder op gezocht.

192
00:13:48,960 --> 00:13:52,400
Wat er wel bijvoorbeeld naar voren kwam, was iemand die zocht,

193
00:13:52,400 --> 00:13:54,960
ik wil dan weten of de belastingdienst erin staat.

194
00:13:54,960 --> 00:13:56,960
Dus die typt in de zoekbalk belastingdienst.

195
00:13:56,960 --> 00:13:57,960
Ja logisch.

196
00:13:57,960 --> 00:13:59,960
Ja, maar dan krijg je nul resultaten.

197
00:13:59,960 --> 00:14:01,960
Oh, spannend.

198
00:14:01,960 --> 00:14:04,960
De belastingdienst is daar wel mee bezig, ook om aan te sluiten in het algoritmeregister.

199
00:14:04,960 --> 00:14:08,960
Maar bijvoorbeeld de toeslagenafferen komen vanuit de dienst toeslagen.

200
00:14:08,960 --> 00:14:13,960
Dus dit vakgebied is ook zo dat je gaat zorgen dat dingen die voor een mens logisch zijn,

201
00:14:13,960 --> 00:14:20,960
Dat is een op een. Dat dat in de applicatie dan ook wordt gekoppeld aan elkaar.

202
00:14:20,960 --> 00:14:23,960
Dus ze stonden het ook echt in als dienst toeslagen?

203
00:14:23,960 --> 00:14:27,960
Ja, dat is namelijk gewoon de organisatie heet zo.

204
00:14:27,960 --> 00:14:29,960
O, zo ja, natuurlijk ja.

205
00:14:29,960 --> 00:14:34,960
De synonyme en dat soort zaken die zijn wel van belang om het gebruikersgemak daarin te vrogen.

206
00:14:34,960 --> 00:14:39,960
We hebben het in deze podcast ook nog wel eens over de toeslagenaffaire.

207
00:14:39,960 --> 00:14:43,040
Maar dan hebben we het inderdaad over de belastingdienst.

208
00:14:43,040 --> 00:14:44,040
Ja, inderdaad.

209
00:14:44,040 --> 00:14:47,920
Ja, dan weet je bij deze niet helemaal...

210
00:14:47,920 --> 00:14:48,920
Ja, correct.

211
00:14:48,920 --> 00:14:49,920
Rechtificatie.

212
00:14:49,920 --> 00:14:50,920
Ja, ja.

213
00:14:50,920 --> 00:14:55,400
Maar zo komen uit dat onderzoek dus wel heel veel communicatieve wensen.

214
00:14:55,400 --> 00:14:59,920
Dus ze hebben bepaalde inhoudelijke vragen die dan door de mens worden gesteld.

215
00:14:59,920 --> 00:15:02,280
Maar ook functionele wensen komen ervoor.

216
00:15:02,280 --> 00:15:06,040
Zoals die belastingdienst koppelen aan de dienst toeslagen.

217
00:15:06,040 --> 00:15:10,040
Ja, dat kan je dan met text bijvoorbeeld oplossen.

218
00:15:10,040 --> 00:15:18,240
Zo komen er wat mensen, gaven ook aan, twee mensen gaven aan van het zou mooi zijn als ik op mijn eigen regio kan zoeken.

219
00:15:18,240 --> 00:15:21,480
Of als ik kan kijken in mijn straat, wat speelt hier allemaal?

220
00:15:21,480 --> 00:15:26,400
Mooi inderdaad. Welke data wordt er gebruikt voor mijn regio?

221
00:15:26,400 --> 00:15:30,200
Wat voor algoritmes zitten daar weer die gebruik van maken van die data van mijn regio?

222
00:15:30,200 --> 00:15:32,200
Maakt je wel heel tastbaar inderdaad.

223
00:15:32,200 --> 00:15:36,800
Ja, en dat kan een mooie manier zijn om mensen te betrekken bij je applicatie.

224
00:15:36,800 --> 00:15:42,800
Zijn het allemaal AI-machine learning algoritmes die hierin genoemd worden?

225
00:15:42,800 --> 00:15:48,040
Nee, het zijn zelflerende algoritmes en regelgebaseerde algoritmes.

226
00:15:48,040 --> 00:15:49,440
Die ook? - Ja.

227
00:15:49,440 --> 00:15:52,320
O. - Maar ja, dus allebei die twee dingen.

228
00:15:52,320 --> 00:15:54,320
En combinaties daarvan. - O ja.

229
00:15:54,320 --> 00:15:59,880
Ja, dat maakt het natuurlijk voor mensen ook wel lastig om te begrijpen precies wat een algoritme is.

230
00:15:59,880 --> 00:16:04,040
Er wordt inderdaad al heel snel gedacht dat dat gaat over zelflerend.

231
00:16:04,040 --> 00:16:08,520
Maar ik denk dat er inderdaad een heel groot gedeelte niet zelflerend is.

232
00:16:08,520 --> 00:16:09,520
Klopt.

233
00:16:09,520 --> 00:16:14,240
En dat laat ook zien waar we als project ook nu mee bezig zijn.

234
00:16:14,240 --> 00:16:15,240
Wat is eigenlijk de scope?

235
00:16:15,240 --> 00:16:19,040
Welke type algoritmes zetten we wel en niet in het register?

236
00:16:19,040 --> 00:16:22,440
Gelukkig ga ik daar niet over als UX-onderzoeker.

237
00:16:22,440 --> 00:16:31,440
Impactvol of hebben ze invloed op een burger of is het ook voor bedrijven en semi-overheid.

238
00:16:31,440 --> 00:16:35,440
Dus ja, welk type algoritmes en wie zijn de bronhouder van die algoritmes?

239
00:16:35,440 --> 00:16:38,440
Dat soort vragen worden nu heel erg uitgepuzzeld.

240
00:16:38,440 --> 00:16:48,440
Ja, en er is best wel, want dit gaat natuurlijk ook over transparantie, het algoritmeregister.

241
00:16:48,440 --> 00:16:53,320
Welke, misschien is het duidelijke vraag waar je het antwoord niet op weet hoor,

242
00:16:53,320 --> 00:16:58,720
maar heb je een idee zeg maar over wat voor type transparantie we hier over hebben?

243
00:16:58,720 --> 00:17:04,680
Wordt het algoritme uitgelegd? Wordt er ook uitgelegd welke data er gebruikt wordt?

244
00:17:04,680 --> 00:17:06,880
Wordt er ook uitgelegd wat de uitkomsten zijn?

245
00:17:06,880 --> 00:17:13,320
Er zijn natuurlijk allerlei verschillende manieren waarop je kan zeggen, dit is transparant.

246
00:17:13,320 --> 00:17:18,320
Ja, dat klopt. In het projectteam zitten gewoon een boel specialisten.

247
00:17:18,320 --> 00:17:22,320
En er zit ook één iemand bij die echt alles weet over die metadata die geselecteerd wordt.

248
00:17:22,320 --> 00:17:26,320
Die metadata is ook aan verandering onderhevigd.

249
00:17:26,320 --> 00:17:29,320
Het wordt nog steeds bijgesteld en scherper neergezet.

250
00:17:29,320 --> 00:17:32,320
En velden gaan er af die toch niet zoveel toe doen bijvoorbeeld.

251
00:17:32,320 --> 00:17:34,320
De velden komen erbij.

252
00:17:34,320 --> 00:17:39,320
Transparantie zal denk ik eigenlijk voor elke gebruiker weer een andere betekenis hebben.

253
00:17:39,320 --> 00:17:41,320
Misschien is dat je antwoord.

254
00:17:41,320 --> 00:17:47,680
Maar inderdaad, elke algoritmeomschrijving heeft wel een veld voor echt van hoe wordt dit toegepast?

255
00:17:47,680 --> 00:17:52,400
Welke risico's zijn er hier? Is hier een mensenrechtentoets gedaan of niet?

256
00:17:52,400 --> 00:17:55,120
Wat is de wettelijke grondslag?

257
00:17:55,120 --> 00:18:00,480
Ja, dat zijn hele belangrijke karakteristieken, toch?

258
00:18:00,480 --> 00:18:04,240
Ja, welke data wordt gebruikt is zeker ook één van de bronnen.

259
00:18:04,240 --> 00:18:06,920
Ja, mooi. En ook waar de data dan vandaan komt?

260
00:18:06,920 --> 00:18:09,960
Ja, daar is ruimte voor om dat in te vullen.

261
00:18:09,960 --> 00:18:13,520
Maar wat dat betreft zie je ook wel dat het nog een heel erg algoritme, register...

262
00:18:13,520 --> 00:18:16,760
Of ja, hoe zeg je dat, dat veel van de omschrijvingen zijn ook nog echt in ontwikkeling...

263
00:18:16,760 --> 00:18:19,960
en niet alle velden zijn allemaal ingevuld, bijvoorbeeld.

264
00:18:19,960 --> 00:18:22,360
Nee, maar je moet ergens beginnen. - Ja.

265
00:18:22,360 --> 00:18:23,360
Ja.

266
00:18:23,360 --> 00:18:25,840
Ja, mooi initiatief. - Ja, zeker.

267
00:18:25,840 --> 00:18:28,160
Ik denk heel erg belangrijk dat die goed gevuld wordt...

268
00:18:28,160 --> 00:18:31,440
en dat die niet beperkt blijft met wie je hem gaat vullen...

269
00:18:31,440 --> 00:18:34,240
maar dat het eigenlijk belangrijk is dat er gewoon eigenlijk heel veel zaken...

270
00:18:34,240 --> 00:18:37,640
die de maatschappijen raken, erin komen te staan.

271
00:18:37,640 --> 00:18:41,640
Ja, inderdaad. En ook de vulling moet gewoon echt nog op mogen.

272
00:18:41,640 --> 00:18:46,240
We hebben nu 109 algoritmes en dat moet echt een heel stuk meer worden,

273
00:18:46,240 --> 00:18:48,240
zodat het nog meer meerwaarde gaat bieden.

274
00:18:48,240 --> 00:18:53,640
En wat misschien ook wel leuk is, is dat een aantal van de burgers die ik sprak,

275
00:18:53,640 --> 00:18:58,640
zeiden ook van, ja, ik wil niet per se als burger dat algoritmeregister gaan onderzoeken

276
00:18:58,640 --> 00:19:00,640
en gaan testen, want wat weet ik er nou van?

277
00:19:00,640 --> 00:19:05,640
Ik wil juist dat specialistische organisaties namens mij kritisch kijken naar

278
00:19:05,640 --> 00:19:08,120
maar hoe zit het met die transparantie?

279
00:19:08,120 --> 00:19:12,140
Je kan zeggen, daar ligt een rol voor de journalisten en voor de maatschappelijke organisaties...

280
00:19:12,140 --> 00:19:15,820
om namens de burger, zeg maar, heel kritisch te kijken...

281
00:19:15,820 --> 00:19:19,120
en dingen te kunnen vergelijken en aan de kaak te kunnen stellen.

282
00:19:19,120 --> 00:19:22,700
Dus dat is een mooie soort van secondaire bron.

283
00:19:22,700 --> 00:19:26,580
En stel, ik ben als burger, ik ga naar het register...

284
00:19:26,580 --> 00:19:31,420
en ik zie een algoritme die mij raakt, in welke hoedanigheid dan ook.

285
00:19:31,420 --> 00:19:34,700
Staat dan ook bij met wie ik contact op kan nemen...

286
00:19:34,720 --> 00:19:39,160
Als je ergens niet mee eens bent of misschien uitgesloten wil worden of een actie wil ondernemen.

287
00:19:39,160 --> 00:19:42,680
Ja, dat is leuk dat je het zegt met dat uitgesloten worden.

288
00:19:42,680 --> 00:19:45,080
Maar eerst wil ik antwoord geven op je vraag.

289
00:19:45,080 --> 00:19:49,620
Ja, bij elk algoritme staat wie de eigenaar is van dat algoritme,

290
00:19:49,620 --> 00:19:53,720
maar ook waar het algoritme vandaan komt, dus de producent van het algoritme.

291
00:19:53,720 --> 00:19:58,440
Dat is natuurlijk een stukje informatie, we zeggen dat, ICT, software.

292
00:19:58,440 --> 00:20:01,420
Maar er staat ook welke afdeling.

293
00:20:01,440 --> 00:20:07,280
Dus je kan op die manier de route vinden waar je kan klagen.

294
00:20:07,280 --> 00:20:09,220
Of kan vragen. - In ieder geval vragen.

295
00:20:09,220 --> 00:20:11,400
Kan een loket hebben waar je terecht kan.

296
00:20:11,400 --> 00:20:13,860
Het hoeft niet alleen om te klagen. - Het kan ook positief zijn, toch?

297
00:20:13,860 --> 00:20:18,280
Ja, ik ben heel blij met mijn... Nee, dat kan ook zeker.

298
00:20:18,280 --> 00:20:23,080
Dat was uitsluit. - Ja, het uitsluit.

299
00:20:23,080 --> 00:20:26,560
Wat heel leuk was vanuit die burgers, was dat redelijk veel mensen zeiden...

300
00:20:26,560 --> 00:20:30,840
"Oh, groet maar gister. Oh, net zoiets als het Belmen niet registeren."

301
00:20:30,860 --> 00:20:33,600
Dat is echt een begrip geworden.

302
00:20:33,600 --> 00:20:37,220
Omdat ik denk dat het voor heel veel mensen irritant is en speelt.

303
00:20:37,220 --> 00:20:38,940
Dus dan denk je, nou dat ga ik gebruiken.

304
00:20:38,940 --> 00:20:42,400
En vervolgens word je nog steeds wel eens gebeld door bepaalde organisaties.

305
00:20:42,400 --> 00:20:46,520
Want er zitten allemaal natuurlijk, hoe zeg je dat, halletjes onder het gras.

306
00:20:46,520 --> 00:20:49,480
Als je ergens op bel op reageert, mag je weer gebeld worden enzo.

307
00:20:49,480 --> 00:20:53,040
Maar die koppeling naar het Belmen niet-register is wel mooi,

308
00:20:53,040 --> 00:20:58,720
omdat het aangeeft van die burger die wil echt op zijn eigen persoon zeg maar,

309
00:20:58,720 --> 00:21:07,720
invloed hebben op de besluiten die over hem worden genomen of op de algoritmes die op hem worden losgelaten.

310
00:21:07,720 --> 00:21:20,320
Ja, dus wat mensen verwachten, een aantal mensen die ik sprak verwachten dat je hier, je kan inloggen met je DGD en dat je dan kan zeggen

311
00:21:20,320 --> 00:21:22,600
Ik wil niet meer gevolgd worden door de overheid.

312
00:21:22,600 --> 00:21:29,720
Of ik wil niet meer dat de parkeeralgorithmes mij volgen.

313
00:21:29,720 --> 00:21:30,720
Ja.

314
00:21:30,720 --> 00:21:32,320
Ja.

315
00:21:32,320 --> 00:21:35,720
Aan de ene kant eigenlijk wel logisch die associatie.

316
00:21:35,720 --> 00:21:38,520
Ja, de ene register, andere register.

317
00:21:38,520 --> 00:21:40,720
Ik had het zelf niet gelegd, maar nu je het zo zegt eigenlijk.

318
00:21:40,720 --> 00:21:45,120
En ook wel weer logisch, want je wil enigszins invloed hebben op wat gebeurt met mijn data.

319
00:21:45,120 --> 00:21:48,800
En daar iets over willen kunnen zeggen, of je daar recht bij hebt of niet.

320
00:21:48,800 --> 00:21:49,800
Dus een tweede.

321
00:21:49,800 --> 00:21:52,960
Maar daar wil je wel invloed op kunnen hebben inderdaad.

322
00:21:52,960 --> 00:21:54,180
Ja, mooi.

323
00:21:54,180 --> 00:21:54,900
Ja.

324
00:21:54,900 --> 00:21:58,980
Nou Roos, ik denk dat we heel veel geleerd hebben over het algoritmeregister.

325
00:21:58,980 --> 00:22:02,800
Zeker, wat ik zo mooi vind, is dat...

326
00:22:02,800 --> 00:22:07,440
Wij maken bijvoorbeeld dit soort type modellen.

327
00:22:07,440 --> 00:22:09,160
Maar er zit heel veel omheen.

328
00:22:09,160 --> 00:22:12,960
En juist de transparantie is zo belangrijk.

329
00:22:12,960 --> 00:22:15,440
En ik denk dat dit een grote bijdrage kan leveren.

330
00:22:15,720 --> 00:22:23,320
Maar ook hier weer, wat jij doet, een heel belangrijk onderzoek van hoe is het gebruik daarvan?

331
00:22:23,320 --> 00:22:28,760
En kunnen mensen ook daadwerkelijk wat je aanbiedt, kunnen ze dat ook vinden, begrijpen, benutten?

332
00:22:28,760 --> 00:22:31,240
Mooi inzicht. - Ja, zeker weten.

333
00:22:31,240 --> 00:22:33,240
Dank je wel. - Ja, graag gedaan.

334
00:22:33,240 --> 00:22:40,360
Leuk dat je weer luisterde naar een aflevering van EETD Live.

335
00:22:40,360 --> 00:22:44,360
Dankjewel Roos dat je te gast was bij ons.

336
00:22:44,360 --> 00:22:46,360
Mis geen aflevering.

337
00:22:46,360 --> 00:22:49,360
Abonneer je via je favoriete podcast app.

338
00:22:49,360 --> 00:22:51,360
En tot de volgende keer.

339
00:22:51,360 --> 00:22:53,360
TV Gelderland 2021