1
00:00:01,980 --> 00:00:05,440
Hoi, welkom bij een nieuwe aflevering van AIToday Live, de korte aflevering.

2
00:00:05,760 --> 00:00:10,700
En vandaag wil ik een technische term met je bespreken die belangrijk is voor het ontwikkelen en beheren van AI agents.

3
00:00:12,060 --> 00:00:13,820
En die term is observability.

4
00:00:14,460 --> 00:00:17,980
En in het Nederlands zou je het observeerbaarheid kunnen noemen.

5
00:00:18,260 --> 00:00:19,680
Een woord dat je niet zo vaak hoort.

6
00:00:20,040 --> 00:00:24,900
En het staat simpelweg voor dat je kunt zien wat je AI agent doet.

7
00:00:25,020 --> 00:00:27,920
Dus je kunt observeren wat er gebeurt.

8
00:00:29,320 --> 00:00:32,259
observability is wat anders dan monitoring.

9
00:00:33,000 --> 00:00:36,460
Veel mensen halen dit door elkaar, dus laat me even het verschil uitleggen.

10
00:00:38,100 --> 00:00:42,180
Stel je voor dat je 's nachts op de snelweg rijdt met een blinddoek op.

11
00:00:42,920 --> 00:00:47,400
Dat is wat kan gebeuren als je AI agents inzet zonder observability.

12
00:00:48,700 --> 00:00:53,920
Je kan dan niet zien wat er gebeurt, waarom beslissingen worden genomen of waar het misgaat.

13
00:00:54,540 --> 00:00:57,740
En monitoring, dat is eigenlijk meer als een brandmelder thuis.

14
00:00:58,140 --> 00:00:59,580
Die gaat af wanneer er rook is.

15
00:01:00,840 --> 00:01:04,339
Observability daarentegen is als een complete bewakingscamera.

16
00:01:04,580 --> 00:01:09,420
Met warmtebeeld, rookdetector en een systeem dat je vertelt waar de brand ontstond.

17
00:01:09,520 --> 00:01:12,280
Hoe die zich verspreidt en wat je moet doen om hem te blussen.

18
00:01:13,260 --> 00:01:16,180
En voor AI agent is dit een wezenlijk verschil.

19
00:01:18,600 --> 00:01:24,520
Stel je hebt een AI klantenservice agent en die geeft plotseling verkeerde productinformatie.

20
00:01:25,220 --> 00:01:28,420
Traditionele monitoring ziet alleen er komen klachten binnen.

21
00:01:29,080 --> 00:01:34,900
Maar observability toont je de complete keten van de vraag van de klant via het redeneerproces van de AI,

22
00:01:35,410 --> 00:01:38,860
de database die oude informatie opleverde tot het foute antwoord.

23
00:01:39,280 --> 00:01:48,360
Dus je ziet niet alleen dat het misging, maar ook welke dataset verouderd was en waarom de agent juist die dataset dan koos.

24
00:01:49,600 --> 00:01:57,540
Om goed te begrijpen waarom het observeren van AI agents zo belangrijk is, moet ik eerst toch weer gewoon even uitleggen hoe AI agents werken.

25
00:01:58,860 --> 00:02:03,540
Het hart van de AI agents waar we het tegenwoordig over hebben bestaat uit een taalmodel.

26
00:02:04,040 --> 00:02:07,280
Dezelfde modellen die gebruikt worden door ChatGPT of Cloth.

27
00:02:08,000 --> 00:02:13,380
En met een prompt kun je de agent een opdracht geven die complexer is dan het beantwoorden van een vraag.

28
00:02:14,020 --> 00:02:21,000
En je geeft de agent een doel, maar ook gereedschappen, tools, die de agent kan gebruiken om dat doel te halen.

29
00:02:22,120 --> 00:02:27,780
Een taalmodel kan namelijk zelf niet op het internet browsen of gegevens, bijvoorbeeld uit een database halen.

30
00:02:28,180 --> 00:02:31,200
Hiervoor heeft het model dus gereedschappen nodig en die geef je mee.

31
00:02:31,820 --> 00:02:35,120
Wat de agent dan doet is een plan maken om het doel te bereiken.

32
00:02:35,840 --> 00:02:42,920
Het bepaalt welke tools in welke volgorde aangeroepen moeten worden en welke gegevens er aan die gereedschappen wordt meegegeven.

33
00:02:43,840 --> 00:02:47,660
En met de prompt die je aan de AI agent geeft, heb je hier wat invloed op.

34
00:02:47,950 --> 00:02:53,860
Maar de kracht zit juist in dat de agent vrijheid heeft om zelf de volgorde en die gegevens te bepalen.

35
00:02:54,700 --> 00:02:58,020
Anders kun je net zo goed een workflow maken met een vaste volgorde van stappen.

36
00:02:58,260 --> 00:03:01,780
Met voorop gedefinieerde data hoe die dat moet gebruiken.

37
00:03:02,420 --> 00:03:06,600
Dus de agent bepaalt dus welke gereedschappen, volgorde en data.

38
00:03:07,560 --> 00:03:10,400
En als de agent in productie niet doet wat je verwacht.

39
00:03:10,700 --> 00:03:14,300
Dan is het wel belangrijk dat je juist die elementen moet kunnen terugvinden.

40
00:03:14,900 --> 00:03:19,620
Wat was de invoer? Wat was het plan? Welke gereedschappen zijn en welke volgen er uitgevoerd?

41
00:03:19,960 --> 00:03:21,400
En welke data is meegegeven?

42
00:03:22,540 --> 00:03:28,160
Laat me een concreet voorbeeld geven van een AI agent die we hebben gebouwd voor juist onze podcast.

43
00:03:29,240 --> 00:03:32,360
We hebben een agent gemaakt die automatisch nieuwe gasten zoekt.

44
00:03:32,780 --> 00:03:36,000
We krijgen echt wel goede gasten aanbevolen en aangedragen.

45
00:03:36,360 --> 00:03:40,000
Maar een agent is voor ons een mooie manier om buiten ons netwerk juist te zoeken.

46
00:03:40,760 --> 00:03:44,280
Buiten wat ik zelf over al deze technologie lees.

47
00:03:45,040 --> 00:03:48,100
Deze, wat we dan noemen, moet natuurlijk in het Engels zijn,

48
00:03:48,210 --> 00:03:50,460
guest search agent, die werkt in fases.

49
00:03:51,100 --> 00:03:54,320
En in de eerste fase maakt de agent een zoekstrategie.

50
00:03:54,820 --> 00:04:00,200
Het taalmodel analyseert wat er deze week actueel is in de Nederlandse AI wereld

51
00:04:00,510 --> 00:04:03,420
en bedenkt welke onderwerpen en sectoren belangrijk zijn.

52
00:04:04,140 --> 00:04:07,260
En net als een onderzoeker die eerst nadenkt over waar hij moet gaan zoeken,

53
00:04:07,440 --> 00:04:10,100
maakt de agent een lijst van slimme zoekopdrachten.

54
00:04:11,460 --> 00:04:15,180
De agent gebruikt ook nog eens kennis uit eerdere zoeksessies.

55
00:04:15,440 --> 00:04:18,540
Het bekijkt welke zoekopdrachten en bronnen voorheen succesvol waren

56
00:04:18,739 --> 00:04:20,560
en past daar de strategie op aan.

57
00:04:21,280 --> 00:04:25,640
De agent krijgt de opdracht om na te denken over welke bronnen relevant zijn,

58
00:04:25,800 --> 00:04:30,020
vakmedia, universiteiten, conferenties en welke onderwerpen aandacht verdienen,

59
00:04:30,120 --> 00:04:33,480
zoals bijvoorbeeld AI-wetgeving, ethiek, verzin het.

60
00:04:34,340 --> 00:04:37,560
En in de tweede fase gaat die agent daadwerkelijk op zoek.

61
00:04:37,780 --> 00:04:43,940
Dus het taalmodel voert de zoekopdrachten één voor één uit met behulp van de gereedschappen die het kan aanroepen.

62
00:04:44,900 --> 00:04:52,080
De agent heeft bijvoorbeeld een zoekgereedschap om het web te zoeken en een ander gereedschap om complete webpagina's op te halen.

63
00:04:52,700 --> 00:04:55,320
En tijdens het zoeken past de agent zijn strategie aan.

64
00:04:55,860 --> 00:05:00,520
Dus wanneer bepaalde zoekrichtingen succesvol blijken, onderzoekt het meer variaties daarop.

65
00:05:00,960 --> 00:05:03,200
Minder productieve paden worden overgeslagen.

66
00:05:03,840 --> 00:05:08,720
Dus wanneer de agent interessante resultaten vindt, zoals een congresprogramma of een persbericht,

67
00:05:09,140 --> 00:05:13,180
gebruikt het het gereedschap om de volledige inhoud van die pagina dus dan op te halen.

68
00:05:13,580 --> 00:05:17,340
En zo vindt het dan concrete namen van sprekers, onderzoekers of professionals.

69
00:05:18,420 --> 00:05:23,820
En voor elk gevonden persoon controleert de agent eerst of deze persoon niet al recent is aangeboden aan me.

70
00:05:24,260 --> 00:05:27,980
En als alles klopt, slaat het de kandidaat op met alle relevante informatie.

71
00:05:28,260 --> 00:05:32,939
Na afloop reflecteert de agent ook nog eens een keer op de zoeksessie

72
00:05:33,080 --> 00:05:36,180
en documenteert wat goed werkte voor toekomstige zoekopdrachten.

73
00:05:36,860 --> 00:05:40,320
Dus de agent blijft zoeken totdat het genoeg geschikte kandidaat heeft gevonden.

74
00:05:41,140 --> 00:05:45,120
Je ziet dat er behoorlijk wat autonomie gegeven wordt aan deze agent.

75
00:05:45,470 --> 00:05:52,000
En het observeren van wat hij doet, welke volgorde, welke data, welke zoekacties er worden uitgevoerd,

76
00:05:52,040 --> 00:05:57,960
is dan geen overbodige luxe om na te kijken of de agent ook werkt zoals we dat willen

77
00:05:58,270 --> 00:06:00,360
en of er geen fouten ontstaan.

78
00:06:01,960 --> 00:06:05,660
Voor deze agent heb ik het product Ortkey geprobeerd.

79
00:06:05,830 --> 00:06:07,520
Voor de observability.

80
00:06:07,720 --> 00:06:09,440
Gewoon om uit te zoeken hoe goed het werkt.

81
00:06:10,080 --> 00:06:11,380
Een linkje staat in de show notes.

82
00:06:11,610 --> 00:06:13,000
Maar dat even terzijde.

83
00:06:14,540 --> 00:06:15,980
Kijk de grote vraag is nu natuurlijk.

84
00:06:16,660 --> 00:06:18,780
Ja maar hoe zorg je dat jouw agent.

85
00:06:18,940 --> 00:06:20,200
Als jij agents gaat bouwen.

86
00:06:20,540 --> 00:06:22,360
Dat die ook observability krijgt.

87
00:06:23,400 --> 00:06:24,760
Wanneer je kiest voor maatwerk.

88
00:06:25,820 --> 00:06:27,620
Het klinkt misschien wat tegenstrijdig.

89
00:06:27,620 --> 00:06:28,980
Maar dat is eigenlijk het meest eenvoudige.

90
00:06:29,580 --> 00:06:31,360
Want bij maatwerk bouw je alles.

91
00:06:31,660 --> 00:06:32,580
Dan ontwerp je alles zelf.

92
00:06:33,540 --> 00:06:36,220
En voor de observability van AI agents.

93
00:06:36,480 --> 00:06:37,840
En het aanroepen van die taalmodellen.

94
00:06:37,980 --> 00:06:39,500
Zijn er echt gewoon allerlei standaard.

95
00:06:40,320 --> 00:06:40,720
Programmeerbibliotheken.

96
00:06:42,080 --> 00:06:43,220
Cloudprofiders zijn beschikbaar.

97
00:06:43,820 --> 00:06:45,980
En die zijn eigenlijk best wel heel eenvoudig te gebruiken.

98
00:06:46,420 --> 00:06:48,440
Dus je programmeert dat dan zelf erbij.

99
00:06:49,380 --> 00:06:50,860
Waar je dan wel even op moet letten.

100
00:06:51,320 --> 00:06:53,360
Is dat als je een cloudproduct gebruikt.

101
00:06:53,360 --> 00:06:55,020
Is dat er dus ook alle data.

102
00:06:55,400 --> 00:06:57,900
Die wordt dus ook naar die cloudprovider gestuurd.

103
00:06:58,000 --> 00:06:58,860
Dus alle input.

104
00:06:59,140 --> 00:07:00,640
Alles wat hij gevonden heeft.

105
00:07:02,580 --> 00:07:03,540
eventuele bedrijfsgegevens

106
00:07:03,640 --> 00:07:04,840
gaat er ook allemaal naartoe

107
00:07:04,900 --> 00:07:07,300
met alle vraagstukken rondom data delen van dienen

108
00:07:08,979 --> 00:07:10,300
maar gebruik je bijvoorbeeld

109
00:07:10,620 --> 00:07:11,320
Copilot Studio

110
00:07:11,600 --> 00:07:12,960
voor het maken van AI agents

111
00:07:13,200 --> 00:07:14,620
dan biedt bijvoorbeeld Microsoft

112
00:07:14,860 --> 00:07:16,580
die noemt het dan activiteitenkaarten

113
00:07:17,040 --> 00:07:19,560
ik moet je eerlijk zeggen dat ik dit nog niet heb uitgeprobeerd

114
00:07:19,560 --> 00:07:21,300
en niet kan aangeven hoe goed het werkt

115
00:07:21,740 --> 00:07:23,160
maar de documentatie beschrijft wel

116
00:07:23,180 --> 00:07:26,080
dat je automatisch agent sessies kunt volgen

117
00:07:27,360 --> 00:07:28,400
NETN ken je misschien

118
00:07:28,700 --> 00:07:30,039
is een populair platform

119
00:07:30,060 --> 00:07:31,660
waar je AI agents in kunt bouwen.

120
00:07:32,260 --> 00:07:35,440
Kijk, zij hebben op dit moment geen standaard optie voor observability.

121
00:07:36,000 --> 00:07:38,700
Ik verwacht dat dat wel gaat komen, want op dit moment is het er nog niet.

122
00:07:39,520 --> 00:07:42,060
En ja, eerlijk gezegd voor persoonlijke workflows

123
00:07:42,500 --> 00:07:44,960
of persoonlijke agents is dat niet zo erg.

124
00:07:45,540 --> 00:07:49,240
Maar als je de agents wil gaan inzetten in bedrijfskritische processen

125
00:07:49,360 --> 00:07:52,140
en in grotere volumes, dan wordt het toch wel lastig.

126
00:07:52,800 --> 00:07:55,500
Ik zie wel dat de community zelf wat tools heeft gebouwd,

127
00:07:55,900 --> 00:07:58,160
maar ik kan nu moeilijk beoordelen hoe goed die zijn.

128
00:07:59,160 --> 00:08:06,580
Wat daar wel duidelijk bij is, is je hebt behoorlijk wat technische kennis nodig om die tools dan te integreren in NITN.

129
00:08:09,080 --> 00:08:18,700
Wat wel mooi is, als je de producten gebruikt van de leveranciers die observability aanbieden, dan heb je ook nog een aantal bijkomende voordelen.

130
00:08:19,060 --> 00:08:23,440
Ze houden namelijk vaak ook bij hoe lang bijvoorbeeld iedere stap van de agent duurt.

131
00:08:24,140 --> 00:08:27,000
En dit kan je dan gebruiken om de performance in de gaten te houden.

132
00:08:28,640 --> 00:08:31,400
Je ziet ook de kosten van wat de agents verbruiken.

133
00:08:31,979 --> 00:08:34,099
Foutmeldingen van de gereedschappen worden gelogd.

134
00:08:34,640 --> 00:08:37,520
En afhankelijk van het product dat je gebruikt nog veel meer.

135
00:08:37,919 --> 00:08:40,060
Dus dat zijn echt wel fijne bijkomstigheden.

136
00:08:42,140 --> 00:08:44,940
Wat ik nog wil toevoegen is dit.

137
00:08:46,580 --> 00:08:48,640
AI governance is natuurlijk ook belangrijk.

138
00:08:48,840 --> 00:08:50,140
Er wordt ook veel over gesproken.

139
00:08:50,540 --> 00:08:53,560
En observability is best wel een belangrijk element.

140
00:08:54,140 --> 00:08:57,300
Waardoor je een vorm, een deel van die AI governance.

141
00:08:57,390 --> 00:08:59,080
In ieder geval daar invulling aan kan geven.

142
00:08:59,580 --> 00:09:01,640
Want het maakt namelijk, zoals we gezien hebben.

143
00:09:03,020 --> 00:09:04,580
Zichtbaar wat agents doen.

144
00:09:04,790 --> 00:09:06,960
En daarmee kunnen we dus ook controleren.

145
00:09:07,180 --> 00:09:10,240
Of ze zich aan het beleid en de regels houden.

146
00:09:10,340 --> 00:09:12,780
Die je hebt voorgesteld of ingesteld.

147
00:09:13,820 --> 00:09:17,120
Want zonder de gedetailleerde logs of monitoring.

148
00:09:17,380 --> 00:09:21,580
Kun je toch heel slecht verifiëren of een agent binnen de vastgestelde grenzen opereert.

149
00:09:22,720 --> 00:09:25,800
Daarmee levert het ook bewijs voor audits als je het goed inzet.

150
00:09:26,160 --> 00:09:30,040
Elke beslissing en elke actie van de agent is gedocumenteerd en traceerbaar.

151
00:09:30,660 --> 00:09:33,260
En bij incidenten kun je dus precies achterhalen wat de fout ging.

152
00:09:33,820 --> 00:09:36,400
En of dit mogelijk zelfs een beleidsovertreding is.

153
00:09:37,240 --> 00:09:42,720
Dus observability transformeert governance van we hopen dat de agent zich aan de regels houdt.

154
00:09:43,060 --> 00:09:46,520
Naar we kunnen aantonen dat de agent zich aan de regels houdt.

155
00:09:47,980 --> 00:09:49,980
Vandaag hebben we het gehad over die observability.

156
00:09:50,680 --> 00:09:57,640
En ook het verschil met de monitoring en waarom het belangrijk is voor het begrijpen van wat je agent doet en hoe je het kunt implementeren.

157
00:09:57,990 --> 00:10:02,340
En of je nou kiest voor maatwerk of bestaande platforms zoals Copilot Studio of n8n.

158
00:10:02,880 --> 00:10:07,660
Zorg dat je vanaf het begin nadenkt over hoe je je agents observeerbaar maakt.

159
00:10:08,050 --> 00:10:12,640
Want zonder observability rijd je blind op de digitale snelweg zou ik zeggen.

160
00:10:14,120 --> 00:10:18,940
En bedenk zoals altijd, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.

161
00:10:20,760 --> 00:10:21,900
dankjewel weer voor het luisteren

162
00:10:22,260 --> 00:10:24,540
vergeet je niet te abonneren via je favoriete podcast app

163
00:10:24,920 --> 00:10:25,820
mis je geen aflevering

164
00:10:25,920 --> 00:10:26,540
tot de volgende keer

165
00:10:55,640 --> 00:10:55,660
[Muziek]