S05E21 - Shorts - Geloof en scepsis in AI

In deze aflevering van AI Today Live Shorts gaan we dieper in op het urgente probleem van een te groot vertrouwen in AI en de mogelijke gevolgen van een misplaatst vertrouwen in de resultaten ervan. 

We bespreken de twee contrasterende kanten van het AI-spectrum, waar sommige individuen het opwindend vinden, terwijl anderen overdreven vertrouwen in de resultaten ervan tonen. 

Op basis van een recent literatuuronderzoek uitgevoerd door Microsoft over overdreven vertrouwen in AI, onderzoeken we praktijkvoorbeelden, waaronder een zaak van een New Yorkse advocaat die voor uitdagingen stond toen hij voor juridische verdediging op ChatGPT, een AI-model, vertrouwde. 

We benadrukken hoe belangrijk het is om te begrijpen hoe AI-modellen werken, de aanwezigheid van willekeur in hun output en de noodzaak van kritische evaluatie van hun aanbevelingen. Met deze aflevering willen we het bewustzijn vergroten over de risico's die gepaard gaan met een onvoorwaardelijk vertrouwen in AI en het belang benadrukken van AI-geletterdheid bij het effectief en verantwoord gebruiken van deze technologie. Doe met ons mee voor een tot nadenken stemmende discussie over de complexiteit van AI en de implicaties ervan in de wereld van vandaag.

Links

• Literatuuronderzoek Overreliance on AI - https://www.microsoft.com/en-us/research/uploads/prod/2022/06/Aether-Overreliance-on-AI-Review-Final-6.21.22.pdf

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

Copy Transcript Copied

1
00:00:00,000 --> 00:00:07,880
Dit is een nieuwe aflevering van de AIToday Live Shorts over de actualiteit in de AI.

2
00:00:07,880 --> 00:00:10,040
Nou, wat is er deze week gebeurd?

3
00:00:10,040 --> 00:00:16,600
Dit gaat deze week over overdreven vertrouwen in de resultaten van AI.

4
00:00:16,600 --> 00:00:20,960
Er zijn twee kanten in het spectrum bij het gebruik van AI.

5
00:00:20,960 --> 00:00:24,400
Aan de ene kant heb je mensen die het echt heel spannend vinden.

6
00:00:24,400 --> 00:00:26,840
Wat doet de AI?

7
00:00:26,840 --> 00:00:28,480
Kan ik erop vertrouwen?

8
00:00:28,480 --> 00:00:34,560
Is het wel bruikbaar wat uit een model komt?

9
00:00:34,560 --> 00:00:41,640
En aan de andere kant van het spectrum blijkt dat er mensen zijn die overdreven vertrouwen

10
00:00:41,640 --> 00:00:43,920
stellen in de uitkomsten van AI.

11
00:00:43,920 --> 00:00:47,120
En er is een heel mooi onderzoek uitgekomen van Microsoft.

12
00:00:47,120 --> 00:00:54,520
Die heeft een literatuuronderzoek gedaan naar overdreven vertrouwen in AI.

13
00:00:54,520 --> 00:00:56,080
Over reliance on AI.

14
00:00:56,080 --> 00:00:57,080
Een literatuuronderzoek.

15
00:00:57,080 --> 00:00:59,720
Ik zal het in een linkje opnemen in de show notes.

16
00:00:59,720 --> 00:01:05,200
En een prachtig voorbeeld deze week, nou ja prachtig, in ieder geval een heel sprekend

17
00:01:05,200 --> 00:01:11,200
voorbeeld deze week is een advocaat in New York geweest die een verweer indiende bij

18
00:01:11,200 --> 00:01:14,840
een letselschadezaak waarbij hij gebruik maakte van Chet GPT.

19
00:01:14,840 --> 00:01:18,160
En dat ging niet zo heel erg goed.

20
00:01:18,160 --> 00:01:24,800
Om goed te begrijpen wat Chet GPT is, is uiteindelijk een voorspellend model dat woord voor woord,

21
00:01:24,800 --> 00:01:29,040
eigenlijk token voor token, zaken voorspeld en er zit een mate van willekeur in.

22
00:01:29,040 --> 00:01:37,040
Als je een verweerschrijft met je JGPT en je laat hem ook zoeken,

23
00:01:37,040 --> 00:01:39,800
of tenminste schrijven naar jurisprudentie,

24
00:01:39,800 --> 00:01:44,800
ja dan is de jurisprudentie die hij geeft, hoeft natuurlijk niet correct te zijn.

25
00:01:44,800 --> 00:01:49,560
Sterker nog, de kans dat het niet correct is, is vele malen groter dan wel correct.

26
00:01:49,560 --> 00:01:58,760
En nou zou je denken van, ja maar misschien deze advocaat, rookie, groentje, als je dit

27
00:01:58,760 --> 00:02:00,240
weet dan doe je dat niet.

28
00:02:00,240 --> 00:02:05,920
Nou het blijkt dat toch wel heel veel mensen nog steeds niet zich er bewust genoeg van

29
00:02:05,920 --> 00:02:08,600
zijn hoe uiteindelijk zo'n model werkt.

30
00:02:08,600 --> 00:02:12,320
Woord voor woord, willekeur en wat er uitgespugd wordt.

31
00:02:12,320 --> 00:02:14,720
Dat dat niet feitelijk juist hoeft te zijn.

32
00:02:14,720 --> 00:02:22,480
Deze meneer, zeer ervaren advocaat, 30 jaar ervaring, heeft het wel gedaan.

33
00:02:22,480 --> 00:02:28,560
Dus heeft jurisprudentie laten schrijven, dus eigenlijk een soort van linkjes naar andere

34
00:02:28,560 --> 00:02:29,880
zaken die hierop leken.

35
00:02:29,880 --> 00:02:37,160
Ook opgestuurd, ingediend en wat bleek dat de tegenpartij had dat uit zitten zoeken en

36
00:02:37,160 --> 00:02:40,240
die kwamen allerlei zaken tegen die helemaal niet bestonden uiteraard.

37
00:02:40,240 --> 00:02:50,480
Nou, de advocaat werd op zijn vingers getikt en gaf ook nog ter verweer aan, daar zijn

38
00:02:50,480 --> 00:02:56,160
schermafbeeldingen van, dat hij namelijk ook, blijkbaar had hij toch wel iets van een vermoeden

39
00:02:56,160 --> 00:02:58,680
van ja, ik moet dit wel even navragen.

40
00:02:58,680 --> 00:03:00,560
Maar hij vroeg het dus ook aan Chet Jipiti.

41
00:03:00,560 --> 00:03:05,680
Dus hij heeft aan Chet Jipiti gevraagd, zijn dit echte cases, bestaan deze?

42
00:03:05,680 --> 00:03:09,240
Waarbij de keurig werd geantwoord, ja hoor, dit zijn bestaande cases.

43
00:03:09,240 --> 00:03:11,240
En vervolgens heeft hij die ingediend.

44
00:03:11,240 --> 00:03:15,600
Het is natuurlijk bijzonder treurig als dit je advocaat zou moeten zijn.

45
00:03:15,600 --> 00:03:20,720
Maar denk eens even zelf naar waar je teksten laat schrijven.

46
00:03:20,720 --> 00:03:26,400
En dat je echt heel goed controleert of het juist is wat er geschreven wordt.

47
00:03:26,400 --> 00:03:34,280
Dus in dit geval ja, een stevige tik op de vingers voor de advocaat.

48
00:03:34,280 --> 00:03:40,560
Maar het blijkt dus echt dat het een probleem is dat mensen overdreven vertrouwen kunnen

49
00:03:40,560 --> 00:03:43,760
stellen aan de uitkomsten van AI.

50
00:03:43,760 --> 00:03:49,120
Hoe kan dat nou gebeuren dat je zoveel overdreven vertrouwen erin hebt?

51
00:03:49,120 --> 00:03:55,840
Als je voorzichtig aan de slag gaat met deze technologie en je komt erachter dat de technologie

52
00:03:55,840 --> 00:03:57,680
best wel steeds goede antwoorden geeft.

53
00:03:57,680 --> 00:04:03,820
Je maakt het steeds complexer, je schuift misschien steeds meer op op gebieden waar

54
00:04:03,820 --> 00:04:06,000
je zelf minder van af weet.

55
00:04:06,000 --> 00:04:13,360
En hoe vaker je vertrouwen wordt bevestigd, hoe eerder je geneigd bent om steeds minder

56
00:04:13,360 --> 00:04:17,600
naar de resultaten, tenminste kritisch naar de resultaten te kijken.

57
00:04:17,600 --> 00:04:24,640
Sterker nog, uit dat literatuuronderzoek komt, dat als je op een gegeven moment zoveel vertrouwen

58
00:04:24,640 --> 00:04:30,340
stelt in die uitkomsten is dat er zelfs fouten ontstaan dat je geneigd bent om daarover heen

59
00:04:30,340 --> 00:04:36,120
te gaan kijken omdat je uiteindelijk incorrecte aanbevelingen gewoon overneemt.

60
00:04:36,120 --> 00:04:43,420
Een van de problemen die uit het literatuuronderzoek komt is van, ja, wat nou de oorzaak hiervan

61
00:04:43,420 --> 00:04:45,580
is en dat is de AR-literacy.

62
00:04:45,580 --> 00:04:48,660
Dus hoe goed weet je eigenlijk hoe het werkt.

63
00:04:48,660 --> 00:04:53,460
Dus vandaar, kijk naar de advocaat die besproken is.

64
00:04:53,460 --> 00:04:55,460
Weet hoe dit werkt.

65
00:04:55,460 --> 00:04:59,960
Het is een woord voor woord voor speller met willekeur erin.

66
00:04:59,960 --> 00:05:03,960
Als je daarmee rekening houdt, kan je de technologie prima gebruiken.

67
00:05:03,960 --> 00:05:05,660
Dankjewel voor het luisteren.

68
00:05:05,660 --> 00:05:08,660
Maandag weer een nieuwe, lange aflevering.

69
00:05:08,660 --> 00:05:10,660
Dank voor het luisteren.

70
00:05:10,660 --> 00:05:12,660
TV Gelderland 2021

71
00:05:12,660 --> 00:05:35,460