S05E46 - Shorts - AI Detectors in het Onderwijs

Hoe gaan we om met het gebruik van ChatGPT in huiswerktoetsen, werkstukken en scripties? Veel mensen hebben de neiging om dit soort tools te verbieden, maar is dat wel de juiste oplossing? Daarom kijken ook naar AI-checkers als mogelijke oplossing, maar zijn ze betrouwbaar genoeg?

Bronnen

• GPT detectors are biased against non-native English writers - https://arxiv.org/abs/2304.02819
• What to do when you’re accused of AI cheating - https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/
• ChatGPT-maker haalt herkenningstool offline: 'Niet nauwkeurig' - https://nos.nl/artikel/2484231-chatgpt-maker-haalt-herkenningstool-offline-niet-nauwkeurig
• Advies generatieve AI-tools in het primair- en voortgezet onderwijs - https://nlaic.com/wp-content/uploads/2023/07/Advies-generatieve-AI-tools-in-het-primair-en-voortgezet-onderwijs.pdf

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:05,720
Met de komst van ChatGPT staat de manier waarop we leren, lesgeven en toetsen op zijn kop.

2
00:00:05,720 --> 00:00:10,360
Gaan AI-checkers het onderwijs helpen bij het detecteren van gegenererde teksten?

3
00:00:10,360 --> 00:00:17,760
Je hoort het in deze korte aflevering van AI2D Live met erin een actueel onderwerp in 5 minuten.

4
00:00:17,760 --> 00:00:24,280
Dit nieuwe schooljaar is het eerste volledige schooljaar waar ChatGPT beschikbaar is,

5
00:00:24,280 --> 00:00:26,280
zowel voor docenten als leerlingen.

6
00:00:26,280 --> 00:00:32,880
Hoe moet dat zo met huiswerktoetsen, werkstukken of scripties als leerlingen massaal chatgpt

7
00:00:32,880 --> 00:00:33,880
kunnen gebruiken?

8
00:00:33,880 --> 00:00:40,840
De neiging is misschien om deze tools, zoals chatgpt, of welke andere large language model

9
00:00:40,840 --> 00:00:42,880
of generatieve AI dan ook te verbieden.

10
00:00:42,880 --> 00:00:47,440
Dit lukt wellicht als je de toegang tot internet volledig kan afsluiten.

11
00:00:47,440 --> 00:00:51,520
Hoe verbied je het gebruik van chatgpt thuis?

12
00:00:51,520 --> 00:00:57,280
Een mogelijke oplossing die in de markt geboden wordt zijn AI-checkers, of ook wel AI-detectors

13
00:00:57,280 --> 00:01:00,200
of plagiaat controle-tools genoemd.

14
00:01:00,200 --> 00:01:06,200
Ik kan je nu alvast verklappen dat AI-checkers niet de oplossing zijn, maar juist garanties

15
00:01:06,200 --> 00:01:07,200
zijn voor problemen.

16
00:01:07,200 --> 00:01:08,200
Waarom?

17
00:01:08,200 --> 00:01:12,080
Kort gezegd, ze werken niet of niet goed genoeg.

18
00:01:12,080 --> 00:01:20,280
Een sprekend voorbeeld is dat een veelgebruikte AI-detector de Amerikaanse grondwet uit 1789

19
00:01:20,280 --> 00:01:22,340
aanmerkt als door AI geschreven.

20
00:01:22,340 --> 00:01:26,660
Het blijkt dat namelijk hoe vaker een term is beschreven,

21
00:01:26,660 --> 00:01:29,940
hoe eerder de tekst als door AI gegenereerd wordt aangemerkt.

22
00:01:29,940 --> 00:01:34,300
Je kan bijvoorbeeld maar op een aantal manieren de term examen uitleggen.

23
00:01:34,300 --> 00:01:37,500
Dus al gauw zal de checker hierop aanslaan en aangeven

24
00:01:37,500 --> 00:01:39,060
"dit is door AI gegenereerd".

25
00:01:39,060 --> 00:01:44,860
Onderzoekers van Stanford University hebben in een paper ook aangetoond

26
00:01:44,860 --> 00:01:48,660
dat AI-checkers veel vaker teksten als gegenereerd aanmerken,

27
00:01:49,020 --> 00:01:53,700
Juist bij teksten geschreven door mensen waarbij de moedertaal niet Engels is.

28
00:01:53,700 --> 00:02:02,900
En dat heeft te maken met zodra teksten simpeler worden geschreven en met een beperktere woordenschat,

29
00:02:02,900 --> 00:02:06,460
dat deze dan eerder worden aangeduid als een AI-tekst.

30
00:02:06,460 --> 00:02:08,980
En daar zit echt een heel groot probleem.

31
00:02:08,980 --> 00:02:17,060
Dus niet alleen teksten die heel veel voorkomen al in de trainingsdata, maar dus ook de manier

32
00:02:17,060 --> 00:02:22,980
van schrijven, dat dat ervoor kan zorgen voor een ondelkeurigheid, waardoor je als leerling

33
00:02:22,980 --> 00:02:26,660
valselijk beschuldigd kan worden voor het gebruik van deze tooling.

34
00:02:26,660 --> 00:02:32,300
Kijk, natuurlijk teksten die klakkeloos worden gekopieerd, die haal je er makkelijk uit.

35
00:02:32,300 --> 00:02:36,060
Staat er bijvoorbeeld letterlijk "natuurlijk, hier is je tekst voor..."

36
00:02:36,060 --> 00:02:41,420
Als we dat soort dingen meekopiëren, dan weet je wel wat er gebruikt is.

37
00:02:41,420 --> 00:02:46,980
Maar goed, buiten dat overduidelijke kunnen AI-checkers geen betrouwbare antwoord geven

38
00:02:46,980 --> 00:02:49,580
of de teksten nou wel of niet gegenereerd zijn.

39
00:02:49,580 --> 00:02:59,140
Vandaar dat OpenAI ook gestopt is met SignChecker en geeft een ander tool, Turnitin, tips hoe

40
00:02:59,140 --> 00:03:03,460
je het gesprek aangaat met een student, juist omdat zij geen bewijs leveren.

41
00:03:03,460 --> 00:03:06,060
Wat kun je dan wel doen?

42
00:03:06,060 --> 00:03:09,940
Bijvoorbeeld de Nederlandse AI-coalitie heeft een lijst met tips gemaakt.

43
00:03:09,940 --> 00:03:11,740
Ik zal die trouwens opnemen in de show notes.

44
00:03:11,740 --> 00:03:22,180
Tips waarbij zij adviseren om een andere manier om te gaan met generatieve AI tools.

45
00:03:22,180 --> 00:03:27,340
Zij adviseren bijvoorbeeld alternatieve toetsingsmethodes die minder gevoelig zijn

46
00:03:27,340 --> 00:03:28,700
voor generatieve AI tools.

47
00:03:28,700 --> 00:03:33,860
Een effectieve manier kan zijn door het onderwerp of de vraagstelling zo op te

48
00:03:33,860 --> 00:03:36,140
stellen dat kritisch denken wordt gestimuleerd.

49
00:03:36,660 --> 00:03:40,060
Dit maakt het gebruik van generatieve AI-tools juist heel erg lastig.

50
00:03:40,060 --> 00:03:44,780
Bij het opstellen van dergelijke vragen kunnen verschillende punten in overweging worden genomen.

51
00:03:44,780 --> 00:03:46,900
Denk hierbij aan actualiteiten.

52
00:03:46,900 --> 00:03:52,820
Andere overwegingen zijn het toepassen op persoonlijke gebeurtenissen,

53
00:03:52,820 --> 00:03:59,020
het gebruik van voorbeelden uit de lesstof en het richten op zeer specifieke en toegepaste onderwerpen of vragen.

54
00:03:59,020 --> 00:04:05,260
Daarnaast is het creëren van zogenaamde authentieke assessments een effectieve methode.

55
00:04:05,300 --> 00:04:11,180
Bij deze assessment hebben leerlingen creativiteit en interdisciplinaire vaardigheden nodig.

56
00:04:11,180 --> 00:04:14,900
Voorbeelden van dergelijke assessments zijn interviews, debatten,

57
00:04:14,900 --> 00:04:18,980
datacollectie, analyse, verslagen door middel van foto's, video,

58
00:04:18,980 --> 00:04:21,740
waarbij de leerlingen zelf acteren of de bron zijn.

59
00:04:21,740 --> 00:04:26,740
Lees de rest van de tips rustig door. Er staat echt ontzettend veel in.

60
00:04:26,740 --> 00:04:29,700
Wat ik al zei, de link staat in de show notes.

61
00:04:30,140 --> 00:04:37,060
En deze tips geven in ieder geval een veel positiever benadering dan het verbieden of

62
00:04:37,060 --> 00:04:40,460
mogelijk valselijk beschuldigen van studenten.

63
00:04:40,460 --> 00:04:45,180
Kortom, een spannend jaar voor iedereen in het onderwijs.

64
00:04:45,180 --> 00:04:49,300
Eén ding is zeker, AI-detectietools gaan je niet helpen.

65
00:04:49,300 --> 00:04:50,500
Dankjewel voor het luisteren.

66
00:04:50,500 --> 00:04:56,700
Wil je niets missen over AI? Abonneer je dan via je favoriete podcast app.

67
00:04:56,700 --> 00:04:58,700


68
00:04:58,700 --> 00:05:00,700


69
00:05:00,700 --> 00:05:02,700


70
00:05:02,700 --> 00:05:04,700