S05E01 - ChatGPT: Onder de motorkap

Dat ChatGPT de media beheerst is inmiddels wel duidelijk. Veel gebruikers zijn verrast door de mogelijkheden en de taal, die leest alsof-ie door een levend wezen is geschreven. 

Joop Snijder geeft je in deze aflevering over ChatGPT een kijkje onder de motorkap. 

Hij legt uit hoe de kunstmatige intelligentie werkt die wordt gebruikt en hoe het kan dat de teksten zo menselijk klinken.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Welkom allemaal bij een nieuwe aflevering van de AIToday Live podcast. Ik ben Niels Naglé en samen met Joop Snijder gaan we het hebben over ChatGPT. Ja Joop, chat GPT, onderwerp wat we gewoon niet omheen kunnen in onze podcast om het er natuurlijk ook over te hebben. Zeker niet. En nou ja, moet je hier iets mee? Wil je hier iets mee? Ik denk als bedrijven, dit komt op je af. Als je hier iets mee wil en naar mijn idee moet iedereen hier iets mee, want het is een hulpmiddel die we kunnen gaan inzetten. Moet je wel begrijpen wat is het wel, wat is het niet of hoe werkt het onder de motorkap? Hoe kijk jij daar tegenaan? Nou ik weet niet of je per se moet weten hoe het onder de motorkap werkt. Ik krijg wel heel veel de vraag hoe werkt het eigenlijk? Omdat het voor heel veel mensen als een magie voelt. Dus dat, nou ja, gewoon sowieso vanuit persoonlijk interesse natuurlijk, maar ook omdat ik dit onderwerp al heel lang volg. Wat je ziet is dat de technologie onder chat GPT niet van afgelopen jaar of dit jaar is. Het is gebouwd op een veel oudere technologie, dus ik heb er al langer mee gewerkt zelfs. Kan ik denk ik ook wel gaan uitleggen van hoe werkt het? En de magie die er ook achter zit is van waarom klinkt chat GPT zo menselijk? Dat wordt heel veel gevraagd, van hoe kan dat nou? Ja, dus als ik hem even voor mezelf vertel, ik zei van moet je het begrijpen onder de motorkap? Misschien moeten we die even refracen, dat ik die weer even inslik. Misschien moeten we een beetje demystifyen van de magie en eigenlijk even zeggen wat is het wel, wat is het niet en wat zou je ermee kunnen? Ja, precies. Want dan heb je inderdaad de grenzen van het apparaat. Waarbij ik eerlijk gezegd moet zeggen van waar precies de grenzen, ik weet van een aantal van wat de grenzen is. Sommige zullen we ook nog moeten ontdekken en zelfs OpenAI, de maker van chat GPT, is dat ook nog aan het ontdekken. Maar let's go toch? Ja, inderdaad. Nou, laat ik eerst beginnen met dat we even voor iedereen dat we allemaal op hetzelfde startpunt zijn. Chat GPT is afgelopen november uitgekomen. Wat doet dat? Je geeft een prompt. Een prompt is een stuk tekst. Dat kan een vraag zijn, dat kan een begin van een zin zijn, dat kan van alles eigenlijk zijn. Maar het is een stukje tekst wat als beginpunt is van de chat, de dialoog die je aangaat met dit AI systeem. Waarbij die antwoord geeft, je tekst afmaakt, een samenvatting geeft, noem het maar op. Maar jij begint de dialoog. Ja, de dialoog, maar eigenlijk begin je met een prompt. Dat is ook wel een beetje te vergelijken met hoe je in Google eigenlijk een search zou willen starten. Ja, alleen het verschil, tenminste zoals ik zoek, is allemaal op keywords. En daarom zijn er ook hele bedrijven die in SEO gespecialiseerd zijn, precies die keywords. Wat je hier typisch doet, is dat je echte zinnen geeft. Ik stel echte vragen. En waarom is dat zo belangrijk? Omdat namelijk dat model is ook helemaal getraind op menselijke taal. Het is gevoed met zo'n ongeveer 45 terabyte aan gegevens, waaronder Wikipedia, dat is ongeveer 3% van de data. 16% zijn ongeveer boeken. Waar het op getraind is, is allemaal echt zinnen. Menselijk geschreven zinnen. Dat is al een van de mini mysteries die we vandaag oplossen. Waarom klinkt die zo menselijk? Omdat die dingen herhaald en de herhaling is van wat mensen geschreven hebben. Dat is echt wel een verschil. Dus als ik normaal gesproken zou googlen, chat GPT, hoe werkt het? Hier kan je hem echt vragen van, hoe werkt het? Schrijf het eens even uit. Doe het met kopjes, zo, en zo. Je kan heel veel vragen. Ja, dus daar is het dus eigenlijk al een verschil in een soort van prompt. Inderdaad, keyword-based en meer human-based. Ja, een goede prompt is zelfs grammaticaal en syntactisch correct. Omdat die, zeg maar, het is echt een taalmodel. Het is geen zoekengine, waarbij je het zoekt. Nee, het is een taalmodel, dus die gaat ook schrijven. Ja, hij vond het wel mooi, van de podcast die we ook allemaal geluisterd hebben van wat is het? En de wildste verhalen die er ook worden geteld. Eigenlijk is het een hele goede papagaai, werd er ook gezegd. Het is een hele goede papagaai. Wat hij doet is namelijk, hij voorspelt woord voor woord. En daar zit de truc in, in dit soort modellen in. Dus hij kan sowieso geen woorden gebruiken die hij niet geleerd heeft. Het is eigenlijk niet woord voor woord. Want als we echt, echt onder de motorkap kijken, dan heet het tokens. Tokens kunnen hele woorden zijn, kunnen delen van woorden zijn, kunnen leestekens zijn. Het kan van alles zijn. Maar uiteindelijk wordt alles opgedeeld in tokens. En waarom is dat belangrijk? Omdat hij dan wel woorden zou kunnen verzinnen die nog niet bestaan. Omdat hij, zeg maar, delen van woorden aan elkaar zet. Maar wat hij doet is token voor token. En hij kan dus alleen maar tokens herhalen die hij ooit gezien heeft. En hij heeft natuurlijk geleerd in zinsconstructies. Dus om het goed te begrijpen, wat doet hij? Stel, er komt op een gegeven moment zoiets als de hond ligt in de... En dan, het volgende woord lijkt dan...- Mand. - Nou, huppatee. Kijk, dat is het menselijk taalmodel. Of hij gaat naar de hond gaat in de... Hoe zou ik dat nou zeggen? Want dat is een goed voorbeeld. Nou ja, toch wel. Hond gaat in de mand, zei jij. Maar het mooie is van ChatGPT, is dat er ook een soort van geheugen is binnen jouw dialoog. Dus hij kan tot 4.098 tokens, laten dat woorden zijn, nog even voor het gemak, kan hij terug in de conversatie. Dat is behoorlijk ver. Dus als er op een gegeven moment uit de context blijkt dat die hond een pup is, en de hond gaat in de... Zou het misschien wel meer bench kunnen zijn? Nou, kijk aan. Dus context is belangrijk. Maar het is inderdaad een hele... Het is een papagaai met een hele grote vocabulaire. En dat is wel belangrijk. En, nu had ik ook artikelen gelezen, misschien kun je dat bevestigen van het krachten, misschien heb ik wel verkeerd gelezen, is dat het niet alleen maar op woorden gebezit, maar dat er ook nog een menselijke kant achter zit, die eigenlijk ook een soort van reinforcement learning heeft gedaan op weer die prompts. Ja, het model wordt eigenlijk grofweg in drie stukken getraind. Het eerste wat gebeurt, is dat er een set van prompts wordt gemaakt, waar mensen zelf op hebben geantwoord. Bij deze prompt hoort typisch dit antwoord. Dus dat betekent soms ook dat je, als je een vraag stelt, dat je ook altijd exact hetzelfde antwoord krijgt, want dat is namelijk precies wat hij geleerd heeft. Het tweede is dat met de teksten die er zijn ingeladen, worden de prompts gecreëerd. En dan moet je denken dat er dan selecties worden gemaakt van prompts, en dan krijgen mensen vier tot negen, net als bij Google als het ware, mogelijkheden van antwoorden te zien. En die mens, die gaat dat rangschikken. Wat was nou eigenlijk in mijn beleving het beste woord? Het zijn AI trainers, dus eigenlijk. Dat is wel stap één, twee. En dan heb je nog in de laatste stap, daar gaan ze al die input gebruiken om een reinforcement learning, dat is een model die straft en beloont, die gaat het allemaal doortrainen, al die data, om ervoor te zorgen dat hij dus zo reageert zoals hij nu is. Maar je ziet dus dat er dan heel veel menselijke stappen in plaats vinden. Open AI heeft ook allerlei factures op dat gebied. Het is die vraag, labellers, met labellers wordt dat genoemd. Zo was er iemand gevraagd om gewoon 40 uur per week, die is echt een Python expert, om Python puzzels te maken, code uit te leggen, vragen te stellen, dus prompts te bedenken, antwoorden erbij te bedenken, code aan te leveren, code uit te leggen. Dat wordt allemaal gebruikt. Dus waarom klinkt dat ding nou zo menselijk? Omdat daar ook heel veel menselijke effort in zit. Dus eigenlijk wordt hij niet alleen getraind met die woorden, maar eigenlijk wordt hij ook voorzien van knowledge, gecreëerd door mensen in menselijke taal, om te komen tot zijn antwoorden. Precies, en dat gaat alleen maar meer worden. Heb je ChatGPT gebruikt? Ik heb zeker al ChatGPT gebruikt. Dan zie je misschien bij de antwoorden die je krijgt, zit heel klein zitten een duimpje omhoog, duimpje omlaag. Als jij dat gebruikt en ook nog feedback geeft, ben je ook het model mee aan het trainen. Dus dat is ook een heel belangrijk punt. En dat is ook een van de dingen die ik heel graag wil weten. En dat is ook een van de dingen die ik heel graag wil weten. En dat is ook een van de dingen die ik heel graag wil weten. En dat is ook een van de dingen die ik heel graag wil weten. En dat is ook een van de dingen die ik heel graag wil weten. En dat is ook een van de dingen die ik heel graag wil weten. En door er heel veel gebruik van te maken ga je zien wat er kan en wat er niet kan. En door er heel veel gebruik van te maken ga je zien wat er kan en wat er niet kan. En daar hebben ze al heel veel van geleerd. Waardoor ze eigenlijk zeggen, chat gpt is gpt 3.5. Eigenlijk een soort van halve versie verder. Maar wat ze daar gedaan hebben is daarvan geleerd. Dus die expert kennis is toegevoegd, die filters zijn toegevoegd. Dus zo hebben ze dat geleerd. Dus we leren by doing. En dat vervolgens weer continu in de feedback loop ook zelf weer van leren. Want inderdaad wat je zegt, het is gewoon gebaseerd op 3.0. Maar door het toevoegen van extra acties, menselijke input en dat soort zaken. Is het model dezelfde input getraind. Maar is het toch rijker geworden in onze ervaring om weer aan te kunnen bieden. Wat ik van OpenAI knap vind is dat ze het lef hebben gehad om dit aan te durven. We hebben het ergens afgelopen jaar gehad over de Google medewerker. We hebben het ergens afgelopen jaar gehad over de Google medewerker. Die op een gegeven moment de media zocht. Die zei, Google heeft nu een bot en die heeft zelfbewustzijn. Dat ging toen heel internet op los. Dat was precies zo'nzelfde model als waar we het nu over hebben. Google Lambda. En Google heeft toen gedacht, je gaat me gewoon niet mee naar buiten. En Microsoft heeft zo'n model. Meta heeft zo'n model. Niemand durfde daar mee naar buiten. OpenAI wel, om daar ook inderdaad van te leren. Ik denk dat daar, als ik persoonlijk er tegenaan kijk, Ik denk dat daar, als ik er persoonlijk tegenaan kijk, is met hun cultuur, met hun uiting, waarom ze het doen wat ze doen, het bijna natuurlijke voelde dat OpenAI het deed. Het bijna natuurlijke voelde dat OpenAI het deed. Het open brengen en de technologie menselijkere kant geven. Dat we het daardoor wat makkelijker hebben geaccepteerd. Of misschien, we hebben al geleerd van het verleden, we hebben de nieuwsbericht gezien, we zien het als een ontwikkeling, waardoor wij het misschien wel makkelijker accepteren. Hoe kijk jij daar tegenaan? Ik ben het niet zo eens over het open van OpenAI. Want ze zijn namelijk helemaal niet open. Alles wat ik nu vertelde, heb ik allemaal plukjes en beetje overal vandaan moeten halen. Ze geven ook niet aan op welke data de specifiek getraind is. De OpenAI is niet zo open als dat je de specifiek getraind is. De OpenAI is niet zo open als dat je zou denken. Maar wat ik wel belangrijk vind, is dat ze de stap gezet hebben. Want alleen door juist ernaar te kunnen kijken, juist bloot kunnen leggen, wat werkt niet, weet je dus waar het juist wel goed voor is. Er zijn nu allemaal, wat ik net al zei, rekensommetjes, maar ook bepaalde redenaties, die gevraagd worden, waar hij dan op de meest suffen manier, zoals wij dat kunnen beredeneren, de mist in gaat. Ja, nou ja, prima, gebruik je hem daar niet voor. Als jij een leuke raadseltje opgelost wil hebben, waarvan je zelf het antwoord weet, en dan zegt, dat ding doet het niet, gefeliciteerd. Of als jij dingen laat opschrijven, dat is nu heel erg de vraag, hij kan totale onzin uitbraken. Volgens mij, als jij nu googelt op iets, en jij vindt een of andere shady site, en het maakt je ook niet uit, en je kopieert dat, en plakt dat ergens, dan heb je precies hetzelfde. Dus ik vind dat een beetje, eh, ja, doelmiddel. - Ja, weinigzinnige discussies. Je kan wel stellen, van, het zou wel handig zijn, als jij wel, zeg maar, van het domein af weet, en je ziet, dat de fouten worden, dat je dat teruggeeft. Dat je zegt, dat is niet correct. Dus, ik, als je het als doel hebt om te snappen wat hij wel kan, niet kan, hartstikke goed. Ja, als jij vragen gaat stellen, waarvan je het antwoord al weet, dan denk ik van, stel die vraag niet. Zonde. - Ja. Maar wel goed dus eventjes ook voor de luisteraars, we hebben het nu een paar keer genoemd, geef die feedback ook. Daar helpen we iedereen die het gebruikt in de toekomst ook weer mee. Omdat we leren van elkaar, en continu kunnen blijven doorontwikkelen op die ervaring die we met elkaar hebben. - Ja. Nee, zeker. Een andere vraag die ik ook gekregen heb, is van, hoe kan het nou, want hij is best wel snel met schrijven. En dus je redelijk korte bedenktijd, en vervolgens begint hij te schrijven, en soms komen er hele lappe teksten uit. Hoe dat nou kan? Want je hebt het dus over hele grote hoeveelheden data. Nou, wat die AR, wat dat model niet meer hoeft te doen, is iedere keer zeg maar door al die data heen. En dus dat model is getraind, daar komt, uiteindelijk lost hij een formule op. En dus we stoppen aan de voorkant, stoppen we getalletjes erin. Ieder woordje, ieder token wordt een getalletje. Aan de achterkant komen er ook weer getalletjes uit, en die worden weer omgezet naar zo'n woord of een token. - Ja. Als je uiteindelijk die formule helemaal hebt uitgerekend, hoe van het een naar het ander komt, en van Engels naar Frans, dan is die formule daar. En wat kan die machine heel snel? Rekenen. - Ja. Dus dat die, zeg maar, heel snel woord voor woord, zeg maar, dat uit kan spugen, dat is eigenlijk heel logisch. - Ja. - Dat trainen, dat is echt ontzettend tijdrovend, en dat kost heel veel geld. Het is ook nog vrij onduidelijk hoeveel het trainen van dit model heeft gekost. Dus ik heb allerlei bedragen voorbij zien komen die niet de 44 zijn. Maar je moet echt denken aan tientallen miljoenen per slag trainen, en dan hebben we het nog niet eens over de menselijke effort die ze erin steken, en gaan steken. - Ik denk dat je die miljoenen wel naar miljarden kan gaan doen. Als je ook hoort wat voor investeringen er gedaan worden, want natuurlijk met name op de processing en de kanten eromheen zitten, ik denk dat we wel richting de miljarden gaan. - Ja. Microsoft is bereid om 10 miljard misschien zo direct te betalen voor 49 procent van de aandelen.- Ja. - En heeft er al een miljard een aantal jaren geleden ingestopt. Misschien wel het beste miljard dat ze geïnvesteerd hebben. - Klinkt op dit moment met de hype die erin zit als een goede investering. En het recht om het als eerste in de producten te gaan gebruiken, waar natuurlijk ook heel veel waneer uit terugkomt.- Precies. - Zeker weten.- Dat gaat echt wel wat worden. Wat misschien wel leuk is om te weten is dat OpenAI heeft echt ook een heel human data team. We hebben het over labelers. Misschien heb je in de media ook gezien van ze hebben ook dingen uitbesteed. Er zitten ook wat nare kantjes aan. Van de Times had bijvoorbeeld uitgezocht dat het bedrijf wat wel ingehuurd was om te labelen, heeft dat weer uitbesteed naar Kenia waar die mensen ook weer worden uitgebuiten. Dus wij weten altijd weer zeg maar een route te vinden. Ja, nou ja. Je snapt wat ik bedoel.- Ja, inderdaad.- Maar ze hebben zelf ook een human data team die hiermee bezig is en ook die menselijkheid erin aan het brengen is. - Heb je daar wat over kunnen vinden over diversiteit en achtergronden van die labelaars? Hoe zit het daarmee? - Nee, dat... Nee, nee. En dat moet haast wel. Wat je wel ziet is dat zij qua expertise op allerlei mogelijke vlakken expertise vragen. Hoe dat qua diversiteit zit, heb ik geen idee. Nee, dat heb ik niet kunnen vinden. Ik ben er echt wel diep in gedoken. - Ja. Dat is dan toch wel inderdaad, ja. Zou ik dan toch wel meer van willen weten. Hoe zit het nou? Vooral omdat de human input daarbij dan weer is. En er zit al bias in de data. Als dan ook nog de bias of inderdaad wat meenemen in de human input, hoe ga je dat inderdaad...- Ja, maar ik denk dat dat ook een deel leren wordt. We hadden het over die feedback terug. En chat gpt4 zal echt daar weer een verbeteringen worden. Iedereen verwacht dat dat nog veel meer kan. Ik denk dat open AI zich gaat richten op juist die eerlijkheid, fouten eruit halen. Dus misschien iets meer. - Qualitatief. Ja, dus niet meer, maar beter denk ik. Maar dat is... Er gaan de wildste verhalen over op internet. Ik brand me daar niet aan. Waar ik echt wel in geloof, is dat zij snappen dat het beter en correcter moet. Want als je er een business op wil gaan bouwen, is dat denk ik heel belangrijk. - Dat is waar de foundational models in de toekomst voor gebruikt gaan worden. - Ja toch? Dan is kwaliteit denk ik wel een hele belangrijke maatstafel om goed te implementeren. Zullen we die voor de volgende keer doen? - Laten we doen. - Of we een businessmodel eruit kunnen halen? - Ja, zeker. Nou, hartstikke mooi. Dankjewel dat je weer wilde luisteren naar een nieuwe aflevering van AI Today. Ik hoop dat je iets meer snapt van wat er onder de motorkap van ChatGPT gebeurt. Vergeet niet om je te abonneren op onze podcast en mis je geen aflevering. Dankjewel.[no speech]