S05E02 - De kracht van ChatGPT voor zakelijke toepassingen

In deze aflevering spreken Niels en Joop verder over ChatGPT. 

De toepassingsmogelijkheden van ChatGPT in de zakelijke wereld zijn groot. Deze aflevering geeft inzicht in de mogelijkheden en bespreekt de randvoorwaarden voor een succesvolle implementatie voor zakelijke toepassingen.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Welkom en leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live. Ik ben Niels Naglé, chapter lead bij Info Support en ik zit samen met Joop Snijder van Aigency. Ja Joop, vorige keer in de aflevering hebben we het gehad over ChatGPT en een stukje demystifying en een klein beetje onder de motorkap. Hoe is het ontstaan, wat is het wel en wat is het niet. En dan zijn we eigenlijk geëindigd op een nood van wat gaan we hier in de business nou mee kunnen doen en wat gaat het verschil maken. Ja, dat is een hele goede vraag. Ik denk dat je, wat er in ieder geval gaat gebeuren is dat er heel veel producten uit gaan komen de aankomende periode die gebaseerd zijn of tenminste die gebruik maken van het model. En daar zal heel veel zin en onzin in zitten, maar dat gaat komen en het is echt wel goed om dat in de gaten te houden. Er zijn al hele slimme mensen die slimme applicaties maken op basis hiervan. Aan de andere kant kan je het ook zelf gebruiken om daar op te gaan leunen. Het is een heel groot model die je heel goed met taal overweg kan. Dus als je een bepaald taalprobleem hebt kan je hierop verder bouwen. En het mooie is dat je zoiets hebt als a few shot learning heet dat dan. Die term ken ik nog niet op. A few shot learning is precies eigenlijk wat het zegt. Dat je met een paar voorbeelden eigenlijk een compleet nieuw model maakt. Dus voor heel veel modellen heb je veel data nodig om iets te klassificeren. Hier zou je heel makkelijk je eigen voorbeelden in kunnen geven die zeggen van bij deze vraag hoort dit antwoord, bij deze vraag hoort dit antwoord op. Bij deze tekst hoort klasse A, bij deze tekst hoort klasse B. En dan geef je een paar voorbeelden en vervolgens is die getraind en kun je die gewoon inzetten. Even voor mijn wilte, soms gaan bepaalde details maar schieten we even weg. Is dat dan het stukje transfer learning waar we het nu over hebben? Ja in principe wel. Dat denk ik inderdaad ook wel. Want eigenlijk is van afstand bekijken is ChatGPT ook natuurlijk een stukje productisation van het taalmodel van 3.0 natuurlijk. Ja absoluut. Dat vond ik wel mooi, dat kwam in een podcast van de Economist, dat kwam nu voorbij inderdaad. En eigenlijk was het model er al alleen hebben we dus wat zaken toegevoegd en hebben we een chat interface opgezet. Eigenlijk hebben we het met name over de chat interface en wat minder over het model erachter. Dat vond ik wel heel inspirerend, dat we dus eigenlijk de oplossingen zelf kunnen gaan maken. Dus zelf gaan nadenken hoe kunnen we dit nou inzetten om bepaalde nieuwe producten te voorzien van deze krachtige engine onder water dan. Ja, dat is wel leuk. Ik wil er wel twee dingen over zeggen. Eén is namelijk dat mechanisme, want dat geldt natuurlijk wat mij betreft uiteindelijk voor ieder machine learning model. Dus het model aan zich, daar heb je niks aan. Dat moet ergens ingebed worden. Daar moet een user experience omheen. Je moet dat kunnen gebruiken, je moet daar aan kunnen zitten. En dat wordt heel vaak vergeten. Het model is eigenlijk maar een klein stukje. Om even heel kort samen te vatten uit de vorige aflevering, als je het nu niet gehoord hebt. Er zit zoveel om me heen gebakken van trainen, menselijkheid inbouwen, dat soort zaken. Heel veel preprocessing, postprocessing. Dat maakt uiteindelijk het geheel en niet het model aan zich. En zelf kan je daar inderdaad dan gebruik van maken. Dus het heeft een programmeerinterface. De kosten zijn nog wat onduidelijk. Als je kijkt naar het gebruik van GPT-3, daar zijn de kosten al van duidelijk. Dat zijn echt tiende van centen per token die je inzet. Dat is in de vorige aflevering ook uitgelegd. Het model werkt met tokens. Dat kunnen hele woorden zijn, kunnen delen van woorden zijn. Maar per token wordt afgerekend zowel wat je er naartoe opstuurt, als wat je terugkrijgt. En daar kan je wel een maximum op zetten. Dat zijn nu nog hele lage bedragen. En Microsoft heeft natuurlijk een exclusieve licentie hierop gekocht. Dus die heeft nu dat opengesteld. Ze hebben dat geïntegreerd in Azure. En vanuit daaruit kan je het dan ook gaan gebruiken. Je zou denken, waarom? Als je gewoon rechtstreeks met OpenAI, waarom zou je dat dan via Microsoft doen? Dat heeft gewoon te maken met waar je data landt. Dus bij OpenAI is het publiek. Komt het ook in een publieke cloud. Bij Microsoft blijft het binnen jouw cloudomgeving. Waarbij ik me heb laten informeren, ik weet het niet 100% zeker. Maar wat ik wel heb begrepen, is dat de data wel naar Amerika gaat. Dus dat is wel een belangrijke om even goed uit te zoeken. Als je dit gaat gebruiken, de OpenAI via Microsoft, via Azure. Of dat inderdaad zo is en of jouw data geschikt is om doorgestuurd te worden naar Amerika. Goeie side note. En wie weet is dat ook iets waarvan we de ontwikkeling natuurlijk in de gaten moeten houden. Misschien dat ze beginnen in Amerika en dat het daarna weer gedistribueerd wordt. En afhankelijk van hoe dat technisch op de achtergrond gaat werken, zal dat in de toekomst nog best wel kunnen veranderen natuurlijk. Dat verwacht ik wel. Want uiteindelijk willen natuurlijk ook Europese bedrijven hier gebruik van maken. Zij willen dit terugverdienen, de investeringen die zij doen. Dus dat verwacht ik wel eerlijk gezegd. Dus echt het productdenken wordt nog belangrijker. We hebben de termen in architectuurland van data as a product, AI as a product. Dus ik denk dat productdenken er daar wel een enorme boost van gaat krijgen. Door deze functionaliteiten tot ons beschikking te krijgen. Ja, nee zeker. Dat gaat de vlucht nemen. En we gaan, zeg maar, het worden denk ik hele spannende maanden, jaar, hoe dit gaat. Er zit natuurlijk ook nog een stuk achter van hoe gaat open AI zo direct om met eventuele claims van data die ze gebruikt hebben, waar ze misschien geen recht hebben op zijn. Dus dat soort dingen gaan wel komen. Wat je nu trouwens, dat schiet me eigenlijk te binnen omdat we het hebben over die rechten. Je hebt natuurlijk ook dat zij het model hebben getraind ook met data van GitHub. Dus een open programmeercode. Daar zit auteurs recht op. Maar als we even de problemen aan de kant schuiven. Kun je dus zeg maar vandaag de dag al beginnen met GitHub Copilot. Als jij programmeert, dan kan je dat inzetten en dan heb je eigenlijk een pair programmer, iemand die jou helpt, een assistent bij het schrijven van code. Dus hij kan niet alleen teksten schrijven of leuke liedjes voor je schrijven. Hij kan ook code voor je schrijven. En dat kan je gewoon vandaag al inzetten. Ja, we hebben het natuurlijk regelmatig over, gewoon als we op de gang staan of elkaar weer tegenkomen. God, waar heb jij het nou weer voor gebruikt? En ik denk inderdaad die creativiteit die we als mens hebben om te komen tot hetgeen wat we willen bereiken. Dat gaat makkelijker worden, heb ik hetzelfde idee. Het stukje code schrijven, als je een stukje nieuwe code schrijft wat anderen al geschreven hebben. Dan kan je daarvoor wel makkelijk in ondersteund worden. Dus we krijgen gewoon extra zaken in onze gereedschapskist mee. Om ons werk efficiënter en praktischer in te richten naar mijn beeld. Ja, wat ik zelf heel erg merk is dat je dan heel veel, zeg maar je krijgt een verschuiving met waar je mee bezig bent. Dus je bent, ja zeg maar tot nu toe ben je heel veel bezig met de hoe. Hoe doe ik dit? En dat het een verschuiving is naar de wat. Wat wil ik? En als ik dat kan uitdrukken, wat ik wil, dan heb ik dus een hele slimme assistent die me helpt met hoe je dat doet. Dus als ik code moet schrijven, geef ik hem als het ware specificaties. Waar we altijd allemaal een hekel aan hebben gehad. Specificaties, en vanuit die specificaties krijg ik ook gewoon wat hij dan doet. Sterker nog, ik kan zelfs ook vragen van schrijf je tekst erbij, documenteer het even. Even unit testje. Even unit testje, dat soort zaken. En dat helpt natuurlijk dat je heel anders na kan denken. Je kan ook denken in vorm. Dus ik kan teksten laten schrijven. Ik schrijf zelf best wel redelijk wat om kennis te delen, vind ik leuk. En als ik dan die tekst klaar heb, wat ik dan niet leuk vind is een samenvatting maken. Een stukje maken voor LinkedIn, bedenken welke tekst ik daar aan moet hangen. Dat kan ik allemaal vragen. Dat is niet uniek. En dat geeft je de productiviteit nu, die je op dit vlak gewoon heel erg helpt. Zeker weten. Je stuurde me een tijdje terug door Toon.app. Ook zo'n eentje, een initiatief om eigenlijk al nieuwe ontwikkelingen bij elkaar te brengen. Die dus gebruik maar van ZGPT in combinatie met DALI 2. Of DALI 1, ik weet niet precies welke ik het onderzet. Ik denk ook DALI 2, maar om het even voor de luisteraar uiteen te zetten. Dus wat je doet, is dat je vertelt deze app wat je wilt gaan vertellen. En op basis daarvan vraagt hij aan ZGPT een outline. Nou hier is een outline wat hij doet, onder water. Want uiteindelijk heb ik zo ook wel eens dingetjes gemaakt. Dus outline. En die zet hij per slide erop. Onder die outline schrijft hij je tekst onder. Dan werkt dit uit. - Nieuwe prompt. Vervolgens gaat hij naar DALI 2, een plaatjesgenerator die van tekst naar plaatjes kan gaan. En gebruikt hij datzelfde stukje tekst om dan een plaatje te creëren. En ik had een presentatie even gemaakt. Ik vind alles rondom honden heel erg leuk. Dus ik had gevraagd over, wat zijn de dingen waar je op moet letten? De absoluut belangrijkste punten waar je op moet letten als je begint aan een pub van het ras herdershond. Nou dan kreeg ik daar ook echt een geweldige uitleg. Waar je op moet letten dat ze waak zijn, dat je goed moet socialiseren, dat soort zaken. En ik kreeg hele mooie foto's erbij van herdershonden. En gezinnen en wat die wel moest doen en wat die niet moest doen. Je had geloof ik een andere ervaring. - Ik had een iets andere ervaring. Ik dacht van, ik moest een presentatie geven voor een hoogschool. Om gewoon eens even te vertellen, wat is nou data architectuur? Wat komt er bekijken? En wat zijn de werkzaamheden die eigenlijk verricht om de studenten mee te nemen? Zou dat wat voor mij zijn in de toekomst? Nou, ik denk dat ik die presentatie zou geven, dat we niet veel data architecten in de toekomst zouden hebben. Want de teksten waren echt heel erg kort af. En ze hadden enigszins de context goed te pakken. En de plaatjes, nou echt. Die waren niet te herleiden tot iets van architectuur of data. Daar is hij ook niet op getraind. Sowieso als je iets van tekst in die plaatjes zou willen hebben. Nee, dit is van tekst naar plaatje en niet van tekst naar tekst. Dus dat hele tekstdeel zit er niet in. En zo zie je ook dat je tegen kaders, randen, grenzen van zo'n model aanloopt. Dus ja, mijn tip is ook van, ga het gebruiken. Probeer het. Probeer het gewoon. En laat je ook verrassen van het goede en van hetgene wat je nog niet kan. En weet waar je hem van in kan zetten. Want het is echt gewoon een goed hulpmiddel. En het gaat echt wel flinke stappen maken om zelf ook efficiënt te worden. Daar heb ik het beeld. Ja, en ik zou dan vooral adviseren van gebruik het even voor je eigen werk. De CEO van OpenAI heeft gezegd van, het kan nu. Het kan veel. Het is interessant. Ik heb de quote niet, weet je, het is even parafraseren. Maar als je echt belangrijke dingen maakt, daar zou ik het niet voor inzetten. En daar heeft hij gelijk in. Dus als jij voor jezelf steeds lijstjes af moet, waarbij je inderdaad zegt van, weet ik veel, daar hoort dit adres bij of whatever, of even zo'n klassificatie-modelletje voor jezelf. Alsjeblieft, weet je, gebruik het. Maar als je bijvoorbeeld wat ik gedaan had met die code, zorg dat je A, dat je snapt wat je aan het doen bent, dat je de code kan lezen, dat je ook zelf nog testen toevoegt. Weet je, het is niet klakkeloos. Nee, alsjeblieft niet inderdaad. Als je een quote vraagt ook, er komen andere namen uit. Het is een hulpmiddel die je kan ondersteunen als je weet waar je mee bezig bent, waar je heen wil, zodat je hem kan corrigeren. Dus zie je het dan als echt gewoon een sparringspartner op dat vlak. Omdat we nog niet weten wat het nog niet weet. En hoe dat in de toekomst zich gaat vormen. Ja, en hij heeft geen actuele informatie. Misschien weet iedereen het, maar het is echt tot halverwege 2021. Tot daar heeft hij informatie. En dan ook alleen de informatie die hij heeft kunnen vinden. Zo is het ook weer. En daarna is het gewoon over. Ja, er schiet nog wel een vraag binnen. Die is bij de vorige aflevering niet naar boven gekomen. Maar wat ik nog wel afvraag is, was er ook iets in de deep dive die je zelf erin hebt gedaan, bekend over wat als nou het nieuwe model komt? 4.0 komt uit over een paar maanden. Of misschien wel eerder dan we het nu over spreken. Hoe makkelijk is het om dadelijk te switchen van 3 of 3.5 naar 4? Heb je daar iets over kunnen vinden? Want dat is natuurlijk wel interessant. Als je nu applicaties of hulpmiddelen gaat gebruiken, hoe makkelijk kan je hem onder de motorkap swappen of niet? Daar heb ik geen idee van. Maar ik ga ervan uit dat zij gewoon keurig het API-protocol gaan volgen. En dus dat je gewoon een versienummer in krijgt. En op een gegeven moment gaan zij ook afschalen in wat zij nog ondersteunen. Voor mijn gevoel gaat het wel lastig zijn met zo'n foundation model. Want gaat hij nou op bepaalde aspecten beter worden? Want sommige dingen kan hij heel goed, sommige dingen is hij wel minder goed in. En daar inzicht in hebben, dat is natuurlijk wat je wel nodig hebt. Wil jij bepaalde kwaliteit die je daar weer opbouwt, weer terugzien? Ja, ik zou daarop willen antwoorden dat als jij steeds hetzelfde antwoord wil hebben op de vraag die je stelt, moet je sowieso al geen AI inzetten. Dus ik denk dat dat wel heel belangrijk is. Dus ja, je kan zo direct andere antwoorden krijgen. Het kan natuurlijk ook zo zijn dat dingen worden dichtgezet. Dat bepaalde vragen niet meer gesteld mogen worden. Hij heeft nieuwe dingen geleerd die eerst niet in de trainingsdata zat. Daar moet je zeker wel rekening mee gaan houden. Dus testen, regressietesten, je product, wat doet je product, wat ondersteunt je product niet. Allemaal zaken die ook bij normale projecten natuurlijk allemaal van SEO belangrijk zijn, gaan hier niet verdwijnen. Dat is denk ik wel heel belangrijk om mee te nemen. Dat verandert niet. Absoluut niet, nee. En het is natuurlijk je eigen verantwoordelijkheid wat je met de resultaten doet. Ja, dus dat is denk ik wel heel belangrijk inderdaad. Je plakt zelf nog een stukje functionaliteit eromheen. Je bent voor het geheel van het product, ben je degene die daarvoor verantwoordelijk is. En dus moet weten hoe het zit met de kwaliteit en wat je dan weer levert. Helemaal mee eens. Lijkt me een hele mooie afsluiter. Zeker weten. Super. Dankjewel dat je weer wilde luisteren naar de aflevering van AI Today Live. Abonneer je op onze podcast, dan mis je geen aflevering. Dankjewel. akingwetenschapconvocatie.nl