115: Glidende singularitet – det lange lys på AI

Midt i alle forandringerne afstedkommet af AI, hvor nogle sker hurtigere end forventet, andre langsommere, er det større og længere perspektiv noget af det første, der er røget. Klaus synes, at det er værd at tænde det lange lys og tage en snak om teknologien og dens mangfoldige implikationer. 

De store sprogmodeller og generativ AI er, så vidt vi ved, den første teknologi i verdenshistorien, der både bidrager til sin egen udvikling og hjælper til med dens egen udbredelse. Det gjorde hverken fx elmotoren eller jetmotoren. Måske er den teknologiske singularitet anderledes, end vi troede? Den handler mere om vores manglende evne til at kunne genkende verden bagud, end om et punkt i verdenshistorien, efter hvilket vi ikke kan forestille os, hvordan verden så vil se ud. Er vi med et paradoksalt begreb indtrådt i den glidende singularitet?

****

Nu også på YouTube — hvis du bedst kan lide din podcast med uden video. https://youtube.com/@silberblom

****

Hvem betaler for Silberbauer & Blomseth?

Det gør vi selv. Vores indhold er på ingen måde egnet til sponsorer eller reklamer for proteinpulver, VPN-forbindelse eller e-bøger. Så hosting, udstyr og alt det der er på egen regning. 

Det eneste vi beder om til gengæld (hvis du altså kan lide det, vi laver) er at du smider stjerner, og måske oven i købet en lille anbefaling, efter os på Apple Podcast. Det betyder alverden. Vi higer jo allesammen efter anerkendelse i en eller anden form. 

Husk at følge os på Bluesky (@silberblom)

Linktree

Transcript

[Klaus Silberbauer: 00:00:00]
Hej Thomas.

[Thomas Blomseth: 00:00:10]
Hej Klaus. Her sidder jeg og føler mig fuldstændig doven og afslappet.

[Klaus Silberbauer: 00:00:16]
Det kan jo også noget.

[Thomas Blomseth: 00:00:18]
Ja, fordi jeg slet ikke skulle forberede noget endeligt til det.

[Klaus Silberbauer: 00:00:21]
Nej, men til gengæld så kommer du på arbejde nu, tænker jeg. Er det ikke sådan, det fungerer?

[Thomas Blomseth: 00:00:25]
Damn it.

[Klaus Silberbauer: 00:00:28]
Jeg vil ikke engang luske omkring den varme grød med emnet her og lade dig gætte. Vi skal fortsætte en snak, som vi nærmest har haft kontinuerligt i måneder om AI. Så du er nok allerede lidt på hjemmebane. Men det er lidt rammer, jeg godt kunne tænke mig, fordi det vi ikke skal, det jeg ikke skal, det er, at jeg skal ikke begynde at rante politisk eller samfundsmæssigt omkring det her. Ikke på den måde i hvert fald. Fordi jeg kunne godt tænke mig, at vi kigger teknologihistorisk på det. Prøve at se de store linjer. Og måske oven i kvimelsen bliver lidt civilisatorisk omkring AI-LLM, og måske også løfter det op for den her diskussion, der er rigtig meget i tiden. Altså vil AI gøre sig arbejdsløse? Hvad er det for nogle sektorer AI? Altså hele den der snak, som hvis man nu af forskellige grunde hænger ud på LinkedIn eller Business Tinder, som jeg har hørt det dybt. Hvor det bliver meget lige nu og her. Altså snakken går rigtig meget på, hvordan ser det ud nu. Og rigtig mange diskuterer ud for, hvordan det så ud i går. Og det er en teknologi, der bevæger sig hurtigt. Det vil sige, at debatten kan meget hurtigt blive lidt sidste år. Så jeg tænkte, at vi måske kunne gøre vores bidrag til at se de store linjer. Dermed ikke sagt, at de små linjer ikke er vigtige, bare ikke i det her afsnit. Er du frisk på den?

[Thomas Blomseth: 00:02:03]
Herligt. Sjovt nok, så har mine tanker faktisk gået og kreds i den retning. Siden vi var to sidst.

[Klaus Silberbauer: 00:02:09]
Er vi entangled? Har vi noget non-lokalitet kørende?

[Thomas Blomseth: 00:02:15]
Måske ja. Altså også i... Hvis vi nu skulle lige komme med en lille politisk kommentar.

[Klaus Silberbauer: 00:02:20]
Okay, så får vi det ud af kroppen nu.

[Thomas Blomseth: 00:02:22]
Ja, men nemlig også igen på metaniveauet. Som er, at nogle af de her store forandringer, der jo kommer til at ske inden for få år, overhovedet ikke rigtig var en del af valgkampen. Til det nys overståede folkesindsforvaltning. Det var virkelig mærkeligt.

[Klaus Silberbauer: 00:02:39]
Jo, men jeg har måske en delvis forklaring på det. Vi snakker paradigmskifter af en størrelse. Og også geopolitiske, hvad der sker lige nu, men ikke mindst teknologiske. Og det hænger jo sammen et eller andet sted, som jeg tror, langt de færreste kan overskue. Det kan jeg heller ikke. Vi ved ikke, hvad der er på den anden side paradigmskifte. Og når politikerne heller ikke kan se det, så er det jo svært at lægge de store visioner frem. Og derfor bliver vi meget, meget kortsigtede. Det er virkelig ikke det lange lys, der er på lige nu. Og det er sådan lidt en panisk vibe, som vi skal passe på. Og jeg siger heller ikke, at det bliver nemt det her, fordi vi skal jo gætte, og vi skal deducere og udlede. Men jeg kunne godt tænke mig at slå tonen an med min påstand om, at den her teknologi har allerede passeret det første teknologiske paradigmskifte. Og de færreste har lagt mærke til det. Men det er jo sådan med alle teknologier, at de har det med at bygges op, blive sværere og sværere, trække flere og flere ressourcer. Og så ser vi en flad kurve, og så kommer der et eller andet gennembrud på den måde, teknologien er skruet sammen på, og så flytter den sig igen. Og jeg tror, det er sket flere gange her. En af de tydeligste ting, hvis man kigger i statistikker eller tal over, hvad hedder det, for eksempel, hvor mange parametre de her modeller, de indeholder. Altså, hvor mange vægte er der i de her neurale netværk, de her massive neurale netværk. Så skete der noget 24-25, og jeg kom lidt bag på mig, før jeg tænkte, at jeg skulle bruge noget statistik til et oplæg. Og så siger jeg, prøv at se, de her neurale netværk bliver større og større og større. Alle kurven går op ad. Men nej, lige 24-25, der sker der et knæk, og modellerne blev mindre. Men de blev bedre. Og så må jeg finde ud af, hvad det var for noget. Og det er mange ting i spil, men det der jo skete, det var, at DeepSeq kom på banen. Og i den normale danske debat og snak, så blev DeepSeq måske skubbet lidt ud som sådan en kinesisk kopiprodukt, at sammenligne med noget plastikskarmel for Kina, som bare er lige så godt som de store modeller. Og det er en kæmpe stor fejltagelse. DeepSeq blev skabt på et baggrund af, hvad jeg vil sige, skarset til. Det var, at man simpelthen ikke havde adgang til de chips i de mængder, som de store modeller har. Og så var man blevet kreativ. Sådan er det jo. Så det, man blandt andet gjorde, man gjorde mange ting hos DeepSeq i Kina, men man gjorde blandt andet det, man gik tilbage til start 90'erne og fandt noget teori frem, der hedder Mixture of Experts. M-O-E. Moe. Som er en anden måde at bruge neural netværk på. Det er Jeffrey Hinton, som jo ligesom er AI-ensk udfærd, mener man kalder ham, der også stod bag idéerne om Mixture of Experts. Men det var ren teori i start 90'erne, fordi alt, der handler om neural netværk, kræver bare helt utrolig meget compute, og det havde man ikke til rådighed. Men så fandt man det frem, og fandt ud, at man kunne gøre de her netværk væsentligt mindre energiforbrugende, væsentligt hurtigere, og spare en pokkers masse compute under træningen. Og det var jo genialt, hvis man skulle lave et konkurrent netværk til de store. Når man hører om, at Deep Seek er mere effektivt og slår bunden lidt ud af markedet, altså det er helt korrekt, og er måske også en vigtig historie, end at det lige er kinesisk og fyldt med, vil nogen påstå, med kinesisk propaganda, hvad der vist ikke er sandt i så høj grad. Deep Seek bliver brugt mange steder nu, og Deep Seek er jo let nok til at kunne faktisk køre til nogle versioner på lokale maskinerier. Men pointen er, at ud over MOE, så introducerer Deep Seek nogle nye kompressionsalgoritmer, så man kan køre modellen på mindre hardware. Så det var både i træningsøjeblikket, men det er også inferensen, som er velfungerende. Og det er så noget, de store modeller har taget til sig, de fleste af dem, MOE. Og det har givet det her hop, kan man sige, hvor vi får så meget mere ud, så meget mere output, så meget bedre resultat per token, vi putter i vores maskineri. Og det gav også et prisfald på tokens fra langt over 30 dollar til næsten ingenting. Altså en kæmpe faktor blev det billigere at lave inference. Det så vi inden for de første par år af det, vi kalder AI-revolutionen. Den har været i gang længe, men det var først i 2018-2019, at det faktisk blev en ting, det her. Og at chat-GPT nødte en version, der var brugbar.

[Thomas Blomseth: 00:07:47]
Ej, det var sådan nogle år senere med chat-GPT. Det var 2023.

[Klaus Silberbauer: 00:07:52]
Det er rigtigt, det var GPT-3, som ligesom var gennembrudt. Chatten kom på senere. GPT-en, selve modellen, blev jo omtaget meget med GPT-2. Man var bange for, at den blev nærmest hemmeligholdt. Og så GPT-3, som nåede ud. Og så gik der i lige der, ikke? Men så vi har allerede, og det er pointen efter den her lange snak. Vi er allerede der, hvor vi ligesom er skiftet gear på teknologien. Og det vil jo ske igen. På flere måder. Men det kan vi vende tilbage til.

[Thomas Blomseth: 00:08:26]
Ja, lige en teknisk note der. Det, man kalder det, som de sigt lavede, og som også de store amerikanske labs, de laver nu, det er jo destillering. Og noget af det, som nok også foregik, da Deep Circle lavede deres modeller, det var, at de faktisk lå og lavede API-kald op imod nogle af de store amerikanske modeller, og ligesom fik modermodellerne til at træne afkommende. Men det bruger man jo også nu. Altså for eksempel så har Anthropic, de har deres store Opus og Sonnet modeller, og så har de Haiku, og den måde de store labs laver nu, på det er, at man laver en stor dyretræning, og får de der virkelig dygtige modeller til at reason og sådan noget. Og så bruger man så dem til at oplære. De små, billigere, hurtigere modeller. Og der er også Andre Carpenter. Han har jo også en idé, som jeg synes virker rigtig oplagt. Det er jo det, at der måske et eller andet sted findes det, man kalder en kognitiv kerne. Altså der faktisk findes en ret lille model, som kan køre helt ud på Edge device, på din telefon og så videre, som egentlig har alt det, der skal til for at resonere. Og så alt det der viden om verden og sådan noget, det er mere noget, man henter ind efter behov. Men der ligesom findes en kerne, der handler om, hvordan tænker man egentlig. Og det er måske det, som du også kunne se i der kurver, at vi bliver nødt til at lave den her store bevægelse, og være ude med de store fiskenet og bare hælde en hel masse data ind, for at begynde at kunne se, hvad er formen på det her problem? Og hvad er det, vi er i gang med netop så at uddestillere? Og jeg synes, det er super interessant, at den proces har vist sig så tydeligt i senest par år.

[Klaus Silberbauer: 00:10:08]
Der er nemlig flere ting i spil her, fordi Mixer of Experts, det er jo en arkitektur, kan man sige. En måde at bruge et neuralt netværk på. Og kort fortalt, det som jeg forstår som lægge, man er det, er at man sætter sådan et neuralt netværk før sin netværk, som laver en routing af faktisk hver token, der skal behandles. Og i stedet for at aktivere hele det store netværk, man har, som Claude stadigvæk gør, så vidt jeg kan se, altså Claude er et dense netværk, så vil et MOE gå ned og aktivere en del af det neuralt netværk per token. Og under træningen, så finder netværket sådan set selv ud af, hvilken dele af netværket, hvilke experts er gode til hvad. Så vidt jeg kunne se, så snakker vi om i DeepSeek, 671 milliarder parametre, som man i gamle dage i situationstegn ville aktivere alle sammen ved hver token, man smider igennem. Men DeepSeek aktiverer 37 milliarder parametre for hver token. Og det fungerer skide godt, men du bruger simpelthen bare væsentligt mindre compute på det. Både under træningen, som også, kan man sige, er delt op på den måde, og under inferens. Det kræver også lige så meget ram, fordi du skal holde alle parametrene i hukommelsen. Men der, hvor DeepSeek-udviklerne havde problemer, det var simpelthen at skaffe compute nok. De kunne ikke købe de chips her. De havde ikke adgang til så mange videochips, som de gerne ville. Og derfor måtte man gribe ned i nogle modeller, som så viste sig at være ganske effektive og billige at have med at gøre. Og derudover har man så brugt distillation til træningen. Og der kan man sige, er det snyd eller ej? Det ved jeg ikke, men åbentligt ej. Jeg var ikke glad for det, men det er vel gamet.

[Thomas Blomseth: 00:12:02]
Ja, det har vist sig at være gamet. Og det er så noget forretningsmæssigt også, som der bliver jo talt en del om. Det er, hvor meget kan man virkelig forsvare de her kæmpe investeringer, laver jeg sig i foregningsmæssigt forstand, hvis konkurrenter ved bare at bruge ens API, kan aflure eller få noget, der er så god kvalitet. Så det er jo også derfor, at kapløbet er så intenst.

[Klaus Silberbauer: 00:12:25]
Jo jo, men så kan man sige, hvor fik OpenAI data fra? Det er jo heller ikke data, de har pænt bedt om eller betalt for. De har bare scrapet løs. Så det er måske svært at helt tage Sam Ortmans vrede alvorligt, tænker jeg. Nå, det blev meget hurtigt teknisk og nørdet. Men hvis vi prøver at kigge på, hvordan teknologier normalt har det med at udvikle sig. For eksempel sådan noget som, det kunne være jetmotorer. en relativ gammel opfindelse og ændrer sig ikke markant i lang tid, indtil man så begynder at bygge turbofanmotorer, som pludselig bruger væsentligt mindre brændstof og kan flyve meget længere. Ved nogle, kan man sige, en eller anden sted, enkelte indgreb i, hvordan motorer hænger sammen, dog baseret på noget materialevidenskab, som lige skulle opfindes først. Det tog alligevel en 33-34 år eller sådan noget, hvis man lige kigger på historien for jetmotoren. Men her har vi altså at gøre med alt efter, hvornår vi siger, at LLM blev opfundet, fordi teorien er gammel. Men fra vi så fremkomsten der for ganske få år siden, og så allerede nu ude i et gearskifte, og flere på vej, altså nye måder at bruge noget teknologi på, som blev implementeret, så synes jeg, at det ser anderledes ud af det, vi ellers kender. Altså en ekstrem acceleration, som kan være supersvær at fremskrive, men alligevel kunne være sjov at prøve at kigge på og sige, altså hvad vil det her betyde inden for 5-10 år, og hvilke implikationer vil det have?

[Thomas Blomseth: 00:14:03]
Der er jo noget ved den her teknologi, som er anderledes end en jetmotor, eller en elmotor, som jeg også har brugt som eksempel på teknologier. en teknologi, som er sindssygt anvendelig i industriel produktion, men det er jo to årtier i virkeligheden for indført, fordi man skulle bygge fabrikker om, og så videre, og man skulle indse, at man skulle lave fabrik-layer på en anden måde, og så videre. To ting, som er ret anderledes ved den her teknologi, det er jo for det første, så er det en teknologi, der hjælper med at gøre teknologien bedre, og lave en næste version.

[Klaus Silberbauer: 00:14:38]
Præcis.

[Thomas Blomseth: 00:14:39]
Det gør en jetmotor, den hjælper ikke med at lave en næste generation af jetmotorer. Og så yderligere på den der ibrugtagningside også, det vil der jo også, at den her teknologi hjælper folk ude rundt omkring, med at tage den i brug. Du kan jo spørge den her teknologi om, hvordan kan du hjælpe mig, til at gøre den her ting, jeg gerne vil gøre. Det kan en jetmotor, en elmotor heller ikke. Der var folk, der skulle tænke over, i årtier, hvordan man kunne tage det her i brug. Den her teknologi kan også hjælpe helt ude i, den enkelte brugssituation. Kan den faktisk hjælpe folk med at indse, hvordan den kunne tage det i brug. Så jeg synes, der er sådan to, vist forskellige karakteristika, ved den i forhold til, stort set nogen som helst, andre teknologier, vi har set.

[Klaus Silberbauer: 00:15:25]
Ja, den er selvforbedrende.

[Thomas Blomseth: 00:15:30]
Selvindførende, eller hvad vi skal tale, altså det her med, at den vil ligesom ud, og så hjælper den med at komme helt ud, og blive brugt også.

[Klaus Silberbauer: 00:15:38]
Jo, og var det Claude Lantropic, der sagde, at langt hovedparten af koden, er nu genereret af Claude Code selv. Så næste generation af, hvad bliver det, Opus 5, eller hvad næste model kommer til at hedde, er skrevet af Claude Code selv, i et eller andet omfang. Og den kode, der pakker det ind, interface, de UIs vi bruger, osv., som jo bliver et eller andet sted tyndere og tyndere, fordi, nu har du jo bare din Claude i terminalen, i dit IDE. Det er også skrevet af Claude Code. der er en stadig acceleration her, som er meget interessant, og jeg synes, det er nevnet det også i et tidligere afsnit, det her med den selvudbredende teknologi. Altså jeg begynder at få sådan nogle, sådan nogle evolutionsagtige vibes på det her. Der er nogle ting, der minder mig om, hvordan evolution virker, blandt andet det, at scarcity er virkelig en vigtig ting. Altså vi er en teknologi her, hvor vi meget, meget hurtigt rammer loftet, for tilgængelige ressourcer. Vi har snakket om det, da vi snakkede datacenter i rummet, at energiforbruget er jo i den grad, en knap ressource, når vi snakker AI. Og det vil sige, i stedet for bare at, hælde mere og mere og mere, tage en gas i turbinerne, eller hvad, hvad Elon kunne finde på, jamen så giver det mening her, at gå efter modeller, der bruger mindre energi, og dermed mindre vand til køling. Og med de teknologioptimistiske briller på, som jo vi prøver at spænde på, der tror jeg slet, der har vi på ingen måde set grænsen for, hvor meget compute vi kan få ud, for mindre energi, hvis man kan sige det på den måde. Og det er alle de her forskellige, nu er vi inde på MOE, men alle de andre forskellige teknologier, man kan presse ned over de her arkitektur, om nye måder at bruge neurale netværk på. Kompression af kontekstvinduet, for eksempel, som jo er et af de der lofter, vi rammer hele tiden med, når man sidder med sin klort. Nye måder at bruge kontekst på, der kommer til at ske nogle ting meget hurtigt. Så hele den her diskurs, vi har lige nu, hvor det føles som om, at nu vi allerede er ved at nå et eller andet beklageligt singularitet, hvor det hele eksploderer, den synes jeg er ærgerlig, fordi jeg tror knap nok, vi har set begyndelsen på det her. Og godene skal da videre, der er bagsædermedaljen på ny teknologi, som AI. Men mange af de knaphedsting, vi diskuterer, det tror jeg altså AI, nærmest på evolutionær vis, vil presse sig ud af nye modeller, som DeepSeq vil fremkomme, der har helt ny greb på, hvordan vi får kvalitet og hastighed ud af LLM'er. Og så er det selvfølgelig, hvad der sker efter LLM'en, men det kan vi måske vende tilbage til.

[Thomas Blomseth: 00:18:41]
Der er måske noget, som er en glidende singularitet. Og det er jo noget, jeg kom til at tænke på også her sidste uge, hvor singulariteten, den kan du virkelig kun se i bagspejene. og jeg skal nok lade være med at komme med sådan et, en letbenet kirkegårdpar fra os der. Jo, så er det. Men hvis man kigger på, hvis jeg bare kigger på, hvordan jeg lavede software for et halvt år siden, så kan jeg ikke forestille mig, jeg kan ikke forestille mig at gå tilbage til, hvordan det går for et år siden. Der brugte jeg meget af egen støtte. Men bare det, der er sket inden for det sidste halvår, er sådan, at jeg kunne aldrig gå tilbage. Og der kan vi jo også tænke på sådan noget som web og internet, at der er mange ting i dag, hvor vi vokser jo op, uden at have internet. Men vi kan jo ikke forestille os, vi kan ikke længere rigtig huske, hvordan det var, og forestille os, hvor svært var det egentlig at få fat i en funktion. Hvordan var det der, hvis man skulle, hvis det er en flyrejse, det er forsvundet bagud. Men her er det som om, at det der med, hvordan tingene forsvinder bagud, det sker hurtigere og hurtigere. Det er, at de her praksiser, som for et år siden virkede helt vilde, i forhold til at sådan kunne bruge AI, de vil jo nærmest få ældre nu. Fordi der er inden for de sidste måneder, bare skal I tænke. Og nu er det med Cloud Code, at folk hos Anthropic, de bruger jo Cloud Code til at skrive Cloud Code. Altså, det er jo et stykke software, som jeg bliver nødt til hver morgen, og køre opdatering, fordi så er de kommet med en ny version.

[Klaus Silberbauer: 00:20:13]
Ja, det har jeg lagt mærke til. Her for nylig, så er appen, altså flere opdateringere om dagen, har jeg været ude for. Hvor jeg tænkte, jeg havde da trykket på den knap der, men så var der en ny version. Og det har også været nødvendigt, fordi jeg synes, hvis der er noget, der har hængt lidt i bremsen hos Anthropic, så er det så med, at deres UI, det har måske ligesom ikke helt kunne følge med, hastigheden på selve modellen bagved. Men der begynder at ske noget nu.

[Thomas Blomseth: 00:20:36]
Ja, så det med at finde ud af, hvordan skal vi overhovedet gøre de her ting tilgængeligt for folk? Så de forstår, hvad er der mulighed for her? Og det er nærmest, det er jo der, hvor man taler om, det hedder et overhang i modellen. Og det er jo så de store modeller. Det er det, at de har faktisk en hel masse kapabiliteter, som vi misser, som vi endnu ikke har opdaget. Og det er jo også der, hvor på den måde mangler der jo en teoretisk fundament. Det har vi også talt tidligere om. Altså, der er jo ikke nogen modeller, vi har jo ikke nogen matematiske modeller, for eksempel, eller andet, der kan forudsige, hvad er egentlig kapabiliteten af sådan en model. Altså, vi kan jo ikke sige, hvis vi tager de her data, og kører den her form for træning og sådan noget, så får vi en model ud i den anden, som kan de her ting. Der er ingen, der ved præcis, hvordan det hænger sammen. Og det er jo så også derfor, at de store laboratorier, de bliver ved med at prøse compute og data ind i de her træningsforløb, fordi der kommer nye kapabiliteter ud, hver gang man gør det. det hedder skalæringshypotesen, som er, at bare vi bliver ved med at gøre det, så får vi flere kapabiliteter. Og det er jo så, den er jo blevet erklæret død en del gange lidt senere over, af doomers, som det hedder, eller gloomers. Og det har vist sig ikke holdt stik. Og der er jo også en finansiel dimension af det. Og også selvfølgelig en historie omkring, at hvis skalæringshypotesen holder vand, så er det også en god idé at komme for fanden ind, en del finanser, for at kunne for eksempel udbygge datacenter, og kunne lave den næste træningsgørsel.

[Klaus Silberbauer: 00:22:07]
Men det er jo, ja, det er nemlig interessant, fordi nu, jeg havde sådan en snak med en, en bekendt i branchen, som er udvikler, og i den grad bruger genereret kode. Og han sagde med sikkerhedsstemmen, altså, nyd den her lave pris per token, mens den er, for det her bliver meget, meget dyr. Og det forholdt jeg mig faktisk lidt skeptisk til. Han siger, jamen, de her kæmpe investeringer skal ind på et tidspunkt. Vi snakker investeringer der, altså, man haddenprojektet er jo ingenting ved siden af. Alene i 26 bliver det investeret 600 milliarder dollars fra de fem store hyperscalers i LLM, skorstre AI. Altså, det er investeringer i en grad, vi ikke har set før. Prisniveauerne på acquisitions i den her branche, er også helt gark. Det er ikke mange år siden, når man synes, at et opkøb af en teknologi virksomhed til 500 millioner dollars, det var så mange penge. Nu går rygtet om, at OpenClaw Gooden blev acquihired for en milliard dollars, for en person. og en gang Spaghetti Code, der knytter forskellige modeller sammen. Om det er rigtigt, det ved jeg ikke. Det er bare rygter. De har ikke offentliggjort det for OpenAC'ers side. Men anyway, altså, der ligger sådan en winner takes it all tankegang i de her investeringer, tror jeg. Og det tror jeg er forkert. Jeg tror ligesom, dengang IBM satte op brug for fem store mainframes i hele verden, jeg tror, der er brug for rigtig mange modeller i mange forskellige størrelser. Men jeg tror heller ikke, at man regner med at få alle de her penge ind igen. Jeg tror ikke, altså på at sælge chat-GBT til herfru Danmark for 20 dollars i måneden. Jeg tror ikke, det er den revenue stream, man regner med, at der skal få de her 600 milliarder til at forrentes. Fordi det sker ikke. Det er en anden forrentning, man må kigge på der. Og jeg ved ikke hvilken, men altså på at være den første spiller, der når op til næste generation af AI. måske er oven i købet, at det er AGI'en, der trækker, drømmen om den, der trækker læsset. Jeg tror ikke nødvendigvis på Dummer's scenario om, at den her bobble brister og det her kollapser. Jeg tror, dem der ser den der bobble på vej mod kollaps, ud over at hele verden, du ved, inducerer den måde at tænke på, jeg tror, det er dem, der kigger på teknologien, som den er nu, og siger, okay, jeg har haft en samtale med en smart chatbot, der hedder ChatGPT, og det er da også imponerende, men så kan jeg da ikke bruge den til mere. Nej, så kan jeg godt se, det er da sgu ikke 600 milliarder pr. år i dollars. Men hvis man prøver bare at fremskrive lidt den acceleration, vi har allerede nu, og sige, hvor er den om 2, 3, 4 år? Hvad vil den kunne betyde for alle værdikæder i alle virksomheder her i verden? Så vil jeg sige, at forrentningen på global plan, den kan blive kolossal. Og jeg tror, det er den business case, man opererer efter. Det, der kommer lige om hjørnet her, er ikke bare små forbedringer på, på hvordan Claude Code Interfacet virker. Det er kæmpe gearskifter igen. Og jeg tror, vi kommer til at se den hurtigere og hurtigere.

[Thomas Blomseth: 00:25:11]
Ja, der er også det, der hedder Jevons Paradox, som vi jo taler om.

[Klaus Silberbauer: 00:25:17]
Kender du det der, når du har et emne, og jeg siger et eller andet, der står længere nede i dine noter?

[Thomas Blomseth: 00:25:21]
Ja.

[Klaus Silberbauer: 00:25:22]
Ja, men værsgo.

[Thomas Blomseth: 00:25:23]
Er vi der?

[Klaus Silberbauer: 00:25:23]
Vi er der.

[Thomas Blomseth: 00:25:26]
Det er jo så det forhold, og jeg mener, han var vist britiske økonom eller sådan noget i studen af 1860.

[Klaus Silberbauer: 00:25:33]
William Stanley Jevons født i 1865, ja.

[Thomas Blomseth: 00:25:37]
Ja, og det han opdagede i forbindelse med industrialisering, det var, og det der er paradokset, det var, at der var nogle ting gennem i den første runde industrialiseringen, at det blev meget billigere at fremstille noget, og så tænkte jeg, okay, når det blev billigere at fremstille, så givet at forbruget eller efterspørgselen efter konstant, så kommer vi til at bruge færre penge på det, fordi det var blevet billigere at købe, men det han jo så var noget paradokset, det var, nej det er ikke det, der sker, det er noget, noget bliver billigere at købe, så stiger efterspørgselen, fordi lige pludselig så er der en hel masse brug af det, nogle use cases, som ikke var rentable før, hvor man så kan begynde at bruge det, og jeg mener, han kiggede dem blandt på sådan noget som dammaskiner, hvor der lige pludselig var en masse use case, hvor de store, første, dyre dammaskiner, dem kunne man ikke indsætte der, fordi det kunne ikke betale sig med efterhånden, som de blev bedre og bedre dammaskiner, så kunne man indsætte dem i flere og flere applikationer, og lige pludselig havde dammaskiner kørt rundt på skinner og transporteret folk og så videre, så det er hans paradox, og det bliver fremført en del her i forbindelse med AI også, at det er netop det, der sker, at det er ikke sådan, at der er en fast efterspørgsel af tokens, og vi er ved at nå at lofte for, at vi har sådan set udtømt det mulige antal tokens, der kan bruges i vores økonomi eller i vores andre forhæver, Nixon-Baksen, det er det, at efterhånden, som tokens bliver billigere bedre, så begynder man at bruge dem flere og flere steder.

[Klaus Silberbauer: 00:27:06]
Præcis. Der er jo forskellige teknologier, og dampmaskinen, det er rigtigt, Jeroen sådan kiggede på dampmaskinen, og der skete meget der i 1800-tallet, at for at være nogle meget, meget store dyre, ekstremt ineffektive bæster, der også var skide farlige, jamen så blev dampmaskinen kommet op til, og så var det, at man sagde, det er jo fint, fordi så blev det jo billigt, og kold for eksempel, så må kold jo falde i pris, når det bliver sådan nogle effektive dampmaskiner. Det skete så, ikke? Fordi de effektive dampmaskiner, som du siger, kunne bruges hvor som helst. Det var en low-level-teknologi, der kunne enable så meget op i kæden, at dampkraften blev bare udbredt, og kolde prisen steg. Fordi totalforbruget steg voldsomt. Når man kigger tilbage, kan man sige, ja selvfølgelig. men dengang var det bare ikke klart, at dampenergi var så grundlæggende. Det samme, da man troede, at verdens forbrug af digitalisering, at verdens compute, kunne løses med de her fem mainframes, som den lidt for simplede anekdote siger. Det var, fordi du kiggede på, hvad har vi brug for at compute i dag? Da compute også er en low-level-teknologi, så lige pludselig har vi jo en telefon, der bruger meget mere regnekraft, end tusinder af dagtidens, eller millioner af dagtidens mainframes. Så det at flytte bits rundt i et kredsløb, det var der altså også et stort marked for. Og det står jo helt klart, at sådan er der altså også med AI, i bred forstand. Der er, du nævner selv, altså edge devices, der bliver mere og mere intelligente. Vi har allerede puttet, evnen til, at lave inferens i neural netværk, ned på chips, altså pakker det ned i hardware, så vi kan flytte det ud over alt. Så vi har jo ikke engang set starten af den her kurve, på hvor meget inferens, der vil drive vores samfund. Og det, at vi lige nu har nogle kæmpestore datacenter, der står og kværner energi for at levere det, er jo mindre på mange måder, lidt om det centrale kraftværk, eller den centrale mainframe. ikke, at jeg tror, at de forsvinder. Jeg tror stadigvæk, der vil have brug for store centrale datacenter. Vi snakkede lidt om det sidst også. Men rigtig meget, det her flytter ud. I edge, kan man sige. Rigtig meget bliver on-premises. Rigtig meget bliver on-device. Og det bliver en allesteds nærværende teknologi.

[Thomas Blomseth: 00:29:39]
Jeg vil også mene, at det er en fejlslutning. Jeg tror, at når der bliver edge, dem bliver mere og mere kapabel, så flytter bare derud, og så får de store hyper-scales-problemer. Nej, det bliver begge dele på en gang overalt.

[Klaus Silberbauer: 00:29:51]
Et eller andet sted skal Frontier-modellerne jo også drives. Ja. Og trænes. Og det gør man altså ikke on-device endnu i hvert fald.

[Thomas Blomseth: 00:30:01]
Og så det med at få de der nye kapabiliteter, som man ikke har nødvendigvis behov for på edge. Med hardware, nu nævnte du også det, at der jo også begyndte at ske nogle ting, hvor der er jo mærkelige grænser, der bliver ophedet, eller det er nærmest back to the future, hvor jeg så for nogen siden, at der er nogen, der faktisk har taget og kan man sige brændt en model ind i en chip. Det vil sige, du behøver ikke at loade en model i noget RAM, som også for øvrigt er blevet dyrt for tiden. Det er vist faldet lidt de sidste par dage. Så du har simpelthen en model brændt ind i en chip, og den kan du så bruge ekstremt energieffektivt helt ude i edge på nogle devices, som har nogle andre begrænsninger og knapheder. men det er jo også noget, som igen bliver hjulpet på vej af de store modeller. Så de store modeller er med til at opløse nærmest også, hvad der er hardware. Altså, man vil sige hele Intel-epoken, også der med ideen om, at vi har, og det er nærmest morselor, at vi laver de her generiske chips-processer, som har et instruktionssæt, som er generisk, og som kan lave alle mulige beregninger, så vi kan lave Turing-komplet beregninger. Det, der ved at skille, det er lidt det, vi taler om. En meget tidligere forsøgte det med Apollo og programmet, og især Guidance Computer, det var faktisk selve programmet, det var vævet ind i metaltrådet. Og det er jo nærmest det, de har lavet, det her firma, ved at de har vævet en hel model ind i en chip, men det betyder så, at man kan køre lige for sidst den model enormt effektivt. Men hvis vi så bruger AI til at hele tiden kunne generere nye chips, som vi så instantierer fysisk, så er grænsen mellem software og hardware, der begynder jo godt nok også at flytte et andet sted hen, ikke?

[Klaus Silberbauer: 00:32:00]
Jo, og det er også en af de, jeg tror, en af de ting, som mange ikke tænker at være i, det er, at træning af store Frontier-modeller er stadigvæk helt utroligt energikrævende og tidskrævende. Der er vanvittigt meget computer, der skal til for at justere milliarder og milliarder af vægte. Men når du har trænet dit netværk, så er det i citationstegn bare nogle 100 gigabyte matriser, du skal downloade. Altså, du kan tage en kopi af hele dit netværk, du låser det så i tid, det er jo også det, der sker med de store modeller, ikke? Altså, det var meget tydeligt, dengang de ikke var online, og ChatGP3 ligesom kun vidste, hvad der var sket indtil april sidste år og sådan noget. Der er mange måder at føre ny viden ind i som en del af konteksten, men lad det nu være, men der ligger også det, vi vil kalde faktuel viden i vægtene, fordi det er supersvært at skældne mellem sprog og faktuel viden. Der er ikke en klar grænse. Men man kan ligesom kopiere hele netværket og tage ud og køre lokalt, hvis du har ramt nok, ikke? Og inferensen er ikke så vanvittigt energikrævende, som nogen måske vil gøre det til. Det er rigtigt nok, at hvis man kigger på træning af Frontier, en Frontier-model, og siger så og så mange mennesker bruger den her model hver dag, så skal du jo ligesom tage energien og vandforbruget fra træningen og dividere ud, ikke? Men hvis den model bliver brugt rigtig, rigtig meget, så falder de marginale omkostninger trods alt ret voldsomt. Og det er så super interessant det næste skridt, nemlig at sige, i stedet for at flytte en model ud som en gang matematik og nogle kolossale matricer, du skal bruge en masse compute på at regne på, jamen kan vi så brænde den ned i en mikrochip? Fordi det vil gøre den afsindelig billig at køre. Den kan ikke lære noget nyt, den er forårsøget i tid, men du kan måske give den adgang til faktuelle data, du kan sætte den online, du kan lade den trække på kontekst. Men selve inferensen vil jo altså sandsynligvis ikke koste mere, end det koster at køre et lille grafikkort i en computer, kunne jeg forestille mig. og vil næsten ikke kræve noget hukommelse. Altså det er jo en interessant, altså det er jo en commoditification, hvad hedder det?

[Thomas Blomseth: 00:34:18]
Commoditization.

[Klaus Silberbauer: 00:34:19]
Ja, lige præcis den der, det var den.

[Thomas Blomseth: 00:34:22]
Commodificering.

[Klaus Silberbauer: 00:34:23]
Commodificering, det er meget bedre. af A i, ikke? Altså at sige, at den her chip kan vi smide i hvad som helst.

[Thomas Blomseth: 00:34:31]
Ja, nu nævner jeg til André Carpetes idé om den her kognitiv kerne, ikke? Det er jo helt oplagt, så når man har fundet en god kognitiv kerne, og så brændt den ned i en chip, ikke? Fordi så kan man netop få den ud, og hvis den er god til at bruge værktøjer også, ikke? Som du siger, så i stedet for at den har en masse af den her verdensviden, eller fakta blandet sammen med evnen til at tænke, ikke? Hvis den bare er god til at bruge værktøjer, så kan den jo så kalde ud, hvis den får lov til at få internetforbindelser, så kan den så kalde ud og få noget mere aktuel viden, eller noget mere tilpasset viden i forhold til den situation, hvor det bliver deployeret, ikke?

[Klaus Silberbauer: 00:35:08]
Jo, jo, og vi har jo ikke brug for, at alle implementeringer af A i kan alt. Altså dem, vi bruger lige nu, er relativt generelle, eller generiske, og det snyder også mange, og de tror, at chat, gbt, eller klort eller sådan noget, de skal kunne alt. Altså, du kan spørge om, hvordan du stopper sokker og laver en flæskesteg, og så vil du også have, at den kan regne og lave kompleks matematik. Og det er ligesom, det er meget for lange af et stykke software, som bygger på en sporgmodel, synes jeg, og giver også anledning til mange visforståelser og noget latterliggørelse, som jeg godt forstår, fordi man står over for en teknologi her, som de færreste af os forstår fuldt ud, og vi forstår slet ikke, hvor den kan føre os hen. Og så er det så nemt at sige, jamen, den kan ikke finde ud af, hvor mange ærer, der er i Hindeberg eller sådan noget. Nej, men det er måske ikke det interessante at kigge på, altså i forhold til, hvad det vil gøre ved vores fremtid. Men vi vil komme til at se, tror jeg, meget mere specialiseret netværk, og det kan være de her netværk, der kan man sige brændt i Rom, altså hardware netværk, der er pissehammerende grove til én ting, eller et emne, et felt, og kan være nondeterministiske inden for det, og så kan vi smide dem væk, når der kommer en ny model, fordi de koster ingenting. Det er jo bare en mikrochip, ligesom alle andre.

[Thomas Blomseth: 00:36:32]
Og det har så implikationer i hele den forsynskæde, helt inde i fabsene, som laver chips, altså på sin vis kan man sige, at fabs stadigvæk kører efter en gammeldags batch, storskale produktionsmodel, og det er de faktisk, fabs kunne til at blive mere lean, så når du har en fab, der er i stand til lynhurtigt at skifte om, og lave den nye version af den her model, der er blevet brændt ned på en chip, sådan at den vilde version, er på sådan en wafer, at der kommer en hel række forskellige chips ud, der er ikke to chips, der er ens for en wafer, fordi det kommer ind i sidste øjeblik, ind i faben, for den at vide, letografimaskiner, for at vide, hvad er det for nogle chips, vi skal brænde, og det er den meningen med, at grænsen med software og hardware, så virkelig begynder at skride, i forhold til sådan, som vi kender den af.

[Klaus Silberbauer: 00:37:33]
jo, og det måske bliver lidt barrieren, fordi for det første er der ikke mange, der overhovedet kan lave de chips, vi har brug for i dag, altså ASML i Holland, er det ikke det, som er en af de få producenter, af maskineri, der kan lave ekstrem UV-repro.

[Thomas Blomseth: 00:37:56]
Altså de eneste.

[Klaus Silberbauer: 00:37:58]
De er de eneste, ja.

[Thomas Blomseth: 00:37:58]
Den teknik, hvor man kan lave de chips, der er helt i forhold, det er kun ASML, der kan.

[Klaus Silberbauer: 00:38:04]
Ja,

[Thomas Blomseth: 00:38:05]
og det er ikke billigt hardware,

[Klaus Silberbauer: 00:38:07]
de laver.

[Thomas Blomseth: 00:38:08]
Ej, det er halve hele milliarder dollars, per stil.

[Klaus Silberbauer: 00:38:11]
Og så skal du have en meget stor fabriktsal, at installere skidtet i.

[Thomas Blomseth: 00:38:15]
Jo, og der er jo helt klart folk, der siger gange med at prøve at se, om man kan finde alternative teknologier til ASA, ASMLs teknologi. Også fordi, at de er blevet en flaskehals. Altså, der er nogen, der er irriteret, måske irriteret på ASML, og sådan andet med firebrugstavsakronyme TSMC, altså taiwanske chipproducenter. Og det er, at de er vant til, altså gennem mange årtier, at der er sådan nogle boom and bust cycles, inden for chipproduktion. Så de tør ikke lave kæmpe, mæssige investeringer nu. Fordi de er bange for, at de står med grejt af ASML-forladet maskiner, der ikke bliver afsat til producenter, der går konkurs, inden de får dem bygget, eller TSMC, de tør heller ikke bare lige bygge nye fabs, for de kan jo koste 20, 30, 40, altså 50 milliarder dollars for sådan en fab. Så det er nærmest dem, der er blevet flaskhalsen, hvor de har hyperskab, og de er lidt irriteret, fordi de vil egentlig gerne have mere og mere compute, men set fra de her producenter, af hardwareens synspunkt, så er de mere tilbage i hånden, fordi de har set gennem årtierne, at det her, det går op, og det går ned, og vi går konkurs, hvis vi laver nogle helt overdrejende investeringer, så derfor så kan Nvidia, som jo så er dem, der køber ydelser hos TSMC, de kan jo så ikke få alle de chips, de egentlig godt kunne sælge, osv., så der er nogle interessante flaskhals.

[Klaus Silberbauer: 00:39:45]
Og der, jeg prøver at kigge lidt på, altså Nvidia's GPU'er, modsat Googles egne CPU'er, Tensor Processing Units, hvorfor man bruger forskellige ting, hvad er forskellen, arkitektoniske forskellen, så faktisk ikke så voldsomt, som jeg troede den var. Vi snakker stadigvæk om, en hundens masse linjer og algebra, der skal knaldes igennem din fart, men det er jo alligevel interessant, nogle forskellige strategier. Nvidia har en meget, meget general chip, den kan rigtig, rigtig mange ting. Måske også fordi du udspringer, hele grafikkorten af GPU, du ved, verden. TPU'en er meget mere specialiseret, men også billigere. og vi vil nok se et eller andet forgrening der, tænker jeg, hvor vi får måske nogle meget, altså det er ligesom det, der skete mellem, mellem klassiske Intel-processorer, CISC-processorer, og så RISC-processoren, som ligesom har vundet på den lange bane, to forskellige arkitekturer, der gør forskellige ting, og har forskellige upsides. Og jeg kunne forestille mig, at i et eller andet sted mellem, det her med at gå rent hardware, og brande et neural netværk ned i en chip, så ligger der noget med, altså nogle super specialiserede, accelerator-tips, der kun er gode til at lave inferens, for eksempel. Det må der være et marked for, fordi, og de finder sikkert allerede, altså Tesla putter vel, deres egne inferensoptimerede chips i bilerne, og jeg mener, at alt nye Apple hardware kommer med, med nogle Apple-specifikke chips, der ikke laver andet, end at accelerere, eller køre et neuralt, et færdigt trænet neuralt netværk. Og det vil sandsynligvis spredes ud, altså hvor billig kan man lave hardwareen, der effektivt kan lave inferens, for at igen få det helt ud i, de her edge devices. Og det næste, der så vil ske, det er jo, at når vi så er blevet rigtig vant til, hvordan en LLM fungerer, og hvordan vi kan accelerere, et neuralt netværk, så vil der jo komme nye arkitekturer på det. Altså jeg tror ikke, at det vi kalder et neuralt netværk i dag, er den ultimative. Der er noget på vej, som hedder State Space Models, en anden måde at håndtere kontekst på, som er en af de store barriere lige nu, og det kan man mærke, når man sidder og arbejder med en LLM, den sander til. Det er sådan, at den bliver dummere. Den bliver dyrere og dyrere. Prisen for en session i Claude, eller i ChatGPT, stiger jo eksponentielt, med hvor længe du er i den. Fordi hver eneste gang, du smider en token efter den, så skal den igennem hele den kontekst, hele den samtale, jeg har haft, alt det data, du har lagt op i den, og kigge på det hele forfra. og det er også derfor, at du så siger efter 200.000 karakterer, eller hvad de nu, eller 200.000 tokens, eller hvordan de beregner kontekstvinduet, så siger den, ved du da, nu kan vi ikke snakke længere her. Så bliver det komprimeret, og man kører lidt igen. Men Mamba, State Space Model, er så en måde, at tage hele den her hukommelse, i session, og komprimere den ned, til næsten ingenting. sådan i princippet, kan fortsætte en session, om ikke uendeligt, tage meget lang tid. Og det kommer vi til at se, vil virkelig flytte det her. Og igen, nedbringe prisen på inference markant, fordi man slet ikke skal brænde, alle de her tokens af, for at holde gang i en session. Og vi ved, hvor I tager den der, at skifte session. Altså, nu må vi tage den her kontekst, over i en ny session. Men hvis du bare tager, al konteksten over, så starter du sådan set, samme sted, med lige så mange tokens, som du kom fra. Og det er bare et af de, mange teknologier, som baseret på matematik, der blev opfundet for længe siden, men som blev rullet ud, hen over de næste par år. Hurtigere tror jeg, inden vi regner med, at det kommer.

[Thomas Blomseth: 00:43:36]
Det synes jeg også er et eksempel, på det vi også har talt om tidligere, med at man skal jo ikke begrænse, det her for tidligt, eller for eksempel indføre lovgivning, eller noget der siger, nu skal vi have nedsat det her vandforbrug, som stadigvæk er ingenting, i forhold til andre industrielle processer. Fordi vi er i en fase, hvor man bliver nødt til, og for at nå frem til noget mere effektivt, bliver man nødt til at spille nogle ting nu. Fordi det er kun igennem brugen af det, at man finder ud af, hvordan man kan bruge det mere effektivt.

[Klaus Silberbauer: 00:44:08]
Det er jo det her lokale minimum, vi talte om. Tørr vi? Og det er kontroversielt, fordi det er jo væsentlige ressourcer, vi snakker om her. Altså, vi snakker om en kobling direkte ind i globalt overvaring, en kobling direkte ind i vandmangel, i håbet om, at den her teknologi, og de her teknologier, vil bringe os ud på en side, hvor vi igen kan løse problemer, i en hastighed og en størrelsesorden, som vi ikke kunne før, eller som vi ikke kan i dag. Det er jo meget teknologioptimistisk, og der er man kontroversielt. Det satser vi på. Samtidig er det her teknologi drevet af nogle ganske få virksomheder, og helt ned fra individplanet, og nogle folk, der laver rigtig mange penge på det. Og om man set, vil man se det her, hvis det hele var statsdrevet, vil vi som klode, eller lad os bare sige som EU, som region, vælge at sige, nu satser vi på en voldsom acceleration inden for den her teknologi, med den risiko, det vil indebære. Det er jeg ikke sikker på. Altså jeg tror, den er på godt og ondt, at de her store spring, ligesom er dampmaskinen, drevet af rå kapitalisme også.

[Thomas Blomseth: 00:45:19]
Når du nu nævner dampmaskinen, og vi er tilbage der i 1800-tallet, så er det jo også det her aspekt, der handler om, hvad det er for en form for substitution, eller udskiftning, der foregår her med hensyn til arbejde. Og det er sket i industrialiseringen, parunder ikke, den industrielle revolution, det var jo, at man gik fra, at mennesker og dyr leverede musklearbejde, og dem havde brug for mange af jer. Når vi taler om landbruget, der med at langt over 80% af befolkningen, var beskæftiget i landbruget, selv i år 1900. Og det var jo i høj grad, fordi man havde brug for muskler, der kunne flytte ting over.

[Klaus Silberbauer: 00:46:06]
det er en energikrævende industri, der skal hættes nogle kilojoule ind, for at få nogle kilojoule ud.

[Thomas Blomseth: 00:46:10]
Og det var det, at industrialiseringen, og så mekaniseringen gjorde, at det her musklearbejde, det blev substitueret af maskinarbejde. Og det, vi jo står overfor nu, ser det ud til, det er, at vores kognitive arbejde, kan blive for nogen substitueret AI, for andre bliver augmenteret, og for nogle force multipliers. Og det er jo interessant i forhold til, hvad er arbejde for mennesker, og hvor bevæger vi os han der? Fordi vi havde i forvejen, så havde vi jo fået skiftet, stort set det meste af det her musklearbejde ude, med noget kognitivt arbejde, og hvad så, når maskiner kan hjælpe med det, og i hvert fald overtage visse jobfunktioner, som man så ikke behøver at beskæfte sig med. Altså mit eget arbejde, så er det også det, jeg har jo ligesom, jeg har ikke skrevet en lille, kode i månedsvis. Men jeg har godt nok fået lavet meget software.

[Klaus Silberbauer: 00:47:13]
Men din intent er jo også at lave software, og løse problemer med software. Din intent er ikke at skrive kode.

[Thomas Blomseth: 00:47:18]
Præcis.

[Klaus Silberbauer: 00:47:19]
Jeg tror, det er der, hvad er det for en intention, vi ligesom har mere eller mindre bevidst påtaget os. Hvis du har et koordinerende, et processerende arbejde, det kunne også være at researche, det er at finde kilder. jamen det bliver nok svært at opretholde, lidt ligesom at der ikke er brug for så mange markarbejdere før. Og så snakker vi om, og det er jo meget op i tiden, det er vi dogne af at bruge AI. Altså bliver man dogne af at få svaret serveret. Det minder meget om dengang, hvor vi snakker om, bliver man dogne af at bruge en lommeregner. Får man sat gang i hjernen, når man ikke skal sidde og lægge sammen og trække fra. Måske hvis det er at lægge to tal sammen af dine ting, men hvis dine ting er at udarbejde en ny matematik, grave spadestikket dybere inden for et felt, jamen så er det at lave de enkelte beregninger jo ikke det interessante. Det er at komme hurtigt frem til noget ny indsigt, noget ny erkendelse. Og der tror jeg, altså det kan gå begge veje. Det vil gå begge veje det her. Der er en masse arbejde, som vi skal tænke anderledes. Det kræver, som jeg har hørt en sige her, en meget stor ommøblæring i eget hoved, at prøve at få det lange lys på at sige, hvad er det den her opgave en eller anden sted, derude skal ende med. Og hvordan kan jeg applicere den her teknologi for at accelerere min vej derhen. Fordi vi har været vant til at sidde med en hel del, altså også vidensarbejdere, en hel del håndarbejde, der handler om at samle ting sammen og få ting sat op og få ting skrevet og få ting formuleret. Og det kan være en fantastisk lækker proces, hvor hjernen så i alt den her friktion kan arbejde med at se frem, og der falder nogle ting på plads. Og lige pludselig kommer de her teknologier ind og ødelægger den rytme, synes man. Men man kan så også accelerere frem med en helt anden grad af kvalitet i slutproduktet. Et meget mere færdigt slutprodukt, er der et meget mere omfattende slutprodukt. Og den transition er vi i gang med her. Og det bliver jo ud over hele den her acceleration, der sker i selve teknologien. Så skal vi jo som mennesker følge med og sige, hvordan kan vi bruge de her superkræfter til at omformulere og komme hurtigt hen til vores intention. Hvad er det egentlig, vi vil? Og det kan være mega hårdt, når man sidder i et job, hvor man måske ikke har skænket det så mange tanker. Altså hvad er min intention, hvad er purpose med det, jeg sidder og laver i mange år? Det kan jeg sgu godt forstå, at folk bliver nervøse over.

[Thomas Blomseth: 00:49:58]
Det er jo så der, hvor det også kan blive til politiske problemer. Det der bliver tydeligt for mig, det er, at det tema, der så går igen i flere år senere samtager, det er, at simpelthen den måde, vi har tænkt politik på i mange år, den er i gang med at bryde sammen. Og det er de her teknologiske udviklinger, der ligger nedenover der også. Altså at de problemer, vi skal til at løse politisk, er simpelthen en anden karakter, end den her slags politik, som vi er vant til at blive skabt til at løse. Og de her store omkaldtfattringer i, hvordan folk arbejder, vil jeg sige, har en tendens til at afføde politiske revolutioner, eller i hvert fald behov for forandringer. Fordi der ligger jo også kæmpe fordelingspolitiske spørgsmål her. Hvem er det, der render med de store gevinster? Hvem er der fordel i den for samfundet? Hvordan kan samfundet fordel i den? Hvad skal det koste virksomheder at agere, altså at være hjemmehørende i et samfund, når de bruger de her teknologier, og måske at bruge for meget færre folk? Får vi hjemmeføret Jermans paradox, der er i virkeligheden en voldsom stigning i værdiskabs. Fordi lige pludselig kan vi have mange flere små virksomheder, der er konkurrencedygtige, som kan gå ind i nogle nischer, som man ikke før på rentabel vis kunne gå ind i, fordi der er jo for stort overhat.

[Klaus Silberbauer: 00:51:26]
Ja, og hvordan definerer vi værdi? Fordi hvis vi alle sammen skal lave produkter til slutbrugeren, og vi alle sammen i morgen kan lave en app, folk kan købe for 10 kroner om måneden. Jo, men fint nok, men hvor længe eksisterer det marked? Er der en køber derude, hvis alle folk er blevet arbejdsløse? Altså, hvis ikke du har en forbruger, der har penge at bruge, hvem er der så, vi producerer til? Så det handler jo lidt om, altså, har vi en fast størrelse kage, hvor nogle mennesker, dem der er hurtigst fremme i skoene, måske har en mest klare idé om, hvad de vil bruge af IT, tager et meget, meget større stykke, og de andre får et mindre stykke, fordi nu er der ikke noget at lave længere, og ikke nogen der betaler løn. Eller kan den her kage blive så meget større? Og vi håber på det sidste, at værdiskabelsen kan ske, altså, at der ikke er noget loft for værdiskabelsen. Det tror jeg muligtbart, der er, altså alt efter, hvordan vi definerer værdi. Fordi det kan jo regnes for mange måder. Værdi kan være fritid, værdi kan være mange ting, værdi kan være gratis energi, eller CO2-fri energi, ikke? Men vi er jo gennem hele mennesket vokset op under scarcity, hvor vi siger, at der er kun en endelig mængde af et eller andet. Det er vores idé om økonomi. Der er kun så meget mad, der er kun så meget energi. Og ikke for at gribe tilbage til for mange afsnit siden, hvor vi talte lidt om den opfattelse her, er det endelige, ikke? Så tror jeg, at det er nogle af de ting, vi kommer til at skulle arbejde med mentalt og politisk. Og sige, hvad er endeligheden i det her? Men der er ikke nogen tvivl om, at transitionsperioden kan blive rigtig, rigtig træls for rigtig mange mennesker, og for hele samfundet, fordi økonomien skal ligesom vendes, ikke? Og der vil jeg så beklageligvis sige til mange af dem, der tror, at det her er noget, der driver over, og et eller andet håber på, at det bare er noget knald, en boble, der forsvinder. Det er det ikke. Altså, lige så lidt som dampmaskinen forsvandt, eller elektrificeringen forsvandt, så vil AI heller ikke forsvinde. Og så kan man sige, hvad er så næste skridt? Vi kommer som sagt til at se nogle meget, meget mere effektive modeller. Vi kommer til at se andre former for AI, men det er så lidt som om, at LLM'en har bidt sig fast også, ikke? Det viser sig, at det, vi troede var en smart måde at håndtere sprog på, et eller andet udvidet version af Elisa-chatbotten, kan rigtig, rigtig mange ting. Vi kan omsætte helt utrolig mange problemer i sprog, og dermed lade en LLM behandle dem. Jeg er sikker på, at der kommer noget symbolsk AI, og et eller andet vildt. Men der er noget ved sprogmodellerne, der bare kan mere, end vi troede, de kunne. Jeg er sikker på, at man fortsætter med at optimere LLM-ideen fremover. Og så det helt store spørgsmål, som vi jo måske ikke kan runde af på, det er, bliver det her til generelt AI? Får vi AGI'erne? Og der er mit svar indtil videre, det er, jeg tror ikke, vi ved det. Jeg tror ikke, vi vågner op en dag og siger, nå, nu har vi generelt AI. Jeg tror, vi vil se massive sprogmodeller, og masser af resoneringslag ovenpå og måske aktivt selvtrænende modeller med masse agentiske virksomheder fremstå som intelligente. Og så må vi gribe ned i Turing-posen og sige, vi kan ikke sige, om de er bevidste, vi kan ikke sige, om de er intelligente, men de er så, de virker så intelligente, at det faktisk er lidt lige meget. Vi må forholde os til dem som som entiteter.

[Thomas Blomseth: 00:55:13]
Det er jeg sådan set meget enig i. Jeg tror også, at chancen er meget større for, at vi får en ændret opfalds af vores egen intelligens. Altså, den der idé om AGI, det var bare en forløbig idé, da vi vidste mindre om, hvad intelligens er. Det er mere der, jeg er for at hape løs på, for noget, jeg har talt meget om, det er at tænke det mere som det her metamedie, som vi laver ovenpå, for alle mulige andre medier, vi har lavet. Og der ligger så de her spor af, hvordan vi resonerer, hvordan vi fungerer rent kognitivt. Og det er mere en kæmpe omkaldfattringer, af hvordan vi tænker over sig. Det anser jeg for meget mere sandsynligt. Og der er selvfølgelig, vi skal gå tilbage til, hvordan nogle af de store hyperscalers har markedsført sig. Jamen, det har jo også været på det her narrativ, om den her AGI, som bare kommer ind og overtager, og som kan også andre, som har rigtig doomers, som Jokowski og sådan noget, hvor det handler om, at vi kommer alle sammen til at dø og sådan noget. Og jeg tror, det der har vist sig nu, det er, at det er nok ikke der, vi ender. Men det kommer godt nok til at afsted komme en voldsom masse forandringer.

[Klaus Silberbauer: 00:56:27]
Uden tvivl. Jeg kan ikke lade være med at kigge på de teknologier, man har implementeret nu, og dem, der er lige på vej. Det minder de teknologier, fordi de er, som jeg sagde, de er ligesom drevet ud af skarset til på compute og på ressourcer. Det er evolutionen også. Vores egen hjerne er også bygget på en skarset til. Altså, den er enormt energioptimeret. Vi kan utrolig meget for meget og lidt energi. Og hvad er det, vi ser nu? Det er, hvad hedder det? MOE, som sagt. Altså, det er at bruge forskellige dele af et netværk til forskellige opgaveløsninger, hvor det selv finder ud af, hvilken del af netværket, der skal aktiveres. Sparer utrolig meget energi. Det er ikke fjernt fra, hvordan vores egne hjerner fungerer, uden at kunne drage direkte paralleller, men sådan på det abstrakte plan. Og det var ikke fordi, man tænkte, nu prøver vi efter din hjerne. Nej, man tænkte, hvordan kan vi simpelthen spare energi på det her? Hvordan kan vi gøre det her mere effektivt? Jeg nævnede Mamba State Space Models. Måden at komprimere hukommelse på. Der er ikke nogen tvivl om, at en menneske hukommelse er ikke fotografisk. Vi gemmer ikke alle bits, der er strømmet ind gennem vores sansapparat for tid og evighed. Men det er det, som en session på en af språkmodellerne gør nu. Alt bliver gemt. Det kan ikke betales, og det skal komprimeres ned. Og det vil vi se med de her Mamba-modeller. Og så er der det her med, hvor meget viden holder vi i netværket. Mennesker er ikke født med al viden i vores hjerne. Vi tillager os undervejs. Så det med dynamisk at kunne ændre netværkets vægte og have en meget flydende grænse mellem, hvad ligger, kan man sige, brændt ind i netværket, og hvad er viden, vi henter løbende ind som en form af vores kontekstvindue, hvis man kan sige det. Det mener sgu også lidt om den måde, vi selv fungerer på. Den grænse er flydende. Du nævnte destillation. Altså, når man lærer noget af en lærer, hvis man er mesterlærer eller lærer i skolen, så destillerer man jo viden. Man lærer jo ikke. Man får ikke overført en kopi eller en intellektualt DNA fra en lærer. Man modtager ting, man sætter det ind i sin egen kontekst, men destillerer det ned. Og det er jo sådan, som vi så allerede har set deep sick, måske lærer af GPT. Så der er bare nogle ting, uden at sige, at det her, det er ligesom os mennesker. Den er for let købt. Men der er et eller andet, synes jeg, et evolutionært pres, hvor vi begynder at bruge de samme modeller til at problemløse noget af det, som naturen måske har gjort over års tusinder.

[Thomas Blomseth: 00:59:05]
Ja, milliarder.

[Klaus Silberbauer: 00:59:07]
Ja, for den sags skyld.

[Thomas Blomseth: 00:59:08]
Evne til at begå sig i et miljø, og ikke blive slået ihjel, før man har sendt sine gener videre. Altså, der ligger noget generelt problemløsning i dag, som har gjort, at vi kan sidde her i dag og lave den her podcast-episode. Og så spørgsmålet, hvad er det for en primitiv, der ligger der nærmest, som så er ved at... Og jeg er enig, som du siger med, at der er sådan noget evolutionært over. Altså, der kan være, der kommer det, der svarer til en kambrisk eksplosion. Altså, at LLM'erne er dem, som gør, at forskningen inden for Pernoderalt netværk eksploderer i alle mulige retninger, for nu har vi et substrat, vi kan eksperimentere i. Så ja, biologiske metaforer, jeg tror, de er meget på sin plads her. Og sjovt nok, hvis vi lige skal have en ind med sin præsens her i rummet, det var vist noget, han skrev om helt tilbage i 90 år. Det var han. Kevin Kelly, han skrev om det der med, at man skulle måske begynde at tænke teknologi og det, der skete på nattet i sådan en mere evolutionær, biologisk forståelse ramme.

[Klaus Silberbauer: 01:00:24]
Silberbauer og Blomseth er en samtale om systemerne, videnskaben og mønstrene bag de fænomener og teknologier, der præger alt for vores dagligdag til menneskehedens ultimative skæbne. Efter episoden her poster vi kilder og opfølgende materiale på Bluesky, hvor vi også er meget nysgerrige efter dine kommentarer, spørgsmål eller kritik. Find os på snabelag silberblom.dk Vi laver podcast i vores egne tid og for vores egne penge. Vi generer dig ikke med reklamer for VPN-forbindelser, pulvermad eller lydbøger. Men hvis du kan lide, hvad du hører, så abonner på os i din yndlingspodcast tjeneste og giv os meget gerne en bedømmelse på Apple Podcast. Det betyder meget, og vi higer vel alle sammen efter anerkendelse. Del også gerne Silberbauer og Blomseth med venner, familie eller kolleger, specielt hvis de har, ligesom dig, en inclination mod videnskab og erkendelse. Sidst, men ikke mindst, tak for at du lytter med.