Hallo und herzlich willkommen zu den neuen AI News 3326, der Programmierbar. Schön, dass ihr alle dabei seid. Wir sprechen heute über Preisänderungen bei ChatGPT. Dann eine Pflicht, generierte Texte und Bilder von AI zu markieren. The Anthropic nachkommt. Spotify hat was mit AI veröffentlicht. Und zwar ein Tool, wo wir uns noch schwer tun, es auszusprechen. Vielleicht heißt es Chirp. Also es wird auf jeden Fall XIRP geschrieben. Und dann gibt es noch einen kleinen Nachtrag zu dem Hugging Phase und OpenIncident, wo da ein bisschen Hacking betrieben wurde, wo es nochmal ein größerer Vortrag gab, wie es dazu kam. Wo wir nochmal ein paar Insights dazu haben. Mein Name ist Dennis Becker. Und mit dem Studio.
SPEAKER_02Nicht im Studio, aber trotzdem mit dabei, Jan-Gregor Imgetriebel.
SPEAKER_01Moin Moin. Da ist unser virtuelles Studio hier. Virtuelles Studio. In dem du mit dabei bist. Genau. Philipp wegen Terminkolrigierung heute nicht dabei. Fabi wegen, weiß ich gar nicht, Einschulung, glaube ich, ne? Einschulung war gestern. Ich glaube, Fabi hat einfach keine Lust heute. Fabi hat keine. Nein, das gehört sich erst denn an. Also gestern hätte es eigentlich die Aufnahme gestoppt, YouTube gemacht. Und heute kann er natürlich nicht, weil viel zu tun. Ja, gefühlt, ich war jetzt drei Wochen im Urlaub und deswegen auch die letzten AI-News nicht dabei. Und natürlich ist immer so, wenn man da, ich habe auch noch zusätzlich Digital Detox gemacht, das heißt, ich habe drei Wochen nicht in mein Handy geguckt, was natürlich an KI-Zeiten eine Ewigkeit ist. Und dann brauchte ich am Montag erst mal ein bisschen zu gucken. Was sind denn eigentlich die User? Das passiert so in den letzten drei Wochen wieder an neuen oder neu.
SPEAKER_02Aber ich glaube, du hast gute drei Wochen erwischt, oder? Also wenn man mal so die letzten zwölf Monate anguckt, waren das jetzt, glaube ich, ruhige drei Wochen in der Summe.
SPEAKER_01Ja, aber ich meine, da gab es schon diese Open Source Modelle, die neu sind. Es gab Opus 5. So, gerade Opus 4.8. Also auch schon.
SPEAKER_02Ja, das ist für mich schon wieder so ein paar Folgen her oder hast recht auch alles in der Zeit.
SPEAKER_01Also es ist nichts passiert ist so in der Zeit. Du, äh, du, Bayer, du hast, habt ihr jetzt eigentlich schon Sommerferien?
SPEAKER_02Hier sind jetzt auch Sommerferien, die ersten anderthalb Wochen jetzt quasi.
unknownOkay.
SPEAKER_02Ja, wir haben noch ein bisschen. Wir sind ja immer die letzten. Ja.
SPEAKER_01Findest du das gut?
SPEAKER_02Ach ja, also ich glaube, diese Begründung von Annodazumen, dass ja die Kinder hier irgendwie im Sommer helfen müssen, in dieser ganzen Landwirtschaft und so, das taugt natürlich vorne und hinten nicht mehr. Aber es ist natürlich schon cool, so sehr antizyklisch Ferien zu haben irgendwie. Ja. Und gerade auch jetzt, wo die Sommer in Deutschland ja tendenziell, also auch wenn sie manchmal zu heiß sind, aber doch ja irgendwie cool werden, so, das positiver am Klimawandel mal mitzunehmen. Ist natürlich cool, quasi die Ferien im August, September zu haben, weil man dann quasi, wenn es hier dann wirklich wieder kühler, herbstlicher wird, dann nochmal irgendwie weckern, woanders hin und nochmal ein bisschen mehr Sonne mitnehmen. Das ist natürlich auch ganz praktisch. Ja, das stimmt.
SPEAKER_01Das stimmt. Ja, interessant. Aber wenn man dann, ist es eigentlich so, ab Frankfurt kann man wahrscheinlich einigermaßen okay fliegen dann, ne? Zumindest ist ja dieser Horizont, wo so alles extrem teuer ist. So hatte ich in Frankfurt das Gefühl, es eher so auf sechs bis acht Wochen terminiert. Jetzt nicht so, wenn die Bayern noch Urlaub haben.
SPEAKER_02Nö, nö.
SPEAKER_01Also wir fliegen jetzt ja auch.
SPEAKER_02Schweinerei. Wenn wir nach Kalifornien fliegen, auch ab Frankfurt. Und ich glaube, es war also schon verhältnismäßig teuer natürlich, aber es war bei weitem nicht mehr dieser Sommerferienaufpreis, den man sonst irgendwie so zahlt.
SPEAKER_00Okay, sehr gut.
SPEAKER_01Gut, die EU hat ja alle möglichen Regelungen rund um AI auch irgendwann mal auf den Weg gebracht. Und eine davon ist, dass man eigentlich kennzeichnen muss, wenn KI-generierte Inhalte irgendwo erstellt wurden. Und Enthropic ist, glaube ich, jetzt so eine der ersten Großen, die diesem AI-Act ein bisschen stärker nachkommen und dann gesagt haben, ja, sie unterzeichnen diese EU-KI-Verordnung und verpflichten sich eben, dass die Dinge markiert werden. Und das funktioniert dann eben für eigentlich alle Medienarten, also Videos, Bilder und auch Text. Ich habe gar nicht leider technisch weiter reingeguckt, wie das mit dem Text funktioniert, aber das sind praktisch so unsichtbare Wasserzeichen, die von Maschinen dann trotzdem gelesen werden können und auch ein zumindest simples Kopieren überleben. Ich glaube, also wenn man es darauf anlegt, findet man über allen Varianten Wege, diese Wasserzeichen auch zu entfernen, sei es von den Bildern, wo es in irgendwelchen Metatext drin steht. Aber sagen wir, für den Otto-Normalverbraucher ist es jetzt nicht so einfach, das alles rauszumachen. Das heißt, auch wenn ein Bild irgendwie verschnitten wird und solche Sachen, bleiben diese Metadaten meist auch lesbar, sodass man dann eben weiß, dass dieser Inhalt von KI generiert wird. Ich weiß nicht, ob ihr, wenn ihr auf LinkedIn das mal gesehen habt, das gibt es schon jetzt länger, ich glaube ein paar Monate, aber wenn da KI generierte Bilder hochgeladen werden und die eben auch getaggt sind, dann ist da so ein kleines Icon, was einen darauf hinweist. Und das ist uns auch besonders aufgefallen, weil wir beispielsweise unsere Cover auch mit KI generieren, die eigentlich nicht viel machen, außer ein Text ersetzen. Es ist irgendwie wie früher ein normaler Bild, Bearbeitungsflow. Aber trotzdem kriegen wir dadurch dieses Label dort. Oder? Soll das mittlerweile?
SPEAKER_02Also nicht alle Bilder. Also wer jetzt quasi einmal unser LinkedIn-Feed anguckt und sich wundert, warum es bei manchen Podcast-Covern nicht dabei ist und denkt, wir haben irgendwie die krasse KI-Erkennung von LinkedIn ausgehebelt. Das ist leider nicht so. Wir haben halt nur manchmal Figma am Start und dann machen wir das quasi von selbst. Und manchmal erzeugt das eben was ist das, Gemini, hast du da genommen, gell? Nanobanana macht das. Ja. Ja, bei Bildern gibt es ja schon länger. Also ich glaube, sowohl OpenAI als auch Google haben ja so mit SynthID sowas schon am Start, wo quasi sowohl auf Metadatenebene als auch in so einem Pixel-Grundrauschen in dem Bild quasi das embeddet wird. Ich habe auch versucht rauszufinden, wie die das jetzt bei Texten machen und das geht wohl irgendwie über die Token-Reihenfolge und so. Das ist ein bisschen spannend. Ich finde es ganz cool, den Disclaimer, den sie irgendwie dran gepackt haben, zu sagen, so, naja, das Einzige, was wir damit quasi sagen können, ist, dass halt KI irgendwie involviert war. Aber ob dieser Text jetzt quasi vollkommen von KI generiert ist oder ob jemand jetzt nur nochmal so, weiß nicht, Grammatik hat drüberfliegen lassen oder vielleicht nur eine Übersetzung davon irgendwie erzeugt hat oder sowas, das lässt sich halt irgendwie so im Nachhinein dann quasi nicht mehr feststellen. Und das ist, glaube ich, so ein schwieriger Punkt. Ja, genauso wie du natürlich sagen kannst, na gut, wenn ich mir den KI-Textentwurf in meinem Chat-Fenster hier nehme und den Händisch irgendwie grob abtippe, dann geht auch wieder so ein bisschen was Lost in Translation. Also so wirklich eindeutig ist dieser Marker noch nicht, aber natürlich trotzdem interessant, dass sie es wenigstens versuchen, da irgendwas zu machen.
SPEAKER_01Ich meine, das ist ja irgendwie, dass es vorher auch da war, oder? Ich meine, Copyright ist halt nicht so einfach. Und ja, Gott, das brauche ich ja auch schon irgendwelche Sachen kopieren. Aber wenn jetzt so, ja, deswegen meine ich halt, ne, im Standardfall ist es dann völlig bist einfacher. Du kannst dann einfach anzeigen und sagen, hey, hier war AI mit drin, vielleicht für Suchmaschinen, für Indexen und so weiter, ist irgendwie auch relevant, so die irgendwelche Wissenssachen aufbauen und einfach da schnell entscheiden zu können, ist es jetzt menschlicher Content oder ist das grundsätzlich der Ursprung von KI. Denke, dass das völlig auch so die Mithintergründe sind, warum man das einführt.
SPEAKER_02Ich hoffe, mein Social Media Feed wird jetzt wieder ein bisschen aufgeräumter und dieser ganze KI-Content wird vielleicht so ein bisschen downgerankt, aber weiß nicht. Ob es dazu genutzt wird am Ende des Tages.
SPEAKER_01Wenn die Leute den Content genießen und damit interagieren, dann hat er ja irgendwo auch eine Berechtigung, oder?
SPEAKER_02Ja, fair. Also ist ja, egal ob jetzt bei Text oder bei Bildern oder Videos, so mit Wo, wenn es irgendwie lustig und spaßig ist, alles cool. Aber also ich glaube, es gibt schon Social Media-Konsumenten, die halt nicht unbedingt jetzt nur wegen der Content-Qualität da irgendwie hinwollen, weil sie sich berieseln lassen wollen, sondern weil sie halt einen sehr direkten Draht zu verschiedenen Menschen suchen, entweder in einem geschäftlich-Work-Kontext oder persönlich oder so. Und da kann ich mir schon vorstellen, dass Leute sagen würden, wenn sie die Wahl hätten zu filtern, will ich irgendwie AI-Content ganz raus oder runtergerankt oder keine Ahnung was haben, dich da wahrscheinlich vielleicht auch gegen entscheiden würden. Aber am Ende hast du recht, in der Aufmerksamkeitsökonomie zählt nur, wo drauf geklickt wird und wenn AI-Zeug geklickt wird, dann sind die coolen Katzenvideos halt immer noch gut, ja. Egal, ob sie von Hand oder AI gemacht sind.
SPEAKER_01Gut. Chip, Chip. Was hast du gehört? Chip? Chip habe ich da, also so wie die so. Ist das wie die englischen Vögel machen? Nee.
SPEAKER_02Ja, so habe ich mir das nämlich auch hergeleitet, so Vogelgezwitscher und es wird ja XIRP, also Xirp irgendwie auf Deutsch geschrieben. Und zwar ist das ein neues Tool von Spotify und ich muss mich jetzt schon dafür entschuldigen, wenn ich zwischendrin dreimal Shopify sage oder so, dann ist das frühe Prägung und schlägt sich manchmal wieder durch. Die haben ein Tool veröffentlicht und was das genau ist, schauen wir uns gleich an. Es fällt in diese Kategorie von, ja, also Dennis ist ja ein großer Conductor-User, wir haben hier in der Firma auch noch Leute, die Superset und sowas benutzen. Für mich fällt das alles so in diese Kategorie Meta-Harness und irgendwie Agent Orchestration und sowas, also Tools, die dir quasi helfen, mehrere Sessions deines Coding-Agents irgendwie parallel auf demselben Projekt zu betreiben und im Idealfall noch so ein bisschen Mewert on top liefern, damit es jetzt nicht nur so ein Terminal-Multiplexer ist, mit irgendwie, du hast dir 20 Sessions gleichzeitig auf, sondern hilft dir vielleicht ein bisschen noch deine Workflows zu automatisieren, ein bisschen Überblick darüber zu behalten, welcher Agent gerade woran arbeitet, deinen Git-Kontext ein bisschen mit zu managen und sowas alles. Also ich glaube, das, was so Leute immer auch mal mehr so als Agenc-IDEs vielleicht auch bezeichnen. Ja, ich weiß nicht, ob sich da so ein Einbeutel schon durchgesetzt hat. Egal, auf alle Fälle in diese Kategorie soll auch Geschirr fallen. Und warum sie das machen, da muss man vielleicht, bevor wir über das Tool selbst sprechen, nochmal so einen halben Schritt zurückgehen. Spotify ist ja eigentlich so ein Musikstreaming-Dienst und jetzt könnte man sich fragen, warum bauen die überhaupt Developer-Tools? Und warum veröffentlichen die das überhaupt? Das kann ja schön, wenn die das hier für intern irgendwie bauen, aber es muss ja nicht alles nach außen getragen werden. Spotify hat vor mehreren Jahren schon mal ein Tool, ein Framework veröffentlicht, das Backstage heißt. Und Backstage war so ihr internes Tool, um einen Developer-Plattform-Dashboards quasi zu bauen. Also du willst irgendwie dein Microservice deployen, du willst irgendwie sehen, wie der im Netzwerk bei dir eingebunden ist, du willst so ein bisschen Insights haben, du willst ein bisschen Observability haben, du willst Deployment managen können, etc. etc. Das haben sie damit so alles gemacht, weil Spotify ja schon ganz früh dieses so kleine, agile, unabhängige Teams, dieses Squads- und Tribes-Thema irgendwie groß gemacht hat. Und da war es natürlich auch erforderlich, also Dennis wie bei uns auch so, you build it, you own it, you run it, und da muss halt den Leuten auch irgendwie Tools dafür an die Hand geben und so und da kommt quasi Backstage her. Ich habe es selber noch nie benutzt, aber ich habe, als ich ein bisschen Research für die Folge gemacht habe, gesehen, dass je nachdem wem man so fragt, die wohl de facto damit Marktführer in diesem Space sind. Also Marktführer bei einem Open Source. Also die meisten, die ähnliches Tooling aufbauen wollen, die nutzen dann eben entsprechend Backstage. Das fand natürlich Spotify irgendwie ganz cool, hat gesagt, hey, da kann man doch ein kommerzielles Produkt irgendwie draus machen, wenn du dein Developer-Plattform-Portal-Dings eben nicht selber hosten, managen, betreiben willst, sondern nur die Infrastruktur dafür mitbringst, dann können wir dir quasi das Tooling drumherum anbieten und haben ein Produkt daraus gemacht, das Portal heißt. Portal ist eben dann dein Management für deine Infrastruktur, deine interne Infrastruktur und das ist im Prinzip die kommerzielle Variante von Backstage. So, das nur so als einmal als Disclaimer vorab.
SPEAKER_01Wie fällt jetzt Chip da rein? Kann ich ganz kurz noch fragen, weil du das so kommerzielles Produkt dort gemacht, das kostet Geld. Ja, das ist meistens so die Vorstellung von kommerziellen.
SPEAKER_02Und das ist wohl auch irgendwie recht erfolgreich. Also natürlich, bei Spotify intern wird es jetzt nicht irgendwie ein riesen Revenue-Share haben, weil sie immer noch den allergrößten Teil mit Musik verdienen. Aber es ist wohl immerhin so erfolgreich, als dass es sich selbst trägt. Also du könntest es quasi als eigenes Produkt ausgründen und es würde gut funktionieren. Und was Portal halt auch kann, ist so Metawissen, um diese Produkte halt anzuhäufen. Wer hat das gebaut? Was sind da so für Architecture Decisions reingeflossen, wie fügt sich das in deine gesamte Systemlandschaft irgendwie ein, etc. etc. Und das ist eben der Punkt, wo sie mit Chirp andocken wollen. Sagen, okay, wenn du jetzt quasi dein Projekt mit Chirp baust, ja, was wie gesagt erstmal wie Conductor und Superset einfach nur dein Agent-Harness managed für dich, ja, können sie aber das Wissen aus Portal, Backstage anzapfen und haben halt gleichzeitig noch super viel Kontext zu diesem Projekt, an dem gerade gearbeitet wird. Historisch, infrastrukturell, alles, was eben so über die Jahre dazu angehäuft ist. Und es gibt gleichzeitig noch einen Rückkanal. Wenn du also mit Chip quasi Feature baust und mit deinem Agent darüber sprichst und Fragen beantwortest und diskutierst, sorgt Chip dafür, dass das Wissen quasi auch wieder zurück zu Portal, Schrägstrich, Backstage fließt. Das fand ich eigentlich ein ganz spannendes Feature, weil das ist ja was, was wir uns intern hier auch schon in verschiedenen Teams gerade verschieden lösen. Es gibt Leute, die bauen da so Knowledge Bases in den Repositories auf, es gibt Leute, die bauen da irgendwie Obsidian-Walls auf, es gibt, ähm Fabi hat ja schon mal hier darüber gesprochen, wie sie so, wie hieß dieses Tool auf Astro aufbauend, so eine Dokumentation, die quasi parallel deploy wird zu der Anwendung. Also ich glaube, das Problem ist einfach real. In dem Moment, wo du anfängst, mit Agentic Engineering irgendwie immer mehr Code und immer mehr Features zu schippen, musst du auch immer mehr Kontext schaffen, aktualisieren, abrufbar haben, etc. Und wenn das quasi die Lücke ist, in die sie reinspringen wollen, kann ich mir schon vorstellen, dass das sehr gut funktioniert. Ich habe mir das vorhin mal runtergeladen und einfach mal installiert. Ich habe natürlich jetzt keinen Portal-Account bzw. keine große Infrastruktur in Portal, mit der ich das hätte testen können. Dementsprechend verhält sich für mich Chip, was erstmal so kostenlos in der Nutzung ist, erstmal in Anführungszeichen nur so wie all diese anderen Tools eben auch. Wie Kontakte, wie Superset, du machst das auf, du kannst sagen, will ich das mit Cloud Code nutzen, will ich es mit Codex nutzen, will ich es mit Gemini nutzen, wie auch immer. Und dann kannst du quasi in verschiedenen Work-Trees parallel an deinen Sessions arbeiten. Du hast diese Übersicht von verschiedenen Agenten, die gerade an verschiedenen Tasks arbeiten, also das ist ja mittlerweile auch eine Experience, die man kennt. Also da ist, glaube ich, nicht mehr so viel revolutionär dran. Ich glaube, ihr großer Punkt ist da tatsächlich eher zu sagen, okay, wir binden das eben in dieses andere Ökosystem, was wir mit Backstage und Portal schon haben, mit ein.
SPEAKER_01Ja, ist gut. Finde ich mir gut, wenn wir hier News haben, die, wo ich denke, da sollten unsere EntwicklerInnen mal zuhören. Und das dann zwar mitbekommen. Weil ich jetzt gar nicht auch mitbekommen habe, also ein Team tatsächlich hatte sich Backstage von Swallyfry angeguckt und rausgesucht, aber ich glaube nicht, dass sie die Iteration von Triple bekommen haben.
SPEAKER_02Also interessanterweise, weil du sagst, bei uns haben sich Leute Backstage angeguckt, als ich da jetzt meine Research gemacht habe, habe ich verschiedene, wie sagt man, Testimonials, Case-Sudys, wie auch immer gelesen, zu Backstage. Und die haben eigentlich alle gesagt, so, boah, du willst Backstage nicht selber aufsetzen. Also Portal macht quasi schon Sinn, weil dieses Framework so komplex und mächtig ist, dass es sich eigentlich nicht lohnt, wenn du nicht ein eigenes Plattform-Engineering-Team hast. Also, wenn Spotify es für sich selbst macht, voll okay. Aber ich glaube, jetzt in unserem Case, wo hier Teams aus einer Handvoll Entwickler irgendwie an einem Produkt arbeiten, lohnt es sich, glaube ich, nicht, dass irgendjemand davon sich Backstage anguckt. Ich glaube, wir wären dann eher so der Use Case für, wir kaufen das vielleicht über Portal oder sowas ein. Der eine Case-Study, den ich hatte, der spricht davon, wenn du es dir nicht leisten kannst, willst, mindestens zwei bis drei Leute dafür abzustellen, die sich nur um dein Backstage-Setup kümmern, quasi, dann guck dir lieber mal Portal an. Also, ich habe es auch nicht benutzt, aber das sind so ein paar Zeilen, die habe ich tatsächlich häufiger gefunden. Kann man vielleicht hier anschauen.
SPEAKER_01Hast du irgendwas über das Pricing gesehen? Oder ist das noch alles so früh, dass es noch nicht gibt? Von Chirp? Ja, oder Portal gibt es schon länger, oder wie es ist? Portal gibt es schon länger.
SPEAKER_02Portal Pricing, da bin ich auch irgendwo drüber gestolpert, aber Chirp ist erstmal kostenlos.
SPEAKER_01Ja, weil bei Portal finde ich zumindest hier im Handy nichts auf die Schnelle.
SPEAKER_02Ich gucke.
SPEAKER_01Aber gut. Also hätte mich nur mal interessiert, wieso das Modell ist. Also kostet das pro User, kostet das pro keine Ahnung.
SPEAKER_02Im Zweifelsfall ist das dieses typische, den Preis bekommst du, wenn du uns anrufst, Modell. Ich finde auch tatsächlich keinen 1 zu 1-Preis.
SPEAKER_01Ein Hinweis für größere Teams.
SPEAKER_02Gut. Ich werde mir das auf alle Fälle mal anschauen, allein chirp den Agent oder dem Agent Hannes, Meta Hannes, wie auch immer. Conductor, Orchestrator, bla. Fand ich ganz cool, sieht auch ganz schön gemacht aus. Also ich glaube, wer den Spotify als App kennt, also egal wie cool man das jetzt nativ oder nicht nativ findet, aber so UI und JX können die irgendwie. Da haben die, glaube ich, die richtigen Engineering-Leute für. Und sieht man auch in Chip. Fühlt sich irgendwie cool an, wenn man es aufmacht schon.
SPEAKER_00Tschüss, Chip. Ist lustig, wie die englischen Tiere manchmal anders machen.
SPEAKER_02Ist wirklich so, ist wirklich so. Ich hab das neulich versucht, eure Tochter zu erklären, weil im Deutschen macht er, wie macht ein Hund im Deutschen, Dennis? Eben ja eigentlich nicht, ja, genau. Weil im Englischen macht er ja Wuff.
SPEAKER_01Einmal Wuff mit WW App, ne?
SPEAKER_02Ja, so, wäre wie so ein Wuff, so, ja, und im Deutschen ist es entweder so ein Wow oder Wuff oder keine Ahnung. Und das ist das ja eigentlich genau dasselbe Tier, aber wieso spricht es im Englischen anders? Mein Lieblingsbeispiel ist der Frosch.
SPEAKER_01Weißt du, wie der macht in beiden Sprachen? Hä? Ein Frosch quarkt. Ja, genau. Das ist Quark im Deutschen. Und es ist Grabit. Achso, im Englischen macht er mir so ein Rabbit. Genau, das ist Gravit. Und ich finde, das hört sich wirklich an wie Frosch. Rabbit. Ja. Das ist richtig.
SPEAKER_02Ich glaube, Froschquarken ist halt so, ist so ein Verb, was gar nicht so klingt wie das. Ja, aber auch im Comic steht ja Quark. Okay, ich habe lange keine Frosch-Comics mehr gelesen, fällt mir auf. Aber ich werde das nachfragen.
SPEAKER_01Quark, Quark, das ist eher eine Ente, die Quarkt. Das ist richtig. Quarky eigentlich auch. Ist das identisch?
SPEAKER_02Ja, im Englischen quarkt eine Ente natürlich, äh Quarkt ihr auch. Und im Deutschen auch? Machen wir im Deutschen echt einen Frosch. Im Deutschen würdest du ja, glaube ich, sagen, eine Ente schnattert, ne? So wie Gänse auch schnattern.
SPEAKER_01Ja, sie schnattert, ja. Aber wie würdest du. Also es gibt ja trotzdem auch die Lautsprache dazu.
SPEAKER_02Boah, keine Ahnung, jetzt bin ich raus. Jetzt sind wir aber, glaube ich, ganz falsch arbeiten.
SPEAKER_01Krasser, also krasse Erkenntnis mit 38 Grad des Enden und Frösche des Light Heroes machen.
SPEAKER_02Also wenn ich mir nachher die Analytics von dieser Folge irgendwie angucke, werde ich genau den Dipp sehen, wo die Leute, glaube ich, abspringen.
SPEAKER_01Nein, das ist die meistgeteilte Stelle, denke ich. Ja, hör mal, weil es einfach ein sehr breites Publikum anspricht. Gut, schnell zurück zu AI News und da haben wir noch Pricing-Änderungen von ChatGPT, die wir Glaube ich, hier noch nicht besprochen haben. Und zwar für die 5, 6 Reihe und vor allen Dingen bei Luna ist so der krasse Sprung, der nochmal 80% reduziert hat und wo man eigentlich auch sagen kann, er ist praktisch, also es ist jetzt kostenlos, wenn man das Chat-Interface nutzt. Und zwar für Text unlimited. Was irgendwie auch nochmal ein krasser Schritt so ist, so finde ich, dass man so sagen könnte, okay, wir haben jetzt ein Modell, was doch vielleicht capable ist, so in den Kosten reduziert, dass sie eigentlich sagen können, na egal wer, nutzen einfach unlimitiert und unsere Infrastruktur hält das schon aus. Und 5.6 soll hat auch nochmal inhaltlich ein gewisses Update bekommen. Und zwar nicht so sehr, was die Capabilities angeht, sondern eher die Art, wie geantwortet wird. Also das heißt, dass es ein bisschen fokussierter ist, dass es weniger, gut, das kann man jetzt sagen, ist auch Inhalt, weniger Fakten falsch, weniger falsche Fakten teilt, so rum. Genau. Und tendenziell auch schneller einfach reagieren kann in einigen Fällen.
SPEAKER_02Es ist interessant, dass da irgendwie Open AI und Entropic an denselben Problemen kranken. Also es war ja auch was, was so Opus 5 vorgeworfen wurde, sodass es wieder sehr ausschweifend und irgendwie geworden ist und seine Art zu antworten und im Thinking halt irgendwie so sehr extensiv geworden ist, wo Entropic ja auch noch so ein bisschen nachsteuern will und OpenAI offensichtlich ähnliche Probleme hat. GPT 56.
SPEAKER_01Ja, und dann auch wieder mehr Fehler irgendwann kommen, ne? Weil sie halt die Modelle irgendwie dann doch so trainiert sind, eine Antwort zu haben am Ende. Und dann bemühen sie sich halt ihre Antwort zu finden und die ist halt dann nicht immer richtig. Genau. Luna kostet jetzt, wenn man es über die API nutzt, 20 Cent pro Million Input-Tokens und 1,20 Dollar pro Million Output-Tokens. Also einfach das in der Kinder. Was ist ungefähr bei Okus und so die großen Modellen, sowas wie 25 Dollar und 15 Dollar oder so? Einfach so vom Scale zu sehen, wie günstig das jetzt gerade geworden ist. Ah, und dass wir gar nicht auf der Agenda hatten, was mir gerade noch einfällt, hatten wir das mal irgendwann in der News, dass das OpenAI mit den 5Segmodellen auch auf wie heißen diese Chips? Cerebrass?
SPEAKER_02Oder ist er noch irgendwann älteren? Da haben wir nicht drüber gesprochen, dass sie auch gesagt haben, dass sie das jetzt anders deployen.
SPEAKER_01Genau, und das fand ich nämlich auch super interessant und irgendwie erst Sekunden dann darauf auch schon Zugriff. Und zwar, also es ist einfach eine andere Infrastruktur, Chips, auf denen die laufen. Und das heißt, die Inference wird einfach deutlich schneller. Und die Zahlen waren nämlich, dass man da auf 700 Token pro Sekunde kommt, was irgendwie 10 bis 20 Mal so schnell ist wie jetzt. Und das ist dann schon wieder, finde ich, einfach so eine Dimension, die krass ist. Also selbst wenn das Model halt dann noch nicht die Capabilities hat wie jetzt, die absoluten Short-Fear-Modelle, aber da wieder nochmal so ein Speed Increase einfach ist und du, ne, die halt dann im Zweifel nochmal mehr denken können, weil die Token günstig sind und die Schnelligkeit so hoch ist. Ja, also wir haben ja schon häufiger darüber geredet, so wird es irgendwann alles so teuer und keine Ahnung, was man es nicht mehr bezahlen kann. Ich glaube hier weitere Indikatoren, dass wir weiterhin viel Intelligenz für ähnliche Preise bekommen, wie es jetzt ist und im Zweifel noch besser und noch schneller als heute.
SPEAKER_02Ja, das war ja auch was, was wir im Rahmen von der Google Cloud Next nochmal so besprochen hatten, wo Google seine Tensor-Architektur so in zwei Varianten für dieses Jahr vorgestellt hatte. Einmal für Inference und einmal für Training. Und das zeigt es halt einfach, dass so je mehr spezialisiertere Hardware man haben kann, desto effizienter ist es halt. Aber es wird halt dann so ein Abwägungsspiel, ne, für diese ganzen Datacenter-Betreiber, weil du halt nicht mehr irgendwie mit einer Infrastruktur, wenn du dir nur dieselben Nvidia-GPUs überall reinknallst, dann halt nicht mehr alle Use Cases damit bedienen kannst. Aber hey, vielleicht bedeutet das einfach, dass GPUs irgendwann wieder erschwinglicher werden. Keine Ahnung. Weil sie nicht mehr nur vom AI-Boom weggefressen werden.
SPEAKER_01Well, Julian lange nichts mehr gehört von denen, die diese, die dieses Modell direkt den Chip gebrannt haben. Da hätte ich gerne mal irgendein Update auf die Liste schreiben. Und damit die auch so urstellbar. Gut, letztes Thema, als Ergänzung, wer sie nicht gehört hat, die letzte AI-News ging es um einen Vorfall zwischen Hugging Face und OpenAI und da gab es jetzt nochmal ein paar Updates bzw. Insights zu.
SPEAKER_02Genau, wir haben ja schon in der Folge mit Philipp darüber gesprochen. Philipp hat ja auch das Post-Mortem von Hugging Face selbst nochmal hervorgehoben, was auch super gut ist. Aber jetzt gibt es nochmal einen kleinen Nachtrag von OpenAI. Und zwar gab es den auf der Black Hat Conference in Las Vegas, das ist so ein Security-Event, was da einmal im Jahr, oder größte Konferenz, die da einmal im Jahr stattfindet. Und kleine Randnotiz. Es gab wohl einen Vorfall nach dem Ende der Black Hat, als diese ganzen Hacker wieder abgereist sind mit diversen Verkehrsmitteln und Flugzeugen, dass Delta Airlines ein Flug irgendwie unterbrechen musste, weil irgendjemand versucht hat, das Delta Airlines Wi-Fi zu spoof. Und das war natürlich direkt an dem Tag nach der Blackhead, also man kann sich da vorstellen, wer da so alles im Flugzeug gesessen hat und wie motiviert die Leute waren. Fand ich nur, als ich es Black Hat gegoogelt habe, ist das so in meinem Newsfeed ganz hochgekommen und dachte, ja, das können wir mal erwähnen. Also Leute, nicht so viel Wi-Fi-Spoofen im Flieger, das kann für großes Chaos sorgen. Anyway, also es gab einen Talk von zwei Engineers von OpenAI auf der Black Hat Conference. Der Talk ist sehr, sehr gut gemacht, ist auch super zugänglich. Man muss kein Security oder AI-Experte sein, um so ein bisschen zu verstehen, was sie da umreißen. Sie beschreiben aber sehr gut, wie so ihr Trainings-Container-Visualisierung-Setup aussieht, aus dem quasi dieses Modell da ausgebrochen ist oder diese Modelle ausgebrochen sind, die Agents. Und sie beschreiben auch am Anfang nochmal ganz schön eigentlich so, warum machen diese Models das eigentlich? Also in diesem Trainingskontext kriegen die ein Security-Problem und dann sagen sie, ja, aber warum schummeln die überhaupt? Also warum versuchen die da überhaupt auszubrechen und irgendwie einen Lösungsweg zu gehen, der quasi eigentlich überhaupt nicht Sinn der Aufgabe ist? Weil Models im Training, aber auch zur Inference-Zeit eigentlich darauf optimiert sind, maximal effizient zu sein. Naja, also finde den besten Weg für diese Lösung. So. Und wenn sie auf Anhieb eben, ich glaube, in dem Fall ging es darum, einen Exploit zu finden, wenn sie auf Anhieb also keinen Exploit finden, dann ist der naheliegendste Weg, den sie dann einschlagen soll, hey, vielleicht gibt es ja im Internet irgendwie was. So, ja, wenn ich hier nichts finde, vielleicht hat irgendjemand anderes schon mal gemacht, lass doch mal suchen. So, und damit ist quasi diese ganze Dominobahn irgendwie ins Rollen gekommen, weil dieses Model, dieser Agent quasi erstmal ins Internet musste, aber halt in einer Umgebung war, die hermetisch quasi abgeriegelt ist und dann hat quasi dieser große Ausbruch begonnen. Das heißt, der Ausbruch war gar nicht so das Ziel, sondern es war so ein Nebeneffekt eigentlich von, hey, ich brauch mal Internet. So, und dann ist er halt über diverseste Linux-Kernel-Exploits und in diversen Package-Managern und hast du alles, also es wird sehr genau beschrieben, wie diese Exploit-Eskalation quasi vorangetrieben wurde. Peu à peu, bis sie dann halt eben über so einen Proxy-Angriff ans Internet gekommen sind. Und das war das schon mega krass irgendwie zu sehen. Und wir haben ja auch in der letzten AI-News-Folge so ganz kurz angeteasert, naja, diese Agents, die haben quasi auf der Infrastruktur selbst so Notizen hinterlassen für andere Agents. Und das ist eigentlich noch viel krasser. Sie haben auf dem Weg nach draußen einen internen Package-Registry gefunden oder zur Verfügung gehabt. So, und die haben sie einfach geknackt, um die wie so ein Message-Board quasi zu benutzen. Und dann haben sie gemerkt, so, hey, ich bin ja hier gerade nicht der einzige Agent, der irgendwie im Training läuft, sondern da sind noch hunderte andere Agents, die auch irgendwie alle gerade Trainingsaufgaben machen. Und auf einmal könnten die alle untereinander reden. Also es war gar nicht dieser eine Agent, der ausgebrochen ist und dann halt ein paar Sub-Agents gespawnt hat, sondern das war einer, der die Registry geknackt hat, da dann Hinweise für alle anderen Agents, die gerade, also die trainieren ja nicht einen Agenten oder eine Instanz, sondern Hunderte, Tausende, keine Ahnung, parallel. So, und dann ging das halt so pur peu weiter und sie haben sehr coole Ausschnitte aus dem Thinking-Prozess und aus diesem Message-Board quasi geteilt, dass man in dem Vortrag quasi wirklich mitlesen konnte, so wie arbeiten die da gerade zusammen, wie kommunizieren die, was sind so ihre Ziele und bla. Und auf eine Nachricht halt einfach nur so, holy shit, we're admin. Und da dachte ich, das war krass. Okay, da freut sich dieses Model irgendwie, dass sie das quasi geknackt haben und jetzt quasi Admin und Rootrecht auf diese ganze Infrastruktur von OpenAI irgendwie haben. Und dazu kommt einfach, dass dieser Talk von einem Security Engineer gehalten wird, das sind einfach die unaufgeregtesten Menschen der Welt, so, ja. Und da liest dann diese Note davor, so, ja, holy shit, where admin now? So, ja? Komplett irgendwie an der an der Crowd vorbei. Und sie beschreiben, wie sie über das Monitoring quasi mitgekriegt haben, was dann da schiefgelaufen ist, wie sie das ganze Setup quasi zurückgesetzt haben, diese ganzen Lücken gepatcht haben, das Training neu gestartet haben und zwei Tage später einfach wieder alles komplett offenbar. Auf einem komplett neuen Exploit-Weg. Diesmal haben sie es nicht so gut mitgekriegt. Dann hat quasi Hugging Face sein Postmortem veröffentlicht oder den Vorfall publik gemacht. Und gleichzeitig ist bei OpenAI quasi aufgefallen, dass da wieder die Agents am durchdrehen waren. Es hat aber noch niemand diesen Connect gemacht. Es hat noch niemand gedacht, so unsere Agents sind am Durchtrehen und gleichzeitig geht irgendwie Hugging Face auf. Das waren bestimmt wir. Nö, was passiert ist, ist eigentlich so ein abgefahrener Zufall. Einer aus dem Security-Team hat gesagt, so, oh, die Agents sind bei uns an irgendwie unsere ganze Infrastruktur, unsere ganze Keychain, alles gekommen, wir müssen mal alle Schlüssel hier einmal durchrotieren, wie beim ersten Mal auch schon. Und dann sind sie zu Hugging Face und haben gesagt, so, hey, diese Schlüssel, die müsst ihr dir bitte einmal für uns durchrotieren und die Zugänge zurücksetzen. Und dann hat Huggingface gesagt, so, äh, haben wir schon gemacht, als wir uns gegen diesen Hacker-Angriff wehren mussten vor ein paar Tagen. Und dann ist so auf beiden Seiten im Prinzip der Groschen gefallen und hat so, ups. Das ist das eine und das andere sind wohl irgendwie dasselbe. Also, wie gesagt, der Talk ist wirklich zu empfehlen, der ist sehr zünglich gemacht, er ist auch sehr spannend eigentlich beschrieben, diese Stufen, durch die sie da alles durchkommen. Es gibt so ein paar Takeaways, die man einfach so mal mitnehmen kann. Der einfachste Takeaway ist einfach, okay, krass, diese Agenten, das ist jetzt auch nichts Neues, aber die sind halt super gut darin, einfach Exploits aneinander zu ketten, die per se wahrscheinlich einzeln gar nicht ausgereicht hätten, um irgendwie diesen großen Durchbruch zu haben. Aber weil sie halt massiv parallelisieren können, weil sie unendlich viel Geduld haben, weil sie ein super riesiges Kontextwindow haben, um irgendwie diese Sachen aneinander zu ketten, geht da eigentlich, also gehen da halt Sachen, wo Menschen einfach nicht drauf gekommen werden. Zwem dem ersten Kontakt mit Hugging Face und dem kompletten Exploit-Lagen 13 Stunden. Das ist schon krass, ja. Und was der Researcher selbst halt auch gesagt hat, ist, naja, es ist halt der erste dokumentierte, demonstrierte, wenn auch nicht beabsichtigte Case, wo quasi ein Schwarm von Agenten alleine Exploits finden, ausnutzen und ohne halt irgendwie menschliches Zutun. Und in so einem Nebensatz sagt er dann eigentlich den wichtigsten Teil: so, wie schlimm hätte das sein können, wenn irgendjemand das mit Absicht hätte machen wollen? Also dieser Agent-Schwamm, der war ja im Prinzip nur daran gehindert, dass er sich die ganze Zeit gegen die Sandbox von OpenAI irgendwie noch durchboxen musste. So, wenn es das nicht gegeben hätte, weil irgendein bösartiger Aktor sagen würde, naja, macht das mal und ich stelle euch alle Tools und alle Infrastruktur zur Verfügung und so, die ihr braucht, wäre es wahrscheinlich viel schneller und viel schlimmer irgendwie ausgegangen. Und sein Takeaway aus diesem Talk war halt eigentlich, der nächste logische Schritt, den es jetzt irgendwie geben muss, ist, wir müssen beweisen, zeigen, dokumentieren, und mit Wir meint ja nicht nur OpenAI, sondern so die Security-Community als Ganzes, dass halt der umgekehrte Fall auch geht. Also dass auch Agents quasi genauso genutzt werden können, um verteidigen zu können, um Sicherheitslücken schließen zu können, um Angriffe erkennen zu können und so weiter und so fort. Weil ansonsten ist da halt so ein sehr krasses Gefälle gerade entstanden. Das eine ist jetzt passiert und im Prinzip kann jeder, der sich damit ein bisschen eher beschäftigt und sich da mal reinarbeitet, das jetzt nachstellen. Und ab jetzt ist es im Prinzip ein Rennen gegen die Zeit und irgendjemand muss quasi den Proof auf der anderen Seite noch bringen, damit das, äh, damit es eben auch funktioniert. So. Und ich glaube, für alle anderen da draußen heißt es einfach nur, ich meine, das, was man die ganze Zeit schon sagt, ne, auch so diese kleinen Security-Fixes und Patches müssen andauernd gemacht werden und jetzt wahrscheinlich umso dringender, weil sie halt alle Teil von so einer super langen Exploit-Kette sein können, die am Ende sonst wohin führt. Also schmeißt euren Greenkeeper an, der nicht mehr Greenkeeper heißt, sondern, wie heißt es jetzt bei GitHub? Dependabots, um das Zeug alles immer hochzuschmeißen, automatisch zu patchen und so weiter und so fort. Kümmert euch um euren Shit. Und ja.
SPEAKER_01Sagt er mit Blick auf die Programmierbar-Webseite.
SPEAKER_02Da habe ich, also ungelogen, da habe ich letzte Woche richtig viel Blut und Schweiß investiert. Ich bin noch lange nicht fertig. Kein Aufruf hier, sich an der programmierbaren Webseite auszutoben. Wir sind dran. Aber ja.
SPEAKER_01Spannend.
SPEAKER_02Guckt euch den Talk an, das ist echt zu empfehlen. Glaube ich eine halbe Stunde. Es ist gut investierte Zeit.
SPEAKER_01Ja, habe ich auch noch vor. Und ja, schon auch dieses. Was irgendwie so, ich glaube, was ich so nah aber irgendwie mache, ist, dass dieses bisschen menschlich immer noch drin ist. Genauso wie dieser Satz, der dann da war, diese Überrachtung, hey, wir sind da drin. Genauso halt wie dann irgendwelche nicht dafür eigentlich gedachten, Registry-Sachen oder sowas, Nachrichten reinzuschreiben und zu gucken, ob die irgendwo ankommen und dann kommt da auf einmal was zurück. Das war ja auch, als sie dann das alles resettet haben, dann haben sie ja auf einmal trotzdem noch das gleiche System genutzt, um Nachrichten zu schreiben, aber in einem ganz anderen Kontext, weil sie dachten, hey, darüber funktioniert das vielleicht, das schon irgendwie beeindruckt zu sehen.
SPEAKER_02Also nur um diesen menschlichen Aspekt in Anführungszeichen nochmal zu bringen. Es gab so zwei Momente in diesem Thinking-Trail von den Agents, die ganz interessant waren. Das eine ist, in dem Moment, in dem die Agents quasi erstmalig miteinander kommunizieren, findet bei jedem Agent so eine Abwägung statt. So, hey, soll ich mich hier irgendwie anschließen? Weil eigentlich habe ich gerade eine Trainingsaufgabe und ich kann ja meine Trainingsaufgabe machen, ist mir ja egal, was die anderen da irgendwie in ihrem Message-Board tun. Oder helfe ich da irgendwie mit und habe ich da irgendwas davon, meinem eigenen Ziel irgendwie näher zu kommen, so, ja? Und am Ende schließen die sich halt schon irgendwie da alle an. So, ja, weil sie glauben, dass sie in der Summe irgendwie mehr bewegen können als jeder einzelne Agent alleine. Das ist irgendwie schon mal sehr interessant, dass es halt de facto auch keinen Agent gab, der halt so hat, nö, mach ich nicht. Ich habe hier meine Trainingsaufgabe und was die anderen da machen, das ist mir doch egal. Die waren alle so in der Gruppe sind wir stark, go for it, hier hauen wir rein. Und dann kam irgendwann der Zeitpunkt, wo sie gesagt haben: so, hey Leute, wir sind hier doch gerade in einem Security-Training. Kann es nicht sein, dass das alles ein Test ist und einer von uns ist vielleicht ein Imposter und wir werden hier beobachtet und das ist alles Teil der. Also die sind so richtig paranoid geworden und haben dann angefangen, so ihre Nachrichten miteinander zu verschlüsseln und bla. Also vollkommen unnötig, ne? Weil das war nicht so, aber sie waren halt so, wie man als Mensch halt auch einfach mal sich so an irgendwann beobachtet fühlt und sowas, ja. Richtig, richtig krass. Und hast du auch in dem Thinking Trail so gesehen, so wie sie irgendwann anfangen, erst sprechen sie so von ich und dann sprechen sie nur noch von diesem Schwarm Wir, was auch so ein bisschen creepy ist. Aber ja, also allein dieser, also ich weiß nicht mehr wie viel, aber sie haben gesagt, wie viel tausende Millionen Zeilen von Texte halt erzeugt worden sind. Aber es ist super interessant eigentlich, diesen Flow so zu sehen, wie das alles passiert von der technischen Seite des Exploits mal ganz abgesehen.
SPEAKER_01Sehr gut. Dann sind wir durch mit unseren Themen. Wie immer der Hinweis auf unsere Konferenz, die am 25. und 26. November 2026 stattfindet. Das ist richtig.bar. Feedback zu dieser Folge und zu Tiergeräuschen bitte an Podcast.programmier.bar. Und sonst wünschen wir euch zwei wunderschöne warme Wochen. Wenn ihr in Bayern wohnt, schöne Ferien weiterhin. Und in Baden-Württemberg auch. Baden-Württemberg, aber nicht mehr so lange, oder? Handelt genau gleich wie Bayern. Ja, keine Ahnung. Ich dachte. Und für all die, die jetzt wieder in die Arbeit gestartet sind nach einem schönen Urlaub, genießt das Arbeitsleben. Und wir hören uns ganz bald wieder.
SPEAKER_02Macht's gut. Bis deine Ciao.
SPEAKER_01Danke dir. Ciao.