SPEAKER_00 0:00

65% aller Angestellten nutzen KI-Tools bei der Arbeit. Und zwar heimlich. Also 30% füttern ChatGBT sogar mit vertraulichen Firmendaten. Und der Shopify-CEO verlangt jetzt knallhart von seinen Teams, beweist mir, dass KI euren Job nicht machen kann, bevor ihr neue Leute einstellt.

SPEAKER_01 0:21

Wahnsinn, oder?

SPEAKER_00 0:23

Total. Und für unsere heutige Analyse haben wir uns echt einen riesigen Berg an Quellen angeschaut. Von der GitClear-Studie zur Codequalität bis hin zu den finalen Texten vom EUAI-Act.

SPEAKER_01 0:35

Genau.

SPEAKER_00 0:36

Wir wollen in dieser Debatte heute klären, ob wir hier den größten Produktivitätsschub unserer Zeit sehen oder uns blindlings eine gewaltige Falle bauen.

SPEAKER_01 0:45

Naja, also wenn ich diese Zahlen höre, das ist für mich einfach pures Chaos. Die Chefetagen feuern das extrem an, aber in der Praxis fehlt halt jegliche Kontrolle.

SPEAKER_00 0:55

Ja, aber Moment mal, ist dieses Chaos nicht einfach eine total notwendige Evolution? Notwendig. Das sehe ich komplett anders. Doch klar. Wir sehen in den Daten einen gigantischen Trend zum sogenannten Citizen-Developer. Für euch zur Einordnung, das bedeutet, dass ganz normale Angestellte ohne IT-Studium anfangen, Software zu bauen.

SPEAKER_01 1:17

Ja und?

SPEAKER_00 1:18

Der Marketingmanager generiert Code, die Strategin baut mit Cloud mal eben ein Prototyp. Laut unseren Quellen werden 70% der neuen Firmenanwendungen von genau solchen Leuten gebaut.

SPEAKER_01 1:29

Genau da liegt ja das Problem.

SPEAKER_00 1:30

Nein, das ist Innovation. Guck dir doch klarer an. Die schrumpfen drastisch von 7000 auf 3000 Leute. IBM streicht 30% im Backoffice. Die harte Realität ist doch, dass nicht die Maschine dich ersetzt, sondern der Kollege der KI clever nutzt. Wer sich weigert, fliegt.

SPEAKER_01 1:47

Okay, ich verstehe diese Faszination total. Auf den ersten Blick wirkt das nach einem massiven Speed-Gewinn. Aber wir müssen uns unbedingt anschauen, wie dieser Code überhaupt entsteht. Da grätsche ich jetzt echt mal vehement dazwischen.

SPEAKER_00 2:01

Schieß los.

SPEAKER_01 2:02

Wenn wir uns diese GitClear-Studie ansehen, die haben 153 Millionen Zeilen Code analysiert, dann sehen wir ein unfassbares Problem. KI-generierter Code hat 1,7 Mal mehr Fehler.

SPEAKER_00 2:16

Echt? So viel?

SPEAKER_01 2:17

Ja. Und sogar 2,7 Mal mehr Sicherheitslücken als Code von echten Menschen.

SPEAKER_00 2:22

Warte mal ganz kurz, warum eigentlich? Die KI hat doch quasi alle Programmierhandbücher und Open Source-Bibliotheken der Welt auswendig gelernt. Das müsste doch eigentlich fehlerfrei sein.

SPEAKER_01 2:32

Das schon, ja. Aber ihr fehlt der komplette architektonische Kontext von eurem jeweiligen Unternehmen. Der Marketingmanager lässt sich also einen Block Code generieren, der für sich genommen vielleicht sogar läuft.

SPEAKER_00 2:44

Richtig.

SPEAKER_01 2:45

Aber dann wird der einfach blind in das Firmensystem kopiert. Und das ist der absolut kritische Punkt der Studie. Das Refactoring, also das saubere Umstrukturieren von Code, damit der langfristig wartbar bleibt, das ist auf unter 10% abgestürzt.

SPEAKER_00 3:00

Wow. Unter 10%?

SPEAKER_01 3:02

Ja, weil die Leute schlichtweg nicht mehr verstehen, was die Maschine da im Hintergrund treibt. Die Logik dahinter ist eine Blackbox.

SPEAKER_00 3:09

Okay, das leuchtet schon ein, aber trotzdem machen die großen Tech-Giganten uns das doch längst auf einem anderen Level vor. Also in unseren Unterlagen taucht Netflix auf. Die nutzen doch bereits autonome KI-Agenten für interne Prozesse. Die würden das doch niemals skalieren, wenn das nur fehlerhafter Müll wäre?

SPEAKER_01 3:27

Tja, Netflix ist das perfekte Beispiel dafür, wie absurd das eigentlich wird. Man stellt sich das immer so elegant vor, ne? Ein Agent löst ein Problem völlig autark.

SPEAKER_00 3:37

Ja, genau.

SPEAKER_01 3:38

Aber in der Realität braucht Netflix inzwischen einen zweiten KI-Agenten, dessen einziger Job ist, den ersten zu überwachen.

SPEAKER_00 3:45

Okay, krass.

SPEAKER_01 3:46

Und weil das immer noch so extrem anfällig ist, brauchen sie noch einen dritten Agenten, der die beiden dann koordiniert.

SPEAKER_00 3:52

Er hatte drei KIs, die sich gegenseitig kontrollieren. Wie kommt es denn zu so einer absurden Endlosschleife?

SPEAKER_01 3:59

Das liegt an diesen sogenannten Halluzinationsschleifen. Die KI hat halt limitierte Kontextfenster. Wenn die auf ein Problem stößt, denkt sie sich einfach Erklärungen aus.

SPEAKER_00 4:09

Ah, okay.

SPEAKER_01 4:10

Ein UI-Architekt von Netflix hat es treffend beschrieben. Der Agent ist am Ende nur deshalb so ausgelastet, weil er stundenlang mit sich selbst geredet hat. Oh Gott. Ja, er verheddert sich in seinen eigenen Logikfehlern. Das ist keine echte Effizienz, das frisst nur massiv Rechenleistung.

SPEAKER_00 4:26

Boah, das ändert natürlich die Perspektive. Das ist ja wie ein rasender Zug, den niemand mehr aufhalten kann. Ich dachte mir bisher, warum sich den Weg stellen. Aber wenn das Fundament aus Treibsand besteht.

SPEAKER_01 4:38

Exakt. Und diese Treibsandanalogie bringt uns zum absolut kritischsten Punkt dieser Debatte. Der Haftung. Was passiert denn, wenn dieser Zug entgleist?

SPEAKER_00 4:49

Naja, gute Frage.

SPEAKER_01 4:50

Wenn diese kleine App, die dein Kollege am Wochenende zusammengebastelt hat, am Dienstbad ein massives Datenleck verursacht. Wer ist schuld? Der britische Finanzaufseher hat in unseren Quellen einen sehr prägnanten Satz gesagt: you can't blame it on the box. Du kannst nicht der Maschine die Schuld geben.

SPEAKER_00 5:07

Das heißt also, dieses klassische, ups, die KI hat das falsch verstanden, das zählt vor Gericht einfach nicht? Garantiert nicht.

SPEAKER_01 5:15

Gartner prognostiziert bis Mitte 2026 über 10 Milliarden Dollar an Schäden durch fehlerhafte KI-Entscheidungen.

SPEAKER_00 5:23

10 Milliarden? Wahnsinn.

SPEAKER_01 5:25

Und es wird juristisch noch viel enger. Am 2. August 2026 greift der EU AI-Act in vollem Umfang. Wir sprechen hier von möglichen Strafen bis zu 35 Millionen Euro.

SPEAKER_00 5:38

Oh wow, 35 Millionen.

SPEAKER_01 5:40

Oder 7% vom weltweiten Umsatz. Und in Deutschland wird KI nach dem Gesetz jetzt explizit als Produkt eingestuft. Und zwar mit Gefährdungshaftung.

SPEAKER_00 5:50

Gefährdungshaftung heißt das, ich hafte auch wenn ich gar nicht aktiv fahrlässig gehandelt habe?

SPEAKER_01 5:56

Richtig. Es reicht völlig, dass du die Gefahrenquelle in den Verkehr gebracht hast. Wenn also über 60% der KI-Nutzung völlig unsichtbar an der IT vorbeiläuft, macht dieser ahnungslose App-bauende Kollege seine Geschäftsführung persönlich haftbar?

SPEAKER_00 6:12

Uff, das ist ein echt heftiger Gedanke. Lasst uns damit direkt auf unsere allererste Statistik zurückkommen. 65% eurer Kollegen nutzen diese Tools heimlich. Wenn ihr morgens ins Büro geht, fragt euch doch mal, seht ihr in dieser Schatten-IT immer noch pure Innovationskraft? Wohl eher nicht. Oder ist das in Wahrheit eine tickende juristische Zeitbombe, deren Timer schon läuft? Und um das zum Abschluss noch einen Schritt weiter zu denken, was passiert eigentlich mit all diesen heimlich gebauten Firmen-Apps, wenn OpenAI oder Anthropic morgen völlig unangekündigt ihre Modelle updaten und sich die Logik der Antworten fundamental ändert? Brechen dann all diese unsichtbaren Prozesse schlagartig und gleichzeitig zusammen?

SPEAKER_01 6:56

Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso. Jeden Tag eine neue KI-Debatte in sechs Minuten.

SPEAKER_00 7:03

Das war KI Espresso.