Je besser KI wird, desto weniger kontrollierst du sie – ein gefährliches Paradox?

# Blindes Vertrauen in KI: Warum Kontrolle bleibt In dieser Folge: - Automatisierungsbias: Warum steigendes Vertrauen in KI gefährlich werden kann - Versteht KI wirklich, was sie sagt — oder folgt sie nur Mustern? - KI-Hack der Woche: Die Gegenfrage-Methode zum Aufdecken von KI-Fehlern Links und Quellen: - John Searle: Das Chinesische Zimmer — https://plato.stanford.edu/entries/chinese-room/ - Automatisierungsbias (Forschungsübersicht) — https://link.springer.com/article/10.1007/s10111-012-0232-6 KI-Hack der Woche: - ChatGPT — {{AFFILIATE:chatgpt}} - Anleitung: Stelle deine Frage wie gewohnt, frag danach gezielt: "Wo könntest du bei dieser Antwort falsch liegen?" Lies beide Antworten zusammen für ein vollständigeres Bild. Podcast unterstützen: - https://www.buzzsprout.com/2604102/support Mehr von uns: - Alle Plattformen: https://www.buzzsprout.com/2604102 - Instagram: https://www.instagram.com/kifuerdich.podcast/ - LinkedIn Kevin: https://www.linkedin.com/in/kevin-neufeldt-b4708b352/ - LinkedIn Pia: https://www.linkedin.com/in/pia-neufeldt-16b596242/ Feedback? Schreibt uns auf LinkedIn oder per E-Mail an kifuerdich.podcast@gmail.com

Transcript

SPEAKER_01 0:00

Stell dir vor, KI wird in manchen Bereichen immer besser. Und genau das könnte ein echtes Problem werden. Hey, willkommen bei KI für dich. Ich bin Kevin. Heute geht es um eine Frage, die wichtig ist. Nicht weil KI zu schlecht ist, sondern weil sie in bestimmten Anwendungsfällen so gut werden kann, dass wir anfangen, ihr blind zu vertrauen. Klingt komisch, ergibt gleich Sinn. Und dazu habe ich noch eine Frage mitgebracht, die gar nicht so einfach zu beantworten ist. Versteht KI eigentlich wirklich, was sie sagt, oder täuscht sie nur Verstehen vor? Aber fangen wir mit was Konkretem an, mit einer Beobachtung, die viele kennen dürften. Du siehst irgendwo einen riesigen, teuren Bildschirm, aufgestellt wie ein Wegweiser Schild. Drauf steht einfach Ausgang, so ein normaler Hinweis, den du sonst auf einem kleinen Plastikschild siehst. Nur halt auf einem Gerät, das Strom zieht, Wartung braucht und ausfallen kann. Das ist kein KI-Thema direkt. Aber es ist ein guter Einstieg ins heutige Thema. Denn die Frage dahinter ist, wann macht Technik wirklich Sinn? Und wann vertrauen wir ihr einfach blind, weil sie neu und glänzend ist? Und genau da wird es spannend. Es gibt eine wichtige Überlegung dazu. Sie dreht sich um ein Paradox, also einen scheinbaren Widerspruch. Früher hieß die große Sorge, was, wenn KI zu viele Fehler macht? Was, wenn wir ihr nicht trauen können. Aber es gibt eine andere Seite. Wenn ein System in einem bestimmten Bereich zuverlässiger wird, kann sich das Vertrauen der Nutzenden schnell verallgemeinern. Auf Bereiche, für die das gar nicht gilt. Warum ist das ein Problem? Weil wir dann aufhören, genau hinzuschauen. Stell dir vor, jemand arbeitet in einem Büro, das Rechnungen prüft. Am Anfang wird jede Empfehlung vom System einzeln gecheckt. Dann nur noch die, die irgendwie komisch aussehen. Und irgendwann klick bestätigen. Das System hat ja meistens recht, klingt vernünftig. Ist es aber nicht immer. Das nennt sich Automatisierungsbias. Wenn du einem System so sehr vertraust, dass du aufhörst, es wirklich zu kontrollieren. Das ist ein echtes Risiko. Man kann sich daran gewöhnen, einer Maschine einfach zu folgen. Und irgendwann fällt man gar nicht mehr bewusst eine Entscheidung. Das Problem, wenn das System dann doch mal einen Fehler macht und das passiert, dann fällt er viel später auf. Oder gar nicht. Stell dir vor, du hast ein Navigationsgerät, dem du blind vertraust. Einmal zeigt es dir eine gesperrte Straße als freie Route. Du fährst rein. Zu spät gemerkt. Genauso kann es mit KI in der Medizin, in der Rechtsprechung, in der Buchhaltung, im Kundendienst laufen. Vertrauen braucht immer Prüfung. Egal wie gut ein System in bestimmten Situationen funktioniert. Und das ist das eigentliche Risiko. Nicht die böse KI aus dem Science-Fiction-Film, sondern unsere eigene Neigung irgendwann nicht mehr genau hinzuschauen. Das führt mich direkt zur zweiten Frage. Versteht KI überhaupt, was sie tut? Das ist keine einfache Frage. Und das Wort verstehen ist hier schwierig. Deshalb behandeln wir es heute als Einordnung, nicht als harte Tatsachenbehauptung. Was wir wissen, KI-Sprachmodelle, also Programme wie ChatGPT, wurden mit sehr großen Mengen an Texten trainiert. Sie haben dabei statistische Muster gelernt. Vereinfacht gesagt, welche Wörter und Strukturen in welchem Zusammenhang wahrscheinlich aufeinander folgen. Das ermöglicht es ihnen, passende Antworten zu erzeugen und typische Formulierungen zu treffen. Das ist ziemlich beeindruckend. Aber ist das Verstehen? Das behandeln wir hier als Einordnung. Keine abgeschlossene Antwort. Es gibt da ein bekanntes Gedankenexperiment. Das chinesische Zimmer, formuliert vom Philosophen John Searle. Stell dir vor, du sitzt in einem Zimmer. Du kriegst Zettel mit chinesischen Schriftzeichen rein. Du hast ein Regelbuch, das dir sagt, wenn du dieses Zeichen siehst, schreib jenes zurück. Du folgst den Regeln. Draußen denken die Leute, du kannst Chinesisch. Kannst du aber nicht. Du folgst nur Anweisung. Manche übertragen dieses Bild auf KI. Ob das zutrifft oder nicht? Darüber streiten Forscherinnen und Forscher ernsthaft. Es ist eine philosophische Einordnung, keine bewiesene Tatsache. Denn selbst die Definition von Verstehen, auch beim Menschen, ist nicht abschließend geklärt. Was das für dich heißt, ob KI im menschlichen Sinne Absichten verfolgt, ist nach aktuellem Forschungsstand eine offene Frage. Sie hängt stark davon ab, wie man Absichten definiert. Was wir sagen können, KI kann aufgrund statistischer Muster fehlender Kontextinformationen oder Fehlgeneralisierung falsche Antworten erzeugen. Und wenn du das weißt, passt du besser auf. Deshalb, vertrau KI. Ja, aber schalt dein eigenes Denken nicht ab. Gerade wenn es um wichtige Entscheidungen geht.

SPEAKER_00 5:27

Und hier unser KI-Hack. Kevin hat gerade gesagt, KI kann sicher klingen und trotzdem falsch liegen. Wie merkst du das? Mit der Gegenfragemethode. Drei Schritte. Dauert eine Minute. Schritt 1. Stell deine normale Frage. Zum Beispiel, welche Nebenwirkungen hat dieses Medikament? Schritt 2. Stell direkt danach diese Gegenfrage. Wo könntest du bei dieser Antwort falsch liegen? Oder was spricht gegen das, was du gerade gesagt hast? Schritt 3. Lies beide Antworten zusammen. Dann bekommst du ein viel vollständigeres Bild und merkst oft, wo die KI unsicher ist. Das habe ich selbst getestet beim Thema Steuererklärung. Die erste Antwort klang total kompetent. Die Gegenfrage hat dann offengelegt, dass die KI in ihrer Antwort einräumte. Für manche Punkte kommt es auf die individuelle Situation an. Genau den Hinweis brauchte ich. Ob KI im menschlichen Sinne Absichten verfolgt, ist nach aktuellem Forschungsstand eine offene Frage. Was wir sagen können, KI kann aufgrund statistischer Muster, fehlender Kontextinformationen oder Fehlgeneralisierung falsche Antworten erzeugen. Und sie sagt dir nicht immer von alleine, wo ihre Grenzen sind. Manche Systeme weisen auf Unsicherheiten hin, andere nicht. Deshalb kann es helfen, gezielt danach zu fragen.

SPEAKER_01 6:55

Das ist genau die Art, wie KI klüger machen kann, wenn du sie richtig fragst. Mich würde jetzt interessieren, bist du schon mal einer KI-Antwort vertraut und hinterher gemerkt, dass sie doch nicht gestimmt hat? Schreib uns einfach, wo immer du uns findest. Und noch ein Hinweis zum Schluss. Bei KI für dich versuchen wir, belegte Aussagen sauber von Einordnung zu trennen. Was wir nicht belegen können, markieren wir klar als Einordnung oder offene Frage, so wie heute. Denn auch wir wollen nicht blind vertrauen. Das war es für heute von KI für dich. Bleib neugierig, denk selbst. Bis zum nächsten Mal.