Muss ein Richter ChatGPT-Einsatz offenlegen?

Fünf Weblinks in einem Beschluss des Hessischen Verwaltungsgerichtshofs enden sichtbar mit `source=chatgpt.com`. Muss ein Gericht offenlegen, wenn generative KI substanziell an seiner Recherche mitarbeitet — oder reichen überprüfbare Quellen und die persönliche Verantwortung des Richters? Wir streiten über den Beschluss vom 24. Juni 2026 (3 A 2624/25), einen Link aus dem Jahr 2025, der eine konkrete Aussage zu einem georgischen Dekret von 2026 nicht tragen konnte, und die Frage, ob eine kurze KI-Prüfnotiz Vertrauen schafft oder nur neue Bürokratie produziert. Wichtig: Die sichtbaren URL-Parameter verraten einen ChatGPT-gestützten Rechercheweg. Sie zeigen weder die Prompts noch beweisen sie, dass ChatGPT den Beschluss geschrieben oder die Entscheidung getroffen hat. Das Gericht erklärte, weitere Recherchen hätten die zugrunde liegende Verlängerung bestätigt; der Quellenfehler habe das Ergebnis nicht verändert. ⏰ Kapitel: 0:00 — Fünf ChatGPT-Spuren im Gerichtsbeschluss 0:09 — Transparenz vs. richterliche Unabhängigkeit 0:20 — Der Fall 3 A 2624/25 0:55 — Die kurze KI-Prüfnotiz 1:08 — Suchmaschine oder anderes Werkzeug? 2:02 — Ein Link von 2025 für ein Dekret von 2026 2:27 — Die Verteidigung des Gerichts 2:56 — Halluzination und menschliche Kontrolle 3:20 — Die verräterische URL-Endung 3:44 — Der „Elefant im Raum“ 3:58 — Bürokratie oder Vertrauen? 4:24 — Vier Felder für die Offenlegung 4:35 — Wo verläuft die Grenze? 5:18 — Drei gemeinsame Kontrollpunkte 5:48 — Das entscheidende KI-Label 6:15 — Eure Entscheidung 📖 Quellen: • Hessischer Verwaltungsgerichtshof, Beschluss 3 A 2624/25: https://www.rv.hessenrecht.hessen.de/bshe/document/LARE260000816 • Europäische Kommission, DigitalJustice@2030: https://eur-lex.europa.eu/legal-content/EN/ALL/?uri=COM%3A2025%3A0802%3AFIN • Heise, „ChatGPT im Gerichtssaal“: https://www.heise.de/news/ChatGPT-im-Gerichtssaal-Hessische-Richter-kopieren-erkennbar-KI-Quellen-11409312.html • Deutscher Richterbund, „Im Namen des Computers?“: https://www.drb.de/newsroom/presse-mediencenter/nachrichten-auf-einen-blick/nachricht/news/im-namen-des-computers 🔗 Verwandte Episode: • Blackbox vor Gericht: Darf KI Beweise vorsortieren?: https://youtu.be/FvRyqqckmAU 🎙️ KI Espresso — Jeden Tag eine neue KI-Debatte in sechs Minuten. 🎧 Podcast hören: • Apple Podcasts: https://podcasts.apple.com/podcast/id1885621764 • Alle Plattformen: https://www.buzzsprout.com/2603567 𝕏 @KIEspresso #ChatGPT #Justiz #KünstlicheIntelligenz

Transcript

Copy Transcript Copied

SPEAKER_00 0:00

Fünf Links in einem deutschen Gerichtsbeschluss enden mit source gleich ChatGPT.com muss das Gericht KI-Einsatz offenlegen. Ich argumentiere heute für radikale Transparenz bei juristischer KI.

SPEAKER_01 0:14

Ich vertrete eher die Position der richterlichen Unabhängigkeit und, naja, der praktischen Verhältnismäßigkeit. Also es geht um einen Beschluss vom Hessischen Verwaltungsgerichtshof vom 24. Juni 2026. Wer das mal nachschlagen möchte, das Aktenzeichen ist 3a 262425. Konkret war das eine Vorlage an den Europäischen Gerichtshof. Und darin ging es um den Schutz ukrainischer Staatsangehöriger nach so einem längeren Aufenthalt in Georgien.

SPEAKER_00 0:43

Und dabei fand man in der veröffentlichten Begründung eben Webadressen mit dieser sehr sichtbaren Endung am Schluss der Webadresse.com. Richtig. Mein Standard wäre hier ganz klar, wenn generative KI substanziell an einer Rechts- oder Tatsachenrecherche mitarbeitet, dann steht das in einer kurzen Prüfnotiz am Beschluss.

SPEAKER_01 1:06

Das ist ein nachvollziehbarer Wunsch. Aber da halte ich dagegen. Richter protokollieren schließlich auch nicht jede klassische Suchmaschine.

SPEAKER_00 1:15

Naja, das ist aber.

SPEAKER_01 1:16

Oder juristische Datenbanken oder Übersetzungshilfen, die sie nutzen. Am Ende ist doch nur eines entscheidend. Tragen die Quellen inhaltlich und verantwortet ein menschlicher Richter die Begründung persönlich.

SPEAKER_00 1:28

Ich verstehe den Vergleich mit der Suchmaschine, aber ich widerspreche. Ein Gericht begründet staatliche Entscheidungen. Generative KI-Sprachmodelle sind einfach keine normale Bürosoftware. Aber es sind Werkzeuge. Ja, schon, aber wenn ein Sprachmodell den Weg zu einer Tatsachenbehauptung liefert, müssen die Parteien wissen, wo sie besonders genau prüfen sollten.

SPEAKER_01 1:49

Aber diese Endung beweist doch nur einen Rechercheweg. Sie beweist absolut nicht, dass Chat-GPT das Urteil gefällt hat. Genau diese wichtige Unterscheidung geht bei so einem plakativen KI-Warn-Etikett schnell verloren.

SPEAKER_00 2:02

Dann machen wir es mal konkret an dem Fehler, der in genau diesem Fall passiert ist. Okay. Der Beschluss verweist auf ein georgisches Regierungsdekret vom 24. Februar 2026, das den Aufenthalt für Ukrainer angeblich verlängert. Der hinterlegte Link führt aber kurioserweise zu einem Artikel aus dem Jahr 2025. Dort kann ein Dekret von 2026 logischerweise gar nicht belegt sein. Das stimmt.

SPEAKER_01 2:28

Aber das Gericht hat diesen Punkt auch absolut transparent eingeräumt. Es betonte aber eben auch, dass Chat-GPT nicht die einzige Informationsquelle war.

SPEAKER_00 2:38

Trotzdem stand es so drin.

SPEAKER_01 2:40

Ja, aber es gab weitere Gegenkontrollen durch das Gericht. Und die haben die eigentliche Verlängerung des Aufenthalts bestätigt. Der fehlerhafte Verweis hat das juristische Ergebnis also nicht verändert. Eine Korrektur war deshalb gar nicht nötig.

SPEAKER_00 2:55

Aber genau deshalb brauchen wir doch Transparenz. Wir müssen verstehen, wie und warum diese Fehler entstehen.

SPEAKER_01 3:01

Sogenannten Halluzinationen sind ein reales technisches Risiko. Deshalb braucht es ja die menschliche Gegenkontrolle. Das Gericht begründete den KI-Einsatz ja mit dem extrem schwer zugänglichen georgischen Recht. KI half einfach dabei, die Informationen überhaupt erst auffindbar zu machen. Danach muss der Mensch prüfen.

SPEAKER_00 3:20

Aber ohne diese verräterische Endung am Link hätten die Parteien diese spezifische Fehlerquelle doch gar nicht erkannt. Das wissen wir nicht. Ein Vertrauenssystem darf nicht funktionieren wie so ein Navigationsgerät, das uns selbstbewusst die Route ansagt, aber heimlich Straßen erfindet, die gar nicht existieren. Dieser kaputte Link in Hessen ist ja nur ein Symptom.

SPEAKER_01 3:43

Naja.

SPEAKER_00 3:44

Genau deshalb nennt der Deutsche Richterbund diesen unbemerkten KI-Einsatz ja den sprichmörtlichen Elefanten im Raum. Wenn die Justiz hier keine Schwelle definiert, definiert sie halt jeder peinliche Copy-and-Paste-Fehler für sie.

SPEAKER_01 3:57

Der Richterbund fordert eine offene Debatte, das stimmt. Aber das ist doch kein Argument für ausufernde Bürokratie. Richterliche Unabhängigkeit umfasst nur mal die Wahl der Arbeitsmittel.

SPEAKER_00 4:08

Ich fordere ja auch keine ausufernde Bürokratie, aber die Europäische Kommission sieht KI-Systeme, die Richter unterstützen, schlicht als ein besonders sensibles Feld mit strengen Anforderungen. Meine Prüfnotiz braucht nur vier simple Angaben. Und die wären Welches Werkzeug? Für welche substanzielle Aufgabe? Welche Primärquellen wurden unabhängig geprüft und was wurde korrigiert? Die Grenze ist der materielle Einfluss. Wenn die KI eine entscheidungserhebliche Tatsache ermittelt, dann muss man offenlegen.

SPEAKER_01 4:42

Aber auch materieller Einfluss ist in der Praxis extrem dehnbar. Muss dann eine semantische Suche, also eine, die nach inhaltlichem Sinn und nicht nur nach exakten Wörtern sucht, auch genannt werden? Das ist doch was anderes. Wer die Grenze nicht sauber ziehen kann, produziert am Ende nur Abwehrformulierungen. Was der Partei wirklich hilft, ist nicht ein pauschales Feld mit dem Wort KI, sondern die ganz konkrete Möglichkeit, zitierte Sätze anzugreifen, weil die Quellen nicht stimmen.

SPEAKER_00 5:11

Transparenz ersetzt ja keine Prüfung, sie eröffnet sie erst. Das ist der absolute Kern unserer Meinungsverschiedenheit.

SPEAKER_01 5:17

Gut, dann lass uns mal versuchen, hier einen konstruktiven gemeinsamen Nenner zu finden.

SPEAKER_00 5:23

Okay.

SPEAKER_01 5:25

Ich denke, wir können drei Kontrollpunkte etablieren. Erstens, jede Tatsachenbehauptung braucht eine tragende Quelle. Zweitens, schwer zugängliches ausländisches Recht erfordert zwingend eine unabhängige Gegenprüfung. Und drittens, Quellenfehler müssen transparent behandelt werden, auch wenn sie das Ergebnis am Ende nicht ändern.

SPEAKER_00 5:46

Bei Punkt 3 gehe ich aber weiter. Transparenz muss bedeuten, auch den KI-Anteil konkret zu benennen, damit Parteien die Begründung gezielt auf diese neuen Fehlerarten prüfen können.

SPEAKER_01 5:57

Und genau davor warne ich. Ein solches KI-Label zieht die Aufmerksamkeit von der Rechtsfrage weg. Wer KI im Gerichtsbeschluss liest, hat sofort das völlig falsche Bild eines KI-Richters im Kopf. Ach, das glaube ich nicht. Doch, das hier ist ein Vorlagebeschluss, keine maschinelle Entscheidung.

SPEAKER_00 6:15

Muss ein Gericht offenlegen, wenn KI an seiner Begründung mitgearbeitet hat, oder reicht es, wenn ein Mensch dafür einsteht?

SPEAKER_01 6:23

Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso. Jeden Tag eine neue KI-Debatte in sechs Minuten.

SPEAKER_00 6:32

Das war KI Espresso.