Blackbox vor Gericht: Darf KI Beweise vorsortieren?

30 Terabyte Daten, rund 300 Asservate, eine Blackbox - und daraus soll ein faires Verfahren werden.

Im Prozess gegen Daniela Klette wird eine größere Frage sichtbar: Wenn KI-Software Beweise vorsortiert, bleibt das noch ein Ermittlungswerkzeug, oder wird die Blackbox Teil der Beweiskette?

In dieser KI-Espresso-Debatte geht es um Cellebrite Pathfinder, das LKA Niedersachsen, 300 Datenträger, Automation Bias, Waffengleichheit und die Frage, was Karlsruhe 2023 zur automatisierten Polizeidatenanalyse schon vorgezeichnet hat.

Kapitel:
00:00 - 30 Terabyte Daten, 300 Asservate, eine Blackbox
00:26 - Warum Ermittler ohne KI in Daten ersticken
01:03 - Die Datenmenge: 6 Millionen Handyfotos
01:47 - Pathfinder als Filter, nicht als Richter?
02:19 - Vorselektion ist Ermittlungsmacht
02:53 - Der Mensch am Bildschirm
03:26 - Automation Bias und kognitive Ermüdung
04:00 - Quellcode, Geschäftsgeheimnis, Verteidigung
04:33 - Bundesverfassungsgericht 2023
05:06 - EU AI Act und Hochrisiko-Kontext
05:40 - Was Waffengleichheit im Strafprozess verlangt
06:32 - Die offene Frage: Werkzeug oder Kontrollproblem?

Quellen:
Golem: https://www.golem.de/news/fragwuerdige-ki-im-klette-prozess-blackbox-im-gerichtssaal-2605-208718.html
nd-aktuell: https://www.nd-aktuell.de/artikel/1189785.raf-prozess-kommissarin-computer-gegen-daniela-klette.html
Bundesverfassungsgericht, Urteil vom 16.02.2023: https://www.bverfg.de/e/rs20230216_1bvr154719.html
EU AI Act: https://eur-lex.europa.eu/eli/reg/2024/1689/oj?locale=en
Cellebrite Pathfinder: https://cellebrite.com/en/products/pathfinder/
Tagesschau: https://www.tagesschau.de/inland/prozessbeginn-ex-raf-terroristin-klette-100.html

Video: https://youtu.be/FvRyqqckmAU

Transcript

SPEAKER_01 0:00

30 Terabyte Daten, rund 300 Asservate, eine Blackbox und daraus soll ein faires Verfahren werden. Das ist genau heute im Mai 2026 die harte Realität im deutschen Strafprozess gegen die Ex-Terroristin Daniela Klette. Und also ganz ehrlich, anders geht es ja überhaupt nicht. Ohne künstliche Intelligenz erstickt unsere Justiz schlichtweg in dieser riesigen Masse an digitalen Spuren.

SPEAKER_02 0:30

Also da muss ich dir sofort und entschieden widersprechen, was hier von den Ermittlern als notwendiges Übel oder pure Effizienz verkauft wird, das ist halt ein Frontalangriff auf fundamentale rechtsstaatliche Prinzipien.

SPEAKER_01 0:43

Echt jetzt? Ein Frontalangriff?

SPEAKER_02 0:45

Ja, absolut. Wenn wir zulassen, dass völlig undurchsichtige Algorithmen darüber entscheiden, welche Beweise ein Richter überhaupt zu Gesicht bekommt, dann schaffen wir das faire Verfahren faktisch einfach ab.

SPEAKER_01 0:57

Naja, also das ist doch jetzt wirklich blanke Panikmache. Schauen wir uns doch mal die nackten Zahlen an. Das LKA fand rund 300 Datenträger mit fast 30 Terabyte Informationen. Weißt du, was das in der Praxis eigentlich bedeutet?

SPEAKER_02 1:12

Eine unvorstellbare Menge an Daten natürlich.

SPEAKER_01 1:14

Genau, das entspricht ungefähr 6 Millionen hochauflösenden Handyfotos. Stell dir mal vor, da sitzen menschliche Ermittler und müssen das alles händisch durchklicken, nach Orten suchen, Chats lesen. Die sitzen in zehn Jahren noch da.

SPEAKER_02 1:27

Aber trotzdem rechtfertigt das nicht.

SPEAKER_01 1:29

Moment, lass mich kurz ausreden. Die Forderung nach einer rein manuellen Sichtung ist komplett realitätsfern. Software wie Celebrate Pathfinder ist ja kein digitaler Richter. Das ist letztlich nur ein extrem effizienter Filter, um bestimmte Emojis, Waffen oder Geld auf Bildern auszusortieren.

SPEAKER_02 1:47

Ein effizienter Filter. Das ist eine gefährliche Verharmlosung der Technik. Pathfinder sortiert nicht nur Dateien, Pathfinder priorisiert Aufmerksamkeit.

SPEAKER_01 1:57

Wie meinst du das?

SPEAKER_02 1:58

Und hier müssen wir verstehen, wie das funktioniert. Stell dir vor, diese Software ist wie ein extrem voreingenommener Bibliothekar. Du suchst nach der Wahrheit in einem riesigen Archiv, aber dieser Bibliothekar legt dir immer nur die Bücher auf den Tisch, die eine Schuld beweisen.

SPEAKER_01 2:12

Ah, okay. Und die anderen lässt er weg?

SPEAKER_02 2:15

Genau. Die Bücher mit dem Alibi versteckt er im hintersten Regal. Die Software verknüpft Metadaten, Orte, Personen und Fahrzeuge nach einer Logik, die für uns unsichtbar bleibt. Wer entscheidet, was zuerst auf dem Bildschirm der Ermittler aufpoppt, beeinflusst massiv die gesamte Ermittlungsrichtung. Diese algorithmische Vorselektion ist knallharte Ermittlungsmacht.

SPEAKER_01 2:36

Aber am Ende der Kette sitzt da immer noch ein menschlich Ermittler, der auf den Bildschirm schaut. Die KI schreibt doch nicht das finale Urteil, sie schlägt lediglich Treffer vor und ein Mensch prüft, ob da wirklich eine Waffe auf dem Foto zu sehen ist. Wo genau ist da der Verlust des Rechtsstaats?

SPEAKER_02 2:57

Der Verlust passiert genau in diesem Zwischenschritt. Die Verteidigung sieht nicht sauber, was die Maschine gefunden hat und was der Mensch gefunden hat. Und wir dürfen die menschliche Psychologie hier einfach nicht ausklammern.

SPEAKER_01 3:08

Du spielst auf diesen Automation Bias an, wa?

SPEAKER_02 3:11

Exakt. Also die nachgewiesene Tendenz unseres Gehirns, maschinellen Entscheidungen blind zu vertrauen. Warum passiert das? Wegen kognitiver Ermüdung. Wenn ein Ermittler den ganzen Tag lang 5000 von der KI markierte Fotos durchklickt, ist das Gehirn irgendwann erschöpft. Es sieht den grünen Haken der Software und nickt ihn einfach ab.

SPEAKER_01 3:30

Ja, das leuchtet ein.

SPEAKER_02 3:31

Ein falscher Träfer bindet dann wochenlang wertvolle Ermittlungsressourcen, während potenziell entlastende Hinweise komplett unsichtbar bleiben, weil die Maschine sie gar nicht erst nach oben sortiert hat. Und das Schlimmste daran ist, dass der Quellcode von Pathfinder ein geschütztes Geschäftsgeheimnis ist.

SPEAKER_01 3:48

Okay, aber Geschäftsgeheimnisse?

SPEAKER_02 3:50

Wie willst du als Verteidiger einen Algorithmuskreuz verhören, dessen Bauplan du nicht einmal sehen darfst? Wir verlassen hier übrigens längst das Feld der Theorie. Schauen wir mal auf die harte juristische Realität in Europa.

SPEAKER_01 4:02

Äh, richtig, da gab es ja dieses Urteil.

SPEAKER_02 4:04

Genau, das Bundesverfassungsgericht hat schon 2023 ganz klare rote Linien gezogen. Damals ging es um Regelungen in Hessen und Hamburg zur automatisierten Polizeidatenanalyse. Und das Gericht hat sie als verfassungswidrig kassiert. Warum? Weil die rechtlichen Grenzen und die technischen Methoden nicht bestimmt genug waren. Es darf in einer Demokratie keine maschinelle Blackbox geben, die unkontrolliert Persönlichkeitsprofile erstellt.

SPEAKER_00 4:34

Und der EU AI-Act spielt da ja jetzt auch noch mit rein.

SPEAKER_02 4:38

Richtig. Der stuft GAI-Systeme in der Strafverfolgung und Beweisauswertung eindeutig als Hochrisikokontext ein. Das bedeutet, extreme Anforderungen an Dokumentation, lückenlose Protokollierung und Transparenz darüber, wie die Maschine zu ihrem Ergebnis kam.

SPEAKER_01 4:55

Da muss ich jetzt aber mal reingrätschen. Geschäftsgeheimnisse bei Software gibt es doch überall in der Wirtschaft. Sollen wir jetzt in Europa ernsthaft Kriminelle laufen lassen, nur weil unsere gigantische digitale Realität einfach nicht mehr in diese alten analogen Aktenordner der Gerichte passt? Wenn wir die Polizei zwingen, jeden Rechenschritt der KI offen zu legen, können wir komplexe Ermittlungen auch gleich komplett einstellen.

SPEAKER_02 5:19

Wir sprechen hier aber nicht über Wirtschaft und Patente. Wir sprechen über das Strafprozessrecht. Es geht um Freiheitsentzug. Waffengleichheit vor Gericht bedeutet, ich muss den Weg zum Beweis attackieren können, nicht nur den Beweis selbst. Wenn sich dieser Weg hinter Lizenzverträgen verbirgt, haben wir ein massives rechtsstaatliches Problem.

SPEAKER_01 5:38

Also überlegt euch das mal ganz konkret da draußen. Bedenkt noch einmal diese 30TB Daten und diese Blackbox vom Anfang. Stellt euch vor, ihr seid die Angeklagten. Gegen euch stehen nicht nur Zeugen und Papierakten, sondern eine hochkomplexe Software, deren Trefferlisten ihr nicht überprüfen könnt. Vielleicht hat die Maschine alles richtig sortiert.

SPEAKER_02 6:00

Ja, oder vielleicht hat sie aber etwas Entscheidend Wichtiges übersehen, das eure Unschuld beweist. Und ihr dürft nicht nachschauen.

SPEAKER_01 6:08

Was einfach gruselig ist.

SPEAKER_02 6:10

Was uns zu einem wirklich provokanten Schlussgedanken bringt. Wenn eine KI theoretisch die Kapazität hat, die gesamte Datenmenge rasant zu durchfursten, dann könnte sie ja genauso gut und schnell nach entlastenden Mustern suchen. Andere Orte, andere Personen, alternative Zeitachsen.

SPEAKER_01 6:29

Da stellt sich dann die große Frage, ist der Fehler dann überhaupt das Werkzeug selbst? Oder ist das Problem nur unsere völlig einseitige Nutzung davon? Wenn euch diese Rebatte zum Nachdenken gebracht hat, abonniert KI-Express jeden Tag eine neue KI-Debatte in sechs Minuten.

SPEAKER_02 6:45

Das war KI Express.