Das prüft schon niemand: Der gefährlichste Satz in KI-Projekten

Der gefährlichste Satz in KI-Projekten

"Das prüft schon niemand."

Ich höre diesen Satz öfter, als mir lieb ist. In Review-Meetings. In Deployment-Gesprächen. Bei Sicherheitsprüfungen. Er klingt pragmatisch. Er ist ein Kontrollversagen.

Letzte Woche: Ein KI-Modell war live im Produktionsbetrieb, verarbeitete Kundendaten. Und niemand im Raum konnte mir sagen, welche Daten genau reinfliessen. Nicht der Projektleiter. Nicht der Entwickler. Nicht der Datenschutzbeauftragte.

Von Nachlassigkeit zu Kontrollversagen

Die Annahme "Das prüft schon niemand" ist keine Nachlassigkeit. Sie ist ein systemisches Kontrollversagen.

Nachlassigkeit wäre, wenn jemand weiss, dass etwas geprüft werden muss, und es trotzdem nicht tut. Das wäre behebbar. Was ich stattdessen sehe: Niemand hat die Pruefzustaendigkeit je klar definiert. Deshalb prüft auch niemand.

Das Ergebnis ist ein KI-Projekt, das technisch funktioniert und governance-seitig ein Blindflug ist. Innovative Technologie, keine Kontrolle. Das ist nicht mutig. Das ist fahrlassig.

Drei Fragen, die jedes KI-Projekt beantworten können muss

Erstens: Welche Daten fliessen in das Modell? Mit welchen Daten wird trainiert, inferiert, bewertet? Wer hat diese Daten klassifiziert und freigegeben?

Zweitens: Wer prüft die Outputs, bevor sie Entscheidungen beeinflussen? KI-Systeme liefern Wahrscheinlichkeiten, keine Fakten. Die Frage, wer diese Outputs vor geschäftlichen Entscheidungen validiert, muss beantwortet sein: schriftlich, mit Namen.

Drittens: Was passiert, wenn das Modell falsch liegt, und wer trägt die Verantwortung? Ein Kreditmodell, das systematisch falsch entscheidet. Ein Lieferkettenmodell, das Engpässe nicht erkennt. Wer ist verantwortlich? Wer informiert den Kunden? Wer stoppt das System?

Wenn keine dieser Fragen beantwortet ist

Dann ist das Projekt nicht innovativ. Es ist fahrlassig.

Das sage ich nicht als Bremsmanoeuvre gegen KI. Ich sage es als Beobachtung aus dutzenden Projekten, in denen diese fehlenden Antworten später zu echten Problemen wurden: Datenschutzvorfaellen, fehlgeleiteten Entscheidungen, regulatorischen Beanstandungen.

Was die Lösung nicht ist

Die Lösung ist kein 50-seitiges AI-Governance-Framework, das in der Schublade landet. Sie ist auch kein externer Audit, der einmal jährlich stattfindet.

Die Lösung ist ein klares Pruefregime: Wer prüft was, wann, mit welchem Ergebnis. Dokumentiert, nicht nur besprochen. Wiederholbar, nicht nur einmalig. Und an Personen, nicht an Rollen gebunden.

Die Frage, die Sie sich stellen sollten

Wann haben Sie zuletzt den Satz "Das prüft schon niemand" gehört und nicht eingegriffen? Was war die Konsequenz?