Das prueft schon niemand: Der gefaehrlichste Satz in KI-Projekten

Der gefaehrlichste Satz in KI-Projekten

"Das prueft schon niemand."

Ich hoere diesen Satz oefter, als mir lieb ist. In Review-Meetings. In Deployment-Gespraechen. Bei Sicherheitspruefungen. Er klingt pragmatisch. Er ist ein Kontrollversagen.

Letzte Woche: Ein KI-Modell war live im Produktionsbetrieb, verarbeitete Kundendaten – und niemand im Raum konnte mir sagen, welche Daten genau reinfliessen. Nicht der Projektleiter. Nicht der Entwickler. Nicht der Datenschutzbeauftragte.

Von Nachlassigkeit zu Kontrollversagen

Die Annahme "Das prueft schon niemand" ist keine Nachlassigkeit. Sie ist ein systemisches Kontrollversagen.

Nachlassigkeit waere, wenn jemand weiss, dass etwas geprueft werden muss, und es trotzdem nicht tut. Das waere behebbar. Was ich stattdessen sehe: Niemand hat die Pruefzustaendigkeit je klar definiert. Deshalb prueft auch niemand.

Das Ergebnis ist ein KI-Projekt, das technisch funktioniert und governance-seitig ein Blindflug ist. Innovative Technologie, keine Kontrolle. Das ist nicht mutig. Das ist fahrlassig.

Drei Fragen, die jedes KI-Projekt beantworten koennen muss

Erstens: Welche Daten fliessen in das Modell? Mit welchen Daten wird trainiert, inferiert, bewertet? Wer hat diese Daten klassifiziert und freigegeben?

Zweitens: Wer prueft die Outputs, bevor sie Entscheidungen beeinflussen? KI-Systeme liefern Wahrscheinlichkeiten, keine Fakten. Die Frage, wer diese Outputs vor geschaeftlichen Entscheidungen validiert, muss beantwortet sein – schriftlich, mit Namen.

Drittens: Was passiert, wenn das Modell falsch liegt, und wer traegt die Verantwortung? Ein Kreditmodell, das systematisch falsch entscheidet. Ein Lieferkettenmodell, das Engpaesse nicht erkennt. Wer ist verantwortlich? Wer informiert den Kunden? Wer stoppt das System?

Wenn keine dieser Fragen beantwortet ist

Dann ist das Projekt nicht innovativ. Es ist fahrlassig.

Das sage ich nicht als Bremsmanoeuvre gegen KI. Ich sage es als Beobachtung aus dutzenden Projekten, in denen diese fehlenden Antworten spaeter zu echten Problemen wurden: Datenschutzvorfaellen, fehlgeleiteten Entscheidungen, regulatorischen Beanstandungen.

Was die Loesung nicht ist

Die Loesung ist kein 50-seitiges AI-Governance-Framework, das in der Schublade landet. Sie ist auch kein externer Audit, der einmal jaehrlich stattfindet.

Die Loesung ist ein klares Pruefregime: Wer prueft was, wann, mit welchem Ergebnis. Dokumentiert, nicht nur besprochen. Wiederholbar, nicht nur einmalig. Und an Personen, nicht an Rollen gebunden.

Die Frage, die Sie sich stellen sollten

Wann haben Sie zuletzt den Satz "Das prueft schon niemand" gehoert – und nicht eingegriffen? Was war die Konsequenz?