Hochrisiko-KI: Anforderungen und Cybersicherheit (Art. 15)

Problem in der Praxis

In vielen Organisationen wird KI eingeführt, bevor jemand geklärt hat, ob ein System überhaupt als Hochrisiko-KI einzustufen ist und wer die Verantwortung trägt. Fachbereiche beschaffen Modelle, integrieren Schnittstellen oder trainieren eigene Anwendungen, während Security und Compliance erst spät eingebunden werden.

Das führt zu zwei typischen Mustern. Entweder wird KI pauschal als reines IT-Thema behandelt, dann fehlen Daten-Governance, menschliche Aufsicht und Grundrechtsbezug. Oder KI wird als reines Rechtsthema behandelt, dann fehlt der technische Schutz gegen Manipulation und Ausfall. Beide Sichten greifen zu kurz, weil die Hochrisiko-Anforderungen organisatorische und technische Pflichten zusammenbinden.

Hinzu kommt Unsicherheit über die zeitliche Geltung. Die Fristen für Hochrisiko-KI sind nach derzeitigem Stand Gegenstand politischer Anpassung (Stichwort Digital Omnibus) und damit der volatilste Teil der Regelung. Wer seine Planung an einem einzelnen Datum aufhängt, riskiert Fehlsteuerung.

CISO-Einordnung

Hochrisiko-KI ergibt sich im AI Act aus Artikel 6 in Verbindung mit den Anhängen: KI-Systeme in bestimmten Anwendungsfeldern nach Anhang III (eigenständige Systeme, etwa Biometrie, kritische Infrastruktur, Bildung, Beschäftigung und Personalwesen, Zugang zu wesentlichen Diensten, Strafverfolgung, Migration, Justiz) sowie KI als Sicherheitskomponente in bereits regulierten Produkten nach Anhang I. Die Aufzählung ist verkürzt; maßgeblich sind Artikel und Anhänge im Originaltext.

Für Anbieter solcher Systeme bestehen über die Artikel 8 ff. abgestufte Pflichten. Aus CISO-Sicht lohnt es, sie in zwei Blöcke zu denken. Der erste Block ist Governance- und prozessnah: Risikomanagementsystem über den Lebenszyklus, Daten-Governance und Datenqualität, technische Dokumentation, automatische Protokollierung, Transparenzinformationen an Betreiber und menschliche Aufsicht. Der zweite Block ist technisch-defensiv und in Artikel 15 gebündelt: Genauigkeit, Robustheit und Cybersicherheit.

Artikel 15 ist der Punkt, an dem klassische Informationssicherheit und KI-Governance ineinandergreifen. Adressiert werden unter anderem Robustheit und Resilienz, Fehlertoleranz sowie der Schutz vor KI-spezifischen Angriffen wie Data Poisoning, Model Evasion und Adversarial Examples. Genau hier ist die Brücke zu ISO/IEC 27001 und zum NIST AI Risk Management Framework am tragfähigsten.

Wichtig ist die Rollentrennung. Die meisten der genannten Pflichten treffen den Anbieter. Betreiber haben nach Artikel 26 eigene, aber andere Pflichten, etwa bestimmungsgemäßer Einsatz, Sicherstellung der menschlichen Aufsicht, Relevanz der Eingabedaten und Aufbewahrung von Logs. Wer KI nur einkauft und einsetzt, ist in der Regel Betreiber, nicht Anbieter. Diese Einordnung entscheidet über den Pflichtenkatalog.

Umsetzungsperspektive

Der CISO sollte Hochrisiko-Anforderungen nicht als isoliertes Projekt aufsetzen, sondern an vorhandene Steuerung andocken. Drei Hebel sind tragend.

Erstens die Einstufung. Bevor Maßnahmen geplant werden, braucht es eine belastbare Klärung, ob ein System Hochrisiko-KI ist und welche Rolle die Organisation einnimmt. Diese Einstufung ist eine gemeinsame Aufgabe von Fachbereich, Recht, Datenschutz und Security.

Zweitens die Integration in bestehende Managementsysteme. ISO/IEC 42001 beschreibt ein KI-Managementsystem, das derselben harmonisierten Struktur folgt wie ISO/IEC 27001 und sich deshalb in ein bestehendes ISMS integrieren lässt, also gemeinsame Governance, Risiko- und Auditprozesse. Damit liefert es das organisatorische Wie für viele Anbieterpflichten. Eine ISO-42001-Zertifizierung erzeugt aber keinen automatischen Konformitätsnachweis unter dem AI Act; eine Vermutungswirkung wäre künftigen harmonisierten Normen vorbehalten. Der Stand dieser Normen ist zu verfolgen und zu prüfen.

Drittens Artikel 15 als Erweiterung der Informationssicherheit. Robustheit und Cybersicherheit von KI lassen sich konzeptionell auf bekannte ISMS-Disziplinen abbilden, etwa Zugriffssteuerung, Schwachstellen- und Patchmanagement, sichere Entwicklung sowie Protokollierung und Monitoring. Das NIST AI RMF mit den vier Funktionen Govern, Map, Measure und Manage liefert dafür eine frei nutzbare, prozessuale Methodik, die sich gut auf das Risikomanagement und auf Artikel 15 abbilden lässt.

Zur Taktung gehört, dass KI-Risiken denselben Regelkreis durchlaufen wie andere wesentliche Risiken: identifizieren, bewerten, behandeln, Restrisiko entscheiden, Wirksamkeit prüfen. Nachweise sollten als Nebenprodukt des Betriebs entstehen, nicht kurz vor einem Audit.

Typische Fehler

1. KI wird eingesetzt, ohne die Hochrisiko-Einstufung und die eigene Rolle (Anbieter oder Betreiber) zu klären.
2. Artikel 15 wird auf Modellgenauigkeit reduziert und die Cybersicherheitsdimension (Manipulation, Resilienz) ignoriert.
3. KI-Governance wird parallel zum ISMS aufgebaut, statt sie zu integrieren, mit doppelten Prozessen und Lücken.
4. Eine ISO-42001-Zertifizierung wird fälschlich als AI-Act-Konformitätsnachweis verstanden.
5. Die Planung wird an einem einzelnen Fristdatum aufgehängt, obwohl die Hochrisiko-Fristen derzeit in Bewegung sind.

Risiken und Trade-offs

Ein zu frühes, zu schweres Programm bindet Ressourcen an Systeme, die sich am Ende nicht als Hochrisiko-KI qualifizieren. Ein zu spätes Programm lässt keine Zeit für Daten-Governance, Dokumentation und Robustheitsnachweise, die nicht über Nacht entstehen.

Ein zweiter Trade-off betrifft Eigenentwicklung gegen Zukauf. Wer Modelle selbst baut oder wesentlich anpasst, kann in die Anbieterrolle rutschen und trägt dann den vollen Pflichtenkatalog. Zukauf verlagert Pflichten, ersetzt aber nicht die Betreiberverantwortung.

Ein dritter Punkt ist die Fristenunsicherheit selbst. Sich auf eine nur vorgeschlagene Verschiebung zu verlassen, die formal noch nicht in Kraft ist, ist riskant. Bis zur amtlichen Veröffentlichung gelten die Anwendungstermine aus Art. 113 der Verordnung (EU) 2024/1689 (Anhang III ab 02.08.2026, Anhang I ab 02.08.2027). Konservative Planung behandelt eine Verschiebung als mögliche Erleichterung, nicht als gesicherte Grundlage.

Entscheidungspunkte

• Welche eingesetzten oder geplanten KI-Systeme sind voraussichtlich Hochrisiko-KI, und in welcher Rolle ist die Organisation betroffen?
• Wird KI-Governance in das bestehende ISMS integriert oder separat geführt, und wer trägt die Gesamtverantwortung?
• Wie wird Artikel 15 konkret an vorhandene Sicherheitsprozesse angebunden, statt parallele Strukturen zu schaffen?
• Welche internen Fähigkeiten zu Daten-Governance, Robustheitstests und menschlicher Aufsicht fehlen und müssen aufgebaut oder eingekauft werden?
• Welche Planungsannahme gilt für die Fristen, solange der finale Rechtsstand nicht veröffentlicht ist?

Praktische Empfehlungen

1. Erstellen Sie zuerst ein Inventar der KI-Anwendungen mit vorläufiger Risikoeinstufung und Rollenklärung (Anbieter oder Betreiber).
2. Verankern Sie KI-Risiken im bestehenden Risikoregelkreis des ISMS, statt ein zweites System aufzubauen.
3. Behandeln Sie Artikel 15 als Erweiterung der Informationssicherheit und mappen Sie ihn auf vorhandene Controls und auf das NIST AI RMF.
4. Bauen Sie Daten-Governance, Protokollierung und menschliche Aufsicht so, dass Nachweise im Betrieb entstehen.
5. Planen Sie konservativ entlang der ursprünglichen Fristen und verfolgen Sie den finalen Rechtsstand aktiv (zu prüfen).

Relevante Normreferenzen

• EU AI Act, Verordnung (EU) 2024/1689: Rechtsrahmen für KI, insbesondere Artikel 6 und Anhänge (Hochrisiko-Einstufung), Artikel 8 ff. (Anbieterpflichten), Artikel 15 (Genauigkeit, Robustheit, Cybersicherheit), Artikel 26 (Betreiberpflichten). EU-Recht, frei zitierbar mit Quellenangabe.
• NIST AI Risk Management Framework (AI 100-1): freiwillige, sektorübergreifende Methodik (Govern, Map, Measure, Manage). Public Domain, frei nutzbar.
• ISO/IEC 42001:2023: KI-Managementsystem, über die harmonisierte Struktur in ein ISMS integrierbar. Lizenziert, nur als Strukturreferenz.
• ISO/IEC 27001: ISMS als Fundament für die Cybersicherheitsdimension von Artikel 15. Lizenziert, nur als Strukturreferenz.