Hochrisiko-KI-System

Ausführliche Erklärung

Die EU-KI-Verordnung (Verordnung 2024/1689) verfolgt einen risikobasierten Ansatz und definiert Risiko als "die Kombination aus der Wahrscheinlichkeit des Auftretens eines Schadens und der Schwere dieses Eintritts". Ein KI-System gilt als Hochrisiko-System, wenn es in zwei klar definierten Kategorien eingesetzt wird: Erstens als Sicherheitsbauteil eines Produkts, das bereits nach EU-Harmonisierungsrecht reguliert ist (etwa Medizinprodukte oder Maschinenteile), sofern es eine externe Konformitätsbewertung durchlaufen muss. Zweitens, wenn es einem der acht Anwendungsbereiche in Anhang III der Verordnung zugeordnet werden kann – dazu zählen unter anderem biometrische Identifikation, kritische Infrastruktur, Bildung und Berufsbildung, Beschäftigung und Personalwesen, Zugang zu Behördenleistungen, Strafverfolgung sowie Migration und Asyl.

Die Einstufung als Hochrisiko bedeutet nicht, dass ein System per se gefährlich oder unzulässig ist, sondern dass sein Einsatzkontext potenziell gravierende Folgen haben kann – etwa Diskriminierung, Sicherheitsrisiken oder rechtsverbindliche Fehlentscheidungen. Typische Beispiele sind KI-Systeme zur automatisierten Bewerberauswahl, zur Kreditwürdigkeitsprüfung, zur Steuerung kritischer Infrastruktur oder zur Bewertung von Prüfungsleistungen. Die EU-Kommission stellt Leitlinien zur Klassifizierung zur Verfügung und kann die Liste der Hochrisiko-Anwendungsfälle anpassen.

Für Anbieter von Hochrisiko-KI-Systemen gelten umfangreiche Pflichten: Sie müssen ein kontinuierliches Risikomanagementsystem einrichten, eine umfassende technische Dokumentation erstellen, strenge Anforderungen an Datenqualität und Daten-Governance erfüllen, Transparenz und Nachvollziehbarkeit gewährleisten, menschliche Aufsicht (Human Oversight) ermöglichen sowie Genauigkeit, Robustheit und Cybersicherheit sicherstellen. Betreiber – also jene, die ein solches System im Unternehmen einsetzen – müssen das System gemäß Betriebsanleitung verwenden, Mitarbeiter schulen, Überwachungsmaßnahmen treffen und betroffene Personen über den Einsatz informieren. Ab 2. Dezember 2027 – nach der durch den Digital Omnibus beschlossenen Verschiebung – müssen alle eigenständigen Hochrisiko-KI-Systeme (Anhang III) diese Anforderungen erfüllen. Verstöße können mit Geldbußen bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes geahndet werden.