Hochrisiko-KI-System
Ein Hochrisiko-KI-System ist ein KI-System, das gemäß der EU-KI-Verordnung (AI Act) aufgrund seines Einsatzbereichs oder seiner Funktion erhebliche Risiken für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt und deshalb strengen regulatorischen Anforderungen unterliegt.
Ausführliche Erklärung
Die EU-KI-Verordnung (Verordnung (EU) 2024/1689) stuft KI-Systeme anhand ihres Risikopotenzials ein. Als Hochrisiko-KI-Systeme gelten zwei Gruppen: Erstens KI-Systeme, die als Sicherheitsbauteil in regulierten Produkten (z. B. Medizinprodukte, Maschinen, Fahrzeuge) verwendet werden und einer Konformitätsbewertung durch Dritte unterliegen. Zweitens KI-Systeme, die in einem der in Anhang III der Verordnung aufgelisteten sensiblen Anwendungsbereiche eingesetzt werden – etwa im Personalwesen (Bewerberauswahl, Leistungsbewertung), in der Bildung (Prüfungsbewertung, Zulassungsentscheidungen), in der kritischen Infrastruktur, bei der Kreditwürdigkeitsprüfung, in der Strafverfolgung oder im Asyl- und Migrationsbereich.
Für KMU ist die Hochrisiko-Einstufung besonders relevant, da sie weitreichende Compliance-Pflichten auslöst. Anbieter solcher Systeme müssen ein durchgängiges Risikomanagementsystem einrichten, eine umfassende technische Dokumentation erstellen, Anforderungen an Datenqualität und Transparenz erfüllen sowie die menschliche Aufsicht (Human Oversight) sicherstellen. Betreiber – also Unternehmen, die Hochrisiko-KI-Systeme einsetzen – sind verpflichtet, die Systeme gemäß Betriebsanleitung zu verwenden, geeignetes Personal zu schulen, Protokollierungspflichten nachzukommen und schwerwiegende Vorfälle zu melden. Vor dem Inverkehrbringen ist in den meisten Fällen eine interne Konformitätsbewertung erforderlich, bei biometrischen Identifikationssystemen muss eine benannte Stelle hinzugezogen werden.
Die Verordnung trat am 1. August 2024 in Kraft, die Pflichten für Hochrisiko-KI-Systeme gemäß Anhang III sind ab dem 2. August 2026 vollständig anzuwenden (für Systeme in Produkten gemäß Anhang I ab 2. August 2027). Verstöße gegen die Anforderungen können mit Geldbußen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden. Unternehmen sollten frühzeitig prüfen, ob ihre bestehenden oder geplanten KI-Systeme unter die Hochrisiko-Kategorie fallen, da Konformitätsbewertungen erfahrungsgemäß drei bis sechs Monate in Anspruch nehmen.
Praxisbeispiel
Ein österreichisches Personalberatungsunternehmen mit 35 Mitarbeitenden setzt eine KI-Software ein, die eingehende Bewerbungsunterlagen analysiert und anhand von Profilen eine Vorauswahl trifft. Da das System im Bereich Beschäftigung und Personalwesen (Anhang III) verwendet wird und Auswahlentscheidungen wesentlich beeinflusst, gilt es als Hochrisiko-KI-System. Das Unternehmen muss die KI gemäß Betriebsanleitung einsetzen, geschultes Personal für die Aufsicht benennen, Eingabedaten auf Relevanz prüfen und automatisch generierte Protokolle mindestens sechs Monate speichern.
Quellen
- Art. 6 KI-VO – Einstufungsvorschriften für Hochrisiko-KI-Systeme
- Annex III: High-Risk AI Systems Referred to in Article 6(2) | EU Artificial Intelligence Act
- Hochrisiko KI-Systeme | Bundesnetzagentur
- AI Act | Shaping Europe's digital future | Europäische Kommission
- Risikostufen von KI-Systemen | KI-Servicestelle | RTR