Hochrisiko-KI-Systeme nach dem AI Act: Definition, Beispiele und Pflichten

Das Wichtigste in Kürze

• Der AI Act (VO (EU) 2024/1689) stuft KI-Systeme mit erheblichem Risiko für Grundrechte, Gesundheit oder Sicherheit als Hochrisiko ein.
• Die Einstufung erfolgt über zwei Wege: als Sicherheitskomponente eines regulierten Produkts (Art. 6 Abs. 1, Anhang I) oder als eigenständiges System in einem der 8 Bereiche aus Anhang III (Art. 6 Abs. 2).
• Zu den Hochrisiko-Bereichen gehören u. a. Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Kreditwesen, Strafverfolgung, Migration und Justiz.
• Für Hochrisiko-KI gelten strenge Anforderungen an Risikomanagement, Datenqualität, Transparenz, menschliche Aufsicht und Cybersicherheit (Art. 9--15).
• Art. 6 Abs. 3 enthält eine Ausnahmeregel: Wenn ein KI-System keine erhebliche Entscheidungsunterstützung bietet, kann es trotz Nennung in Anhang III von der Hochrisiko-Einstufung ausgenommen werden.
• Bei Verstößen drohen Bußgelder bis 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes (Art. 99 Abs. 4).

Warum die Hochrisiko-Kategorie so wichtig ist

Im risikobasierten Regelungskonzept des AI Act bilden Hochrisiko-KI-Systeme die zentrale Regulierungsebene. Sie stehen zwischen den vollständig verbotenen Praktiken (Art. 5) und den weniger regulierten Systemen mit begrenztem oder minimalem Risiko. Während verbotene Systeme gar nicht eingesetzt werden dürfen und für Minimal-Risiko-Systeme kaum Pflichten bestehen, müssen Hochrisiko-KI-Systeme ein umfangreiches Pflichtenprogramm durchlaufen, bevor sie auf den EU-Markt gelangen.

Für Unternehmen ist die korrekte Einordnung ihrer KI-Systeme deshalb von entscheidender Bedeutung: Wer ein Hochrisiko-System irrtümlich als risikoarm einstuft, riskiert nicht nur empfindliche Bußgelder, sondern auch den Verlust der Marktberechtigung. Umgekehrt kann eine unnötig strenge Einstufung zu erheblichem Mehraufwand führen, der nicht erforderlich wäre.

Dieser Artikel erklärt im Detail, wie die Hochrisiko-Klassifizierung nach dem AI Act funktioniert, welche konkreten Bereiche betroffen sind und welche Pflichten auf Anbieter und Betreiber zukommen.

Wann ist ein KI-System Hochrisiko?

Art. 6 VO (EU) 2024/1689 definiert zwei Wege, über die ein KI-System als Hochrisiko eingestuft wird. Beide Wege sind unabhängig voneinander -- es genügt, wenn einer der beiden erfüllt ist.

Weg 1: Sicherheitskomponente eines regulierten Produkts (Art. 6 Abs. 1)

Ein KI-System gilt als Hochrisiko, wenn es:

• als Sicherheitskomponente eines Produkts eingesetzt wird, das unter eine der in Anhang I VO (EU) 2024/1689 aufgeführten EU-Harmonisierungsvorschriften fällt, oder
• selbst ein solches Produkt darstellt, und
• das betreffende Produkt gemäß der jeweiligen Harmonisierungsvorschrift einer Konformitätsbewertung durch Dritte unterzogen werden muss, bevor es in Verkehr gebracht werden darf.

Welche Produktvorschriften sind in Anhang I gelistet? Dazu gehören unter anderem:

• Maschinenverordnung (VO (EU) 2023/1230)
• Medizinprodukte-Verordnung (VO (EU) 2017/745)
• In-vitro-Diagnostika-Verordnung (VO (EU) 2017/746)
• Spielzeugsicherheit (Richtlinie 2009/48/EG)
• Aufzüge (Richtlinie 2014/33/EU)
• Druckgeräte (Richtlinie 2014/68/EU)
• Kraftfahrzeugtechnik (diverse Typgenehmigungsvorschriften)

Praxisbeispiel: Ein KI-System, das in einem medizinischen Diagnosegerät die automatische Erkennung von Tumoren auf Röntgenbildern übernimmt, fällt unter die Medizinprodukte-Verordnung. Da für solche Medizinprodukte eine Konformitätsbewertung durch eine benannte Stelle erforderlich ist, wird das KI-System automatisch als Hochrisiko eingestuft.

Weg 2: Eigenständiges KI-System in einem Anhang-III-Bereich (Art. 6 Abs. 2)

Unabhängig davon, ob ein KI-System Teil eines regulierten Produkts ist, gilt es als Hochrisiko, wenn es in einem der acht Bereiche eingesetzt wird, die in Anhang III VO (EU) 2024/1689 abschließend aufgeführt sind. Dieser zweite Weg erfasst primär eigenständige KI-Anwendungen, die nicht als physisches Produkt in Verkehr gebracht werden, sondern als Software direkt auf Menschen einwirken.

Praxisbeispiel: Ein KI-gestütztes Recruiting-Tool, das Bewerbungsunterlagen automatisch vorsortiert und Kandidaten bewertet, fällt unter den Anhang-III-Bereich „Beschäftigung" -- auch wenn es keine physische Sicherheitskomponente ist.

Zusammenfassung der beiden Wege

Alle 8 Bereiche aus Anhang III

Anhang III VO (EU) 2024/1689 definiert acht Bereiche, in denen KI-Systeme grundsätzlich als Hochrisiko gelten. Im Folgenden erläutern wir jeden Bereich im Detail mit konkreten Beispielen und typischen Anwendungsfällen.

1. Biometrie

Der erste Bereich in Anhang III betrifft biometrische Systeme, die zur Fernidentifizierung oder Kategorisierung natürlicher Personen eingesetzt werden. Wichtig ist die Abgrenzung: Die Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen durch Strafverfolgungsbehörden ist grundsätzlich nach Art. 5 VO (EU) 2024/1689 verboten (mit eng definierten Ausnahmen). Als Hochrisiko eingestuft wird hingegen die nachträgliche biometrische Fernidentifizierung sowie die Kategorisierung von Personen anhand biometrischer Daten.

Praxisrelevanz: Unternehmen, die Gesichtserkennungstechnologie für Zugangskontrollsysteme oder die Videoüberwachung in privaten Räumen einsetzen, müssen prüfen, ob ihr System unter diesen Bereich fällt.

2. Kritische Infrastruktur

KI-Systeme, die als Sicherheitskomponenten bei der Verwaltung und dem Betrieb kritischer Infrastruktur eingesetzt werden, gelten als Hochrisiko. Dies umfasst die Bereiche Wasser-, Gas- und Stromversorgung ebenso wie den Straßen-, Schienen-, Luft- und Schiffsverkehr. Auch digitale Infrastrukturen fallen darunter.

Warum? Ein Ausfall oder eine Fehlfunktion der KI in diesen Bereichen kann unmittelbar Leib und Leben von Menschen gefährden. Eine KI, die fehlerhaft die Stromverteilung steuert, könnte Krankenhäuser von der Versorgung abschneiden.

3. Bildung und Berufsausbildung

Dieser Bereich erfasst KI-Systeme, die über den Zugang zu Bildungseinrichtungen entscheiden, Lernleistungen bewerten oder Prüfungen überwachen. Die Einstufung als Hochrisiko spiegelt die Erkenntnis wider, dass Bildungsentscheidungen den gesamten Lebensweg eines Menschen prägen können.

Beispiele: Ein KI-System, das automatisch entscheidet, welche Bewerber einen Studienplatz erhalten, muss die vollen Hochrisiko-Anforderungen erfüllen. Dasselbe gilt für sogenannte Proctoring-Software, die bei Online-Prüfungen das Verhalten der Prüflinge überwacht und verdächtiges Verhalten meldet.

4. Beschäftigung und Personalmanagement

Der Bereich Beschäftigung ist einer der praxisrelevantesten für Unternehmen. Unter Hochrisiko fallen KI-Systeme, die bei folgenden Entscheidungen eingesetzt werden:

• Recruiting und Einstellung: Automatisiertes Screening von Lebensläufen, KI-gestützte Vorauswahl, automatische Absagen
• Arbeitsbedingungen: Zuweisung von Aufgaben, Schichtplanung durch KI
• Leistungsbewertung: KI-gestütztes Performance-Monitoring, automatisierte Mitarbeiterbewertung
• Beförderung und Kündigung: KI-Systeme, die Beförderungs- oder Kündigungsentscheidungen unterstützen

Wichtig für die Praxis: Viele Unternehmen setzen bereits heute KI-basierte Recruiting-Tools ein, ohne sich der Hochrisiko-Einstufung bewusst zu sein. Die Pflichten greifen ab 2. August 2026.

5. Wesentliche private und öffentliche Dienstleistungen

Dieser Bereich schützt Menschen vor KI-gestützten Entscheidungen, die ihren Zugang zu existenziellen Leistungen beeinflussen. Dazu gehören:

• Kredit-Scoring und Bonitätsprüfung: KI-Systeme, die die Kreditwürdigkeit natürlicher Personen bewerten (mit Ausnahme der Betrugserkennung)
• Versicherungen: KI zur Risikobewertung und Prämienberechnung bei Lebens- und Krankenversicherungen
• Sozialleistungen: KI-Systeme, die über die Gewährung, Kürzung oder den Entzug von Sozialleistungen entscheiden
• Notdienste: KI-Systeme, die die Priorisierung von Notrufen steuern (z. B. Triage-Systeme)

Hintergrund: Das wegweisende EuGH-Urteil zur SCHUFA (C-634/21 vom 7. Dezember 2023) hat bereits vor Inkrafttreten des AI Act klargestellt, dass automatisiertes Scoring unter strenger datenschutzrechtlicher Kontrolle steht. Der AI Act ergänzt diesen Schutz nun um spezifische KI-Anforderungen.

6. Strafverfolgung

KI-Systeme in der Strafverfolgung gelten aufgrund des massiven Eingriffs in Grundrechte als Hochrisiko. Erfasst sind unter anderem:

• Risikobewertung: KI-Systeme, die das Risiko einschätzen, dass eine Person eine Straftat begeht oder rückfällig wird
• Lügendetektoren: KI-gestützte Systeme zur Erkennung von Emotionen oder zur Glaubwürdigkeitsprüfung
• Profiling: KI-Systeme zur Erstellung von Persönlichkeitsprofilen im Rahmen von Ermittlungen
• Beweisbewertung: KI-Systeme, die bei der Analyse und Bewertung von Beweismitteln unterstützen

Kritischer Punkt: Predictive Policing -- also der Einsatz von KI zur Vorhersage von Straftaten -- ist ein besonders sensibler Anwendungsfall, bei dem die Hochrisiko-Anforderungen vollständig greifen.

7. Migration, Asyl und Grenzkontrolle

Im Bereich Migration erfasst Anhang III KI-Systeme, die bei folgenden Prozessen eingesetzt werden:

• Visum-Entscheidungen: Automatisierte Bearbeitung und Bewertung von Visumanträgen
• Asylverfahren: KI-gestützte Prüfung von Asylanträgen, Glaubwürdigkeitsbewertung
• Grenzkontrollen: Automatisierte Identitätsprüfung, Risikoeinschätzung bei der Einreise
• Aufenthaltsrechtliche Entscheidungen: KI-Systeme, die Aufenthalts- oder Abschiebungsentscheidungen unterstützen

Grundrechtsperspektive: Migrationsentscheidungen betreffen häufig besonders schutzbedürftige Personen. Fehlerhafte KI-Entscheidungen können in diesem Bereich existenzielle Konsequenzen haben -- bis hin zur unrechtmäßigen Abschiebung.

8. Rechtspflege und demokratische Prozesse

Der achte und letzte Bereich in Anhang III betrifft KI-Systeme in der Justiz und bei demokratischen Prozessen:

• Rechtsauslegung: KI-Systeme, die Gerichten oder Behörden bei der Auslegung von Rechtsvorschriften helfen
• Strafzumessung: Automatisierte Empfehlungen zur Höhe von Strafen
• Streitbeilegung: KI-gestützte Schlichtungs- oder Mediationsverfahren
• Wahlbeeinflussung: KI-Systeme, die das Wahlverhalten natürlicher Personen beeinflussen könnten

Wichtig: Rein unterstützende juristische Recherche-Tools, die keine eigenständigen Entscheidungsempfehlungen abgeben, können unter die Ausnahmeregel des Art. 6 Abs. 3 fallen (dazu mehr im Abschnitt „Ausnahmen").

Pflichten für Hochrisiko-KI: Die Anforderungen aus Art. 9--15

Wer ein Hochrisiko-KI-System anbietet oder betreibt, muss ein umfassendes Pflichtenprogramm erfüllen. Die Art. 9 bis 15 VO (EU) 2024/1689 legen sieben zentrale Anforderungen fest, die kumulativ zu erfüllen sind.

Pflichten für Anbieter (Art. 16--25)

Anbieter (Provider) -- also diejenigen, die ein Hochrisiko-KI-System entwickeln und in Verkehr bringen -- tragen die Hauptverantwortung. Zu ihren Pflichten gehören:

• Sicherstellung der Konformität mit Art. 9--15 vor dem Inverkehrbringen
• Durchführung einer Konformitätsbewertung (Art. 43)
• Anbringung der CE-Kennzeichnung (Art. 48)
• Registrierung in der EU-Datenbank für Hochrisiko-KI-Systeme (Art. 49)
• Einrichtung eines Qualitätsmanagementsystems (Art. 17)
• Aufbewahrung der technischen Dokumentation für mindestens 10 Jahre (Art. 18)
• Zusammenarbeit mit den zuständigen Marktüberwachungsbehörden (Art. 21)
• Post-Market-Monitoring: Überwachung des Systems auch nach dem Inverkehrbringen (Art. 72)

Pflichten für Betreiber (Art. 26)

Betreiber (Deployer) -- also Unternehmen, die ein Hochrisiko-KI-System einsetzen -- haben ebenfalls erhebliche Pflichten:

• Einsatz des Systems gemäß der Gebrauchsanweisung des Anbieters
• Sicherstellung der menschlichen Aufsicht durch kompetentes Personal
• Überwachung der Eingabedaten auf Relevanz und Repräsentativität
• Informationspflicht gegenüber betroffenen Personen (Art. 26 Abs. 7)
• Aufbewahrung der automatisch erzeugten Logs für mindestens 6 Monate
• Durchführung einer Grundrechte-Folgenabschätzung vor Inbetriebnahme (Art. 27) -- diese Pflicht gilt für Betreiber, die Einrichtungen des öffentlichen Rechts sind oder private Betreiber, die öffentliche Dienstleistungen erbringen
• Meldepflicht bei schwerwiegenden Vorfällen an den Anbieter und die zuständige Behörde

Praxis-Tipp: Betreiber sollten bereits bei der Beschaffung eines KI-Systems vertragliche Regelungen mit dem Anbieter treffen, die die Einhaltung der Hochrisiko-Anforderungen sicherstellen. Verlangen Sie die technische Dokumentation und die Konformitätserklärung vor Vertragsschluss.

Ausnahmen: Wann ein Anhang-III-System doch kein Hochrisiko ist

Art. 6 Abs. 3 VO (EU) 2024/1689 enthält eine wichtige Ausnahmeregel: Ein KI-System, das in einem der Anhang-III-Bereiche eingesetzt wird, gilt ausnahmsweise nicht als Hochrisiko, wenn es keine erhebliche Gefahr für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellt.

Voraussetzungen für die Ausnahme

Die Ausnahme greift, wenn das KI-System eine der folgenden Bedingungen erfüllt:

1. Es führt eine eng begrenzte Verfahrensaufgabe durch (z. B. reine Datenkonvertierung oder Formatierung).
2. Es dient dazu, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (z. B. Rechtschreibkorrektur eines manuell verfassten Dokuments).
3. Es erkennt Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern, ohne die menschliche Bewertung zu ersetzen (z. B. ein Frühwarnsystem, das auf Auffälligkeiten hinweist).
4. Es führt eine vorbereitende Aufgabe für eine Bewertung durch, die für die in Anhang III genannten Anwendungsfälle relevant ist (z. B. Vorstrukturierung von Daten vor einer menschlichen Prüfung).

Dokumentationspflicht bei Inanspruchnahme der Ausnahme

Achtung: Wer die Ausnahme in Anspruch nimmt, muss dies dokumentieren und begründen. Der Anbieter ist verpflichtet, die Bewertung, warum das System kein Hochrisiko darstellt, schriftlich festzuhalten und auf Anfrage den zuständigen Behörden vorzulegen (Art. 6 Abs. 4). Die Behörde kann die Einschätzung überprüfen und gegebenenfalls korrigieren.

Empfehlung: Nutzen Sie die Ausnahme nicht leichtfertig. Im Zweifel ist es ratsamer, das System als Hochrisiko einzustufen und die entsprechenden Anforderungen zu erfüllen, als eine Ausnahme zu beanspruchen, die bei behördlicher Prüfung nicht standhält.

Zeitplan: Ab wann gelten die Pflichten?

Die Hochrisiko-Pflichten treten gestaffelt in Kraft:

• 2. August 2025: Pflichten für Hochrisiko-KI-Systeme, die als Sicherheitskomponente von bereits regulierten Produkten nach Anhang I dienen (Weg 1)
• 2. August 2026: Pflichten für alle Hochrisiko-KI-Systeme nach Anhang III (Weg 2) sowie die vollständige Anwendung aller Anbieter- und Betreiberpflichten

Unternehmen, die Hochrisiko-KI-Systeme anbieten oder einsetzen, sollten jetzt mit der Vorbereitung beginnen, da die Implementierung der erforderlichen Prozesse -- insbesondere das Risikomanagementsystem und die technische Dokumentation -- erheblichen Vorlauf erfordert.

Häufig gestellte Fragen (FAQ)

Wie finde ich heraus, ob mein KI-System als Hochrisiko gilt?

Prüfen Sie in zwei Schritten: Erstens, ob Ihr KI-System als Sicherheitskomponente in einem Produkt eingesetzt wird, das unter eine Harmonisierungsvorschrift aus Anhang I fällt. Zweitens, ob Ihr System in einen der acht Bereiche aus Anhang III eingeordnet werden kann. Wenn eine der beiden Bedingungen zutrifft, gilt Ihr System grundsätzlich als Hochrisiko -- es sei denn, die Ausnahme nach Art. 6 Abs. 3 greift. Im Zweifel empfehlen wir eine rechtliche Bewertung durch KI-Compliance-Experten.

Welche Strafen drohen bei Verstößen gegen die Hochrisiko-Pflichten?

Bei Verstößen gegen die Anforderungen an Hochrisiko-KI-Systeme (Art. 9--15) drohen Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist (Art. 99 Abs. 4 VO (EU) 2024/1689). Bei der Bereitstellung falscher Informationen an Behörden können Bußgelder von bis zu 7,5 Mio. Euro oder 1 % des Jahresumsatzes verhängt werden.

Ist ein KI-gestützter Chatbot ein Hochrisiko-System?

In der Regel nicht. Ein allgemeiner Kunden-Chatbot fällt weder unter Anhang I noch unter einen der acht Bereiche in Anhang III. Er unterliegt aber den Transparenzpflichten nach Art. 50 VO (EU) 2024/1689: Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren. Anders ist es, wenn der Chatbot in einem Hochrisiko-Bereich eingesetzt wird -- etwa zur automatisierten Vorauswahl von Bewerbern oder zur Bewertung von Sozialleistungsansprüchen.

Muss ich als Betreiber auch dann Pflichten erfüllen, wenn der Anbieter die Konformität bestätigt hat?

Ja. Die Pflichten des Betreibers nach Art. 26 VO (EU) 2024/1689 bestehen unabhängig von der Konformitätsbewertung des Anbieters. Sie müssen unter anderem die menschliche Aufsicht sicherstellen, Logs aufbewahren, betroffene Personen informieren und das System bestimmungsgemäß einsetzen. Die Verantwortung des Anbieters entbindet Sie nicht von Ihren eigenen Pflichten.

Können Hochrisiko-KI-Systeme auch nachträglich umklassifiziert werden?

Ja, in beide Richtungen. Die Europäische Kommission kann die Liste in Anhang III durch delegierte Rechtsakte erweitern oder einschränken (Art. 7 VO (EU) 2024/1689). Zudem kann eine Marktüberwachungsbehörde die Einschätzung eines Anbieters, dass die Ausnahme nach Art. 6 Abs. 3 greift, korrigieren und das System doch als Hochrisiko einstufen. Unternehmen sollten daher die regulatorische Entwicklung kontinuierlich verfolgen.

So unterstützt KI Comply Sie bei Hochrisiko-KI

Die Einstufung und Compliance von Hochrisiko-KI-Systemen ist komplex -- aber Sie müssen sie nicht allein bewältigen. KI Comply bietet Ihnen:

• KI-Schulungen für Mitarbeiter, die Hochrisiko-KI-Systeme entwickeln oder einsetzen, gemäß Art. 4 VO (EU) 2024/1689
• Praxisnahe Trainings zur korrekten Klassifizierung Ihrer KI-Systeme
• Compliance-Unterstützung bei der Umsetzung der Anforderungen aus Art. 9--15

Bereiten Sie Ihr Unternehmen rechtzeitig auf die Hochrisiko-Anforderungen vor. Jetzt Schulungen entdecken und AI-Act-konform werden.