KI in der öffentlichen Verwaltung: Besondere Pflichten nach dem AI Act

Das Wichtigste in Kürze

• Die öffentliche Verwaltung ist vom AI Act (VO (EU) 2024/1689) besonders stark betroffen: Gleich vier der acht Hochrisiko-Bereiche in Anhang III (Nr. 5--8) betreffen typische Verwaltungsaufgaben -- Sozialleistungen, Strafverfolgung, Migration und Justiz.
• Behörden und andere öffentliche Stellen müssen vor dem Einsatz von Hochrisiko-KI eine Grundrechte-Folgenabschätzung nach Art. 27 VO (EU) 2024/1689 durchführen -- eine Pflicht, die in dieser Form nur für den öffentlichen Sektor und bestimmte private Betreiber gilt.
• Jedes Hochrisiko-KI-System muss in der EU-Datenbank nach Art. 71 registriert werden -- bei öffentlichen Betreibern ist diese Registrierung öffentlich einsehbar.
• Für Behörden gelten besondere Verbote: Social Scoring (Art. 5 Abs. 1 lit. c) und bestimmte Formen des Predictive Policing (Art. 5 Abs. 1 lit. d) sind untersagt.
• Die Hochrisiko-Pflichten werden ab dem 2. August 2026 vollständig anwendbar. Behörden sollten jetzt mit der Bestandsaufnahme und Vorbereitung beginnen.

Die öffentliche Verwaltung steht vor einem regulatorischen Paradigmenwechsel. Während KI-Systeme in Behörden zunehmend eingesetzt werden -- von der automatisierten Bearbeitung von Sozialleistungsanträgen bis zur Gesichtserkennung an Grenzen --, schafft der AI Act (VO (EU) 2024/1689) einen verbindlichen Rechtsrahmen, der für den öffentlichen Sektor besonders weitreichende Konsequenzen hat.

Der Grund: Behörden üben Hoheitsgewalt aus. Ihre Entscheidungen greifen unmittelbar in Grundrechte ein -- sei es das Recht auf soziale Sicherheit, die Freizügigkeit oder die persönliche Freiheit. Der europäische Gesetzgeber hat dem Rechnung getragen und die Verwaltung an mehreren Stellen des AI Act mit strengeren Pflichten belegt als die Privatwirtschaft. Dieser Artikel erklärt im Detail, welche besonderen Anforderungen auf Behörden zukommen und wie sie sich systematisch darauf vorbereiten können.

Warum Behörden besonders betroffen sind: Anhang III Nr. 5--8

Der AI Act klassifiziert KI-Systeme in Anhang III VO (EU) 2024/1689 nach acht Bereichen als Hochrisiko. Vier davon -- die Nummern 5 bis 8 -- betreffen unmittelbar Kernaufgaben der öffentlichen Verwaltung:

Nr. 5: Zugang zu wesentlichen öffentlichen und privaten Dienstleistungen

Dieser Bereich erfasst KI-Systeme, die zur Bewertung der Anspruchsberechtigung natürlicher Personen für öffentliche Sozialleistungen und -dienste eingesetzt werden (Anhang III Nr. 5 lit. a). Dazu gehören unter anderem:

• Automatisierte Prüfung von Anträgen auf Arbeitslosengeld, Sozialhilfe oder Wohngeld
• KI-gestützte Bedarfsermittlung in der Jugendhilfe oder Eingliederungshilfe
• Algorithmenbasierte Zuweisung von Integrationsmaßnahmen

Ebenso erfasst sind KI-Systeme zur Kreditwürdigkeitsbewertung (lit. a) sowie zur Risikobewertung und Preisgestaltung bei Lebens- und Krankenversicherungen (lit. b) -- primär privatwirtschaftlich relevant, aber auch für öffentliche Versicherungsträger einschlägig.

Praxisrelevanz für Behörden: Jedes KI-System, das eine behördliche Entscheidung über die Gewährung, Kürzung oder Einstellung einer Sozialleistung beeinflusst, fällt unter diese Hochrisiko-Kategorie. Das gilt auch dann, wenn die finale Entscheidung formal von einem Sachbearbeiter getroffen wird -- die KI muss lediglich die Entscheidung „maßgeblich beeinflussen".

Nr. 6: Strafverfolgung

Anhang III Nr. 6 stuft KI-Systeme als Hochrisiko ein, die von Strafverfolgungsbehörden eingesetzt werden für:

• Individuelle Risikobewertungen natürlicher Personen hinsichtlich der Wahrscheinlichkeit von Straftaten (lit. a)
• Polygraphen und ähnliche Instrumente zur Erkennung des emotionalen Zustands (lit. b)
• Bewertung der Verlässlichkeit von Beweismitteln bei der Ermittlung und Verfolgung von Straftaten (lit. c)
• Echtzeit- und nachträgliche biometrische Fernidentifizierung zu Strafverfolgungszwecken (lit. d, e)
• Kriminalitätsanalysen in Bezug auf natürliche Personen und Profiling (lit. f)

Dieser Bereich betrifft Polizeibehörden auf Bundes- und Landesebene, Staatsanwaltschaften sowie Zoll- und Finanzkriminalämter.

Nr. 7: Migration, Asyl und Grenzkontrolle

KI-Systeme im Bereich Migration und Grenzkontrolle sind nach Anhang III Nr. 7 Hochrisiko, wenn sie eingesetzt werden für:

• Lügendetektoren und Instrumente zur Erkennung des emotionalen Zustands bei der Einreise (lit. a)
• Bewertung von Risiken in Bezug auf irreguläre Migration oder Sicherheitsrisiken (lit. b)
• Prüfung von Anträgen auf Visa, Aufenthaltsgenehmigungen und Asyl (lit. c, d)
• Erkennung, Identifizierung oder Überprüfung natürlicher Personen im Zusammenhang mit der Grenzkontrolle (lit. e)

In Deutschland betrifft dies primär das Bundesamt für Migration und Flüchtlinge (BAMF), die Bundespolizei und die Ausländerbehörden der Länder und Kommunen.

Nr. 8: Rechtspflege und demokratische Prozesse

Anhang III Nr. 8 erfasst KI-Systeme, die zur Unterstützung der Rechtsauslegung und Anwendung des Rechts auf einen konkreten Sachverhalt durch Justizbehörden eingesetzt werden (lit. a). Das umfasst:

• KI-gestützte Analyse von Rechtsprechung und Prognosen zu Verfahrensausgängen
• Algorithmische Entscheidungsunterstützung bei Strafzumessung
• KI-basierte Textbausteine für gerichtliche Entscheidungen

Ebenso erfasst sind KI-Systeme, die zur Beeinflussung des Ergebnisses von Wahlen oder Volksabstimmungen eingesetzt werden (lit. b) -- relevant für Wahlbehörden und politische Parteien.

Die Konsequenz: Ein Großteil der behördlichen KI ist Hochrisiko

In der Summe bedeutet dies: Die meisten KI-Anwendungen, die Behörden in ihrem Kerngeschäft einsetzen, werden als Hochrisiko eingestuft. Für die Verwaltung gibt es -- anders als für Unternehmen in weniger regulierten Branchen -- kaum KI-Einsatzbereiche, die unterhalb der Hochrisiko-Schwelle liegen. Selbst KI-gestützte interne Verwaltungstools können betroffen sein, wenn sie mittelbar Entscheidungen über Bürgerinnen und Bürger beeinflussen.

Art. 27: Die Grundrechte-Folgenabschätzung -- eine Sonderpflicht für Behörden

Die wohl bedeutendste Sonderpflicht für öffentliche Stellen ist die Grundrechte-Folgenabschätzung nach Art. 27 VO (EU) 2024/1689. Sie geht über die allgemeinen Hochrisiko-Anforderungen hinaus und ist in dieser Form eine Besonderheit des öffentlichen Sektors.

Wer ist verpflichtet?

Art. 27 Abs. 1 verpflichtet zur Grundrechte-Folgenabschätzung:

• Einrichtungen des öffentlichen Rechts und private Einrichtungen, die öffentliche Dienste erbringen -- also Behörden auf Bundes-, Landes- und Kommunalebene, aber auch beliehene Unternehmen und beauftragte private Dienstleister
• Betreiber von Hochrisiko-KI-Systemen nach Anhang III Nr. 5 lit. a (Sozialleistungen und Kreditwürdigkeit)

Damit trifft die Pflicht nicht nur klassische Behörden, sondern auch privatrechtlich organisierte Träger, die öffentliche Aufgaben wahrnehmen -- etwa kommunale Wohnungsunternehmen, die KI für die Vergabe von Sozialwohnungen einsetzen, oder IT-Dienstleister, die KI-Systeme im Auftrag von Behörden betreiben.

Was muss die Grundrechte-Folgenabschätzung enthalten?

Art. 27 Abs. 2 VO (EU) 2024/1689 schreibt im Detail vor, welche Aspekte die Folgenabschätzung umfassen muss:

1. Beschreibung der Prozesse, in denen das Hochrisiko-KI-System eingesetzt wird, einschließlich des Zeitraums und der Häufigkeit der Nutzung
2. Kategorien betroffener natürlicher Personen und Personengruppen
3. Spezifische Risiken für die in Abs. 1 genannten Personengruppen unter Berücksichtigung des Kontexts und Einsatzzwecks
4. Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht gemäß den Gebrauchsanweisungen
5. Maßnahmen bei Eintritt der identifizierten Risiken, einschließlich interner Governance- und Beschwerdemechanismen

Abgrenzung zur DSFA nach Art. 35 DSGVO

Die Grundrechte-Folgenabschätzung nach Art. 27 AI Act und die Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO überschneiden sich teilweise, sind aber nicht identisch:

Art. 27 Abs. 4 stellt klar, dass bereits durchgeführte DSFAs in die Grundrechte-Folgenabschätzung einfließen können und die Informationen ergänzt werden dürfen, anstatt sie zu duplizieren. In der Praxis empfiehlt es sich, beide Bewertungen in einem integrierten Verfahren durchzuführen, das sowohl die Datenschutz- als auch die weitergehenden Grundrechtsaspekte abdeckt.

Art. 71: EU-Datenbank und öffentliche Transparenz

Die Registrierungspflicht

Art. 49 Abs. 3 VO (EU) 2024/1689 verpflichtet Betreiber von Hochrisiko-KI-Systemen, die als Einrichtung des öffentlichen Rechts handeln, zur Registrierung in der EU-Datenbank nach Art. 71. Diese Datenbank wird von der Europäischen Kommission eingerichtet und dient der öffentlichen Transparenz über den KI-Einsatz.

Besonderheit bei öffentlichen Stellen

Für Behörden gilt eine verschärfte Transparenzregel: Während bestimmte Registrierungsinformationen für private Betreiber einen eingeschränkten Zugangsbereich haben können, ist die Registrierung durch öffentliche Stellen grundsätzlich öffentlich zugänglich (Art. 71 Abs. 4 lit. c). Bürgerinnen und Bürger können also nachvollziehen, welche Hochrisiko-KI-Systeme von welchen Behörden eingesetzt werden.

Das bedeutet: Jede Gemeinde, jedes Landesamt und jede Bundesbehörde, die ein Hochrisiko-KI-System einsetzt, wird in einer öffentlich einsehbaren EU-Datenbank gelistet -- einschließlich Angaben zum Einsatzzweck, zur Risikoklassifizierung und zum Anbieter des Systems.

Was muss registriert werden?

Die Registrierung umfasst nach Art. 71 Abs. 2 und 3 unter anderem:

• Name und Kontaktdaten des Betreibers (der Behörde)
• Bezeichnung und Beschreibung des KI-Systems
• Einsatzzweck und Art der Verwendung
• Status des KI-Systems (in Betrieb, stillgelegt etc.)
• Angaben zur Konformitätsbewertung

Verbote speziell für den öffentlichen Sektor

Art. 5 VO (EU) 2024/1689 enthält ein absolutes Verbot bestimmter KI-Praktiken. Zwei dieser Verbote richten sich ausdrücklich an den öffentlichen Sektor:

Social Scoring durch Behörden (Art. 5 Abs. 1 lit. c)

Art. 5 Abs. 1 lit. c verbietet das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Klassifizierung natürlicher Personen auf der Grundlage ihres Sozialverhaltens oder persönlicher Eigenschaften, wenn die daraus resultierende soziale Bewertung zu einer Schlechterstellung dieser Personen führt, die:

• in einem sozialen Kontext stattfindet, der in keinem Zusammenhang mit dem Kontext steht, in dem die Daten ursprünglich erhoben wurden, oder
• im Verhältnis zum Sozialverhalten oder dessen Schwere ungerechtfertigt oder unverhältnismäßig ist

Dieses Verbot richtet sich direkt gegen Systeme nach dem Vorbild des chinesischen Social-Credit-Systems. Für deutsche Behörden bedeutet es: KI-Systeme, die Bürger anhand ihres allgemeinen Verhaltens bewerten und diese Bewertung für behördliche Entscheidungen in anderen Lebensbereichen heranziehen, sind absolut verboten. Ein Beispiel wäre eine Behörde, die das Social-Media-Verhalten von Bürgern auswertet, um über Sozialleistungsanträge zu entscheiden.

Predictive Policing für Einzelpersonen (Art. 5 Abs. 1 lit. d)

Art. 5 Abs. 1 lit. d verbietet KI-Systeme zur individuellen Risikobewertung natürlicher Personen hinsichtlich der Wahrscheinlichkeit, dass sie Straftaten begehen werden, wenn diese Bewertung ausschließlich auf Profiling oder der Bewertung persönlicher Merkmale beruht.

Konkret bedeutet dies für Polizeibehörden:

• Verboten: KI-Systeme, die allein auf Basis persönlicher Daten (Alter, Wohnort, Vorstrafen, soziale Herkunft) die Wahrscheinlichkeit berechnen, dass eine bestimmte Person eine Straftat begehen wird
• Nicht verboten: Raumbasiertes Predictive Policing, das auf Basis von Kriminalitätsstatistiken Prognosen über die räumliche und zeitliche Verteilung von Straftaten erstellt, ohne einzelne Personen zu identifizieren
• Nicht verboten: KI-gestützte Analyse, die eine objektive, durch Fakten verifizierte Bewertung ergänzt und nicht als alleinige Grundlage dient

Achtung: Die Grenze zwischen erlaubtem und verbotenem Predictive Policing ist in der Praxis fließend. Behörden sollten hier besonders sorgfältig dokumentieren, dass ihre Systeme nicht primär auf personenbezogenem Profiling basieren.

Bußgelder bei Verstößen gegen die Verbote

Verstöße gegen die Verbote des Art. 5 ziehen die schärfsten Sanktionen des AI Act nach sich: Nach Art. 99 Abs. 3 VO (EU) 2024/1689 drohen Bußgelder bis zu 35 Mio. Euro oder -- bei Unternehmen -- 7 % des weltweiten Jahresumsatzes. Für öffentliche Stellen legen die Mitgliedstaaten die anwendbaren Sanktionen fest (Art. 99 Abs. 7), wobei die Sanktionen „wirksam, verhältnismäßig und abschreckend" sein müssen.

KI-Anwendungen in der Verwaltung: Risikoklassifizierung im Überblick

Die folgende Tabelle ordnet typische KI-Anwendungen in der öffentlichen Verwaltung den Risikoklassen des AI Act zu:

Compliance-Leitfaden für Behörden: 6 Schritte zur AI-Act-Konformität

Schritt 1: KI-Inventar erstellen

Erfassen Sie systematisch alle KI-Systeme, die in Ihrer Behörde eingesetzt werden -- einschließlich Systeme, die von externen Dienstleistern betrieben werden. Dokumentieren Sie für jedes System:

• Bezeichnung und Anbieter
• Einsatzzweck und betroffene Verwaltungsprozesse
• Kategorien betroffener Personen
• Datengrundlage und Datenquellen

Tipp: Vergessen Sie nicht KI-Funktionen, die in bestehender Standardsoftware eingebettet sind -- etwa KI-gestützte Suchfunktionen in Fachverfahren oder automatisierte Vorsortierung von Eingängen.

Schritt 2: Risikoklassifizierung durchführen

Ordnen Sie jedes identifizierte KI-System den Risikoklassen des AI Act zu. Prüfen Sie dabei insbesondere:

• Fällt das System unter eines der Verbote nach Art. 5? Wenn ja: sofortiger Einsatzstopp
• Ist das System in einem der Anhang-III-Bereiche einzuordnen? Wenn ja: Hochrisiko-Pflichten
• Gilt die Ausnahmeregel nach Art. 6 Abs. 3? (Kein erheblicher Einfluss auf Entscheidungen)
• Handelt es sich um ein System mit Transparenzpflicht nach Art. 50? (z. B. Chatbots)

Schritt 3: Grundrechte-Folgenabschätzung durchführen

Für jedes Hochrisiko-KI-System muss Ihre Behörde vor der Inbetriebnahme eine Grundrechte-Folgenabschätzung nach Art. 27 erstellen. Nutzen Sie dabei folgendes Vorgehen:

1. Integrieren Sie die Grundrechte-FA mit einer etwaig erforderlichen DSFA nach Art. 35 DSGVO in einem gemeinsamen Dokument
2. Analysieren Sie systematisch die Auswirkungen auf alle relevanten Grundrechte der EU-Grundrechtecharta -- insbesondere Menschenwürde (Art. 1), Nichtdiskriminierung (Art. 21), Soziale Sicherheit (Art. 34) und Recht auf eine gute Verwaltung (Art. 41)
3. Definieren Sie konkrete Abhilfe- und Aufsichtsmaßnahmen für jedes identifizierte Risiko
4. Stellen Sie sicher, dass die Ergebnisse der Marktüberwachungsbehörde auf Anfrage zur Verfügung gestellt werden können

Schritt 4: In der EU-Datenbank registrieren

Registrieren Sie jedes Hochrisiko-KI-System gemäß Art. 49 Abs. 3 in der EU-Datenbank. Beachten Sie:

• Die Registrierung muss vor der Inbetriebnahme oder zeitnah danach erfolgen
• Halten Sie die Einträge aktuell -- Änderungen des Einsatzzwecks oder der Risikoklassifizierung müssen nachgetragen werden
• Ihre Registrierungen sind öffentlich einsehbar -- formulieren Sie die Beschreibungen entsprechend sorgfältig

Schritt 5: Menschliche Aufsicht und Governance etablieren

Stellen Sie sicher, dass für jedes Hochrisiko-KI-System eine qualifizierte menschliche Aufsicht gemäß Art. 14 VO (EU) 2024/1689 implementiert ist:

• Benennen Sie für jedes System eine verantwortliche Person, die die KI-Ausgaben versteht, interpretieren kann und bei Bedarf übersteuern darf
• Schulen Sie die betroffenen Sachbearbeiter gemäß Art. 4 (KI-Kompetenzpflicht), damit sie KI-Empfehlungen kritisch prüfen können
• Richten Sie ein internes Beschwerdesystem ein, über das Bürger algorithmische Entscheidungen anfechten können
• Etablieren Sie ein KI-Governance-Gremium, das den KI-Einsatz in Ihrer Behörde strategisch steuert und überwacht

Schritt 6: Dokumentation und laufende Überwachung

Dokumentieren Sie alle Compliance-Maßnahmen so, dass sie einer behördlichen Prüfung standhalten:

• Führen Sie ein zentrales KI-Register mit allen Systemen, Risikobewertungen und Folgenabschätzungen
• Implementieren Sie ein Monitoring-System, das die Leistung und mögliche Diskriminierungsmuster der KI-Systeme überwacht
• Führen Sie regelmäßige Audits durch -- mindestens jährlich, bei kritischen Systemen häufiger
• Passen Sie Ihre Grundrechte-Folgenabschätzungen an, wenn sich der Einsatzkontext oder die betroffenen Personengruppen ändern

Häufige Fragen (FAQ)

Müssen auch kleine Kommunen den AI Act beachten?

Ja. Der AI Act gilt für alle öffentlichen Stellen, unabhängig von ihrer Größe. Auch eine kleine Gemeinde, die ein KI-System zur Bearbeitung von Wohngeldanträgen einsetzt, unterliegt den Hochrisiko-Pflichten nach Anhang III Nr. 5 lit. a. Art. 27 Abs. 5 sieht allerdings vor, dass die Europäische Kommission Leitlinien und Vorlagen für die Grundrechte-Folgenabschätzung bereitstellen soll, um die Umsetzung zu erleichtern. Kleine Kommunen können zudem auf KI-Kompetenzzentren der Länder und auf Muster-Folgenabschätzungen zurückgreifen.

Was passiert, wenn wir KI-Systeme von externen IT-Dienstleistern betreiben lassen?

Die Compliance-Verantwortung verbleibt bei der Behörde als Betreiberin im Sinne des Art. 3 Nr. 4 VO (EU) 2024/1689. Der IT-Dienstleister kann als Anbieter (wenn er das System entwickelt hat) oder als Auftragsverarbeiter eigene Pflichten haben -- das entbindet die Behörde aber nicht von ihren Betreiberpflichten nach Art. 26, einschließlich der Grundrechte-Folgenabschätzung und der EU-Datenbank-Registrierung. Verankern Sie die AI-Act-Pflichten vertraglich in Ihren IT-Vergabeverfahren und Dienstleistungsverträgen.

Wie unterscheidet sich die Grundrechte-Folgenabschätzung von der DSFA?

Die Grundrechte-Folgenabschätzung nach Art. 27 AI Act hat einen breiteren Fokus als die DSFA nach Art. 35 DSGVO. Während die DSFA primär Risiken für den Datenschutz bewertet, prüft die Grundrechte-FA die Auswirkungen auf alle Grundrechte der EU-Grundrechtecharta -- einschließlich Gleichbehandlung, Menschenwürde, Recht auf gute Verwaltung und Zugang zur Justiz. In der Praxis empfiehlt sich ein integriertes Verfahren, bei dem die DSFA als Baustein in die umfassendere Grundrechte-FA eingebettet wird.

Ab wann gelten die Pflichten -- und welche Übergangsfristen gibt es?

Die Verbote des Art. 5 -- einschließlich Social Scoring und personenbezogenes Predictive Policing -- gelten bereits seit dem 2. Februar 2025. Die Hochrisiko-Pflichten nach Art. 6--27 werden ab dem 2. August 2026 vollständig anwendbar. Für KI-Systeme, die vor diesem Datum bereits in Betrieb waren, gilt eine Übergangsregelung: Sie müssen bis zum 2. August 2027 in Konformität gebracht werden, sofern sie nach dem Stichtag wesentlich verändert werden (Art. 111 Abs. 2).

Welche Sanktionen drohen Behörden bei Verstößen?

Der AI Act sieht für Verstöße gegen die Verbote Bußgelder bis zu 35 Mio. Euro vor (Art. 99 Abs. 3), für Verstöße gegen die Hochrisiko-Pflichten bis zu 15 Mio. Euro (Art. 99 Abs. 4). Für öffentliche Stellen legen die Mitgliedstaaten die konkreten Sanktionen fest (Art. 99 Abs. 7). In Deutschland steht die nationale Umsetzung noch aus, aber die Sanktionen müssen nach europäischem Recht „wirksam, verhältnismäßig und abschreckend" sein. Neben Bußgeldern drohen auch Reputationsschäden -- gerade weil die EU-Datenbank-Einträge öffentlicher Stellen für jeden einsehbar sind.

---

Sie möchten Ihre Behörde auf den AI Act vorbereiten? KI Comply unterstützt Sie bei der KI-Bestandsaufnahme, Risikoklassifizierung, Grundrechte-Folgenabschätzung und Schulung Ihrer Mitarbeiter -- passgenau für die besonderen Anforderungen der öffentlichen Verwaltung. Jetzt kostenlos beraten lassen