KI-Governance-Framework aufbauen: Best Practices für Unternehmen

Das Wichtigste in Kürze: Wer KI-Systeme im Unternehmen einsetzt oder entwickelt, braucht mehr als einzelne Compliance-Maßnahmen – es braucht ein KI-Governance-Framework. Dieses Framework bildet die organisatorische Klammer aus Strategie, Rollen, Prozessen, technischen Maßnahmen und Schulung, um den Anforderungen der KI-Verordnung (VO (EU) 2024/1689), der DSGVO (VO (EU) 2016/679) und der ISO/IEC 42001:2023 systematisch gerecht zu werden. Art. 17 der KI-Verordnung verlangt von Anbietern ein Qualitätsmanagementsystem, Art. 26 verpflichtet Betreiber zu geeigneten organisatorischen Maßnahmen. Unternehmen, die jetzt ein strukturiertes KI-Governance-Framework aufbauen, schaffen die Grundlage für rechtssichere, ethische und nachhaltige KI-Nutzung – und schützen sich vor Bußgeldern von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes (Art. 99 VO (EU) 2024/1689).

---

Inhaltsverzeichnis

1. Was ist KI-Governance?
2. Die 5 Säulen eines KI-Governance-Frameworks
   • Säule 1: Strategie & Richtlinien
   • Säule 2: Organisation & Rollen
   • Säule 3: Prozesse
   • Säule 4: Technische Maßnahmen
   • Säule 5: Schulung & Kultur
3. ISO/IEC 42001 als Rahmenwerk
4. KI-Governance vs. Datenschutz-Governance
5. Implementierungsfahrplan: 4 Phasen
6. Häufige Fehler beim Aufbau eines KI-Governance-Frameworks
7. Häufig gestellte Fragen (FAQ)
8. Nächste Schritte

---

Was ist KI-Governance? {#was-ist-ki-governance}

KI-Governance beschreibt die Gesamtheit aller Strukturen, Richtlinien, Prozesse und Kontrollmechanismen, die ein Unternehmen einrichtet, um den verantwortungsvollen und rechtskonformen Einsatz von Künstlicher Intelligenz sicherzustellen. Es geht dabei nicht um einzelne Compliance-Maßnahmen, sondern um ein integriertes Managementsystem, das KI-bezogene Entscheidungen systematisch steuert.

Definition: KI-Governance-Framework

Ein KI-Governance-Framework ist ein strukturiertes Ordnungsmodell, das festlegt:

• Wer im Unternehmen Entscheidungen über KI-Systeme trifft (Rollen und Verantwortlichkeiten)
• Was bei der Einführung, dem Betrieb und der Abschaltung von KI-Systemen zu beachten ist (Richtlinien und Standards)
• Wie diese Vorgaben operativ umgesetzt und überwacht werden (Prozesse und Kontrollen)
• Warum bestimmte Anforderungen gelten und wie sie sich aus regulatorischen Pflichten ableiten (Rechtsgrundlagen)

Abgrenzung: KI-Governance vs. KI-Compliance

Die Begriffe KI-Governance und KI-Compliance werden häufig synonym verwendet, beschreiben aber unterschiedliche Ebenen:

KI-Compliance bezeichnet die Einhaltung konkreter gesetzlicher Vorgaben – also die Frage, ob ein Unternehmen die Pflichten aus dem AI Act, der DSGVO oder anderen Regelwerken erfüllt. Compliance ist ergebnisorientiert: Entweder die Vorgabe wird eingehalten oder nicht.

KI-Governance ist der übergeordnete Steuerungsrahmen, der sicherstellt, dass Compliance nachhaltig und systematisch erreicht wird. Governance umfasst neben der reinen Rechtskonformität auch ethische Grundsätze, strategische Ziele und die organisatorische Verankerung von Verantwortung. Governance ist damit die Voraussetzung für nachhaltige Compliance.

Ein anschauliches Bild: Wenn KI-Compliance die Antwort auf die Frage ist „Erfüllen wir die Vorschriften?", dann beantwortet KI-Governance die Frage „Haben wir die Strukturen, um Vorschriften dauerhaft zu erfüllen – auch wenn sich die Anforderungen ändern?"

Die Rolle von ISO/IEC 42001

Die im Dezember 2023 veröffentlichte Norm ISO/IEC 42001:2023 („Artificial Intelligence – Management System") bietet erstmals einen international anerkannten Rahmen für ein KI-Managementsystem (AIMS). Sie folgt der High-Level-Structure (HLS) der ISO-Managementsystemnormen und ist damit kompatibel mit ISO 27001 (Informationssicherheit) und ISO 9001 (Qualitätsmanagement).

Für Unternehmen, die ein KI-Governance-Framework aufbauen, ist ISO 42001 aus drei Gründen besonders relevant:

1. Strukturvorgabe: Die Norm definiert klar, welche Elemente ein KI-Managementsystem enthalten muss – von der Kontextanalyse über die Risikobehandlung bis zur kontinuierlichen Verbesserung.
2. Regulatorische Anschlussfähigkeit: Art. 17 VO (EU) 2024/1689 verlangt von Anbietern von Hochrisiko-KI ein Qualitätsmanagementsystem. Ein nach ISO 42001 aufgebautes AIMS erfüllt diese Anforderung strukturell.
3. Zertifizierbarkeit: Eine ISO-42001-Zertifizierung kann als Nachweis gegenüber Aufsichtsbehörden, Kunden und Geschäftspartnern dienen, dass ein angemessenes KI-Managementsystem implementiert ist.

---

Die 5 Säulen eines KI-Governance-Frameworks {#die-5-saeulen}

Ein wirkungsvolles KI-Governance-Framework ruht auf fünf Säulen. Jede Säule adressiert eine zentrale Dimension der KI-Steuerung. Erst im Zusammenspiel aller fünf Säulen entsteht ein robustes, anpassungsfähiges Framework.

Säule 1: Strategie & Richtlinien {#saeule-1-strategie}

Die erste Säule bildet das strategische Fundament. Hier legt die Unternehmensführung fest, wie KI im Unternehmen eingesetzt werden soll – und wo die Grenzen liegen.

KI-Strategie

Eine KI-Strategie beantwortet grundlegende Fragen: In welchen Geschäftsbereichen soll KI eingesetzt werden? Welche Ziele verfolgt das Unternehmen mit KI? Welches Risikoniveau ist akzeptabel? Die KI-Strategie sollte von der Geschäftsleitung verabschiedet werden und als Leitplanke für alle operativen Entscheidungen dienen.

Wesentliche Elemente einer KI-Strategie:

• Vision und Ziele des KI-Einsatzes
• Risikoappetit und Grenzen (z. B. kein Einsatz in bestimmten Kontexten)
• Ressourcenplanung (Budget, Personal, Infrastruktur)
• Zeitplan mit Meilensteinen

KI-Richtlinie

Die KI-Richtlinie übersetzt die Strategie in verbindliche interne Vorgaben. Sie regelt, welche KI-Systeme zugelassen sind, welche Genehmigungsprozesse gelten und welche Mindestanforderungen erfüllt sein müssen. Eine gute KI-Richtlinie ist konkret genug, um handlungsleitend zu sein, und flexibel genug, um mit der technologischen Entwicklung Schritt zu halten.

Typische Inhalte einer KI-Richtlinie:

• Anwendungsbereich und Geltung
• Definition von KI-Systemen im Unternehmenskontext (angelehnt an Art. 3 Nr. 1 VO (EU) 2024/1689)
• Verbotene Einsatzszenarien (abgeleitet aus Art. 5 VO (EU) 2024/1689)
• Genehmigungspflichten und Freigabeprozesse
• Anforderungen an Dokumentation und Transparenz
• Melde- und Eskalationswege

Ethische Grundsätze

Neben den rechtlichen Anforderungen sollte ein KI-Governance-Framework auch ethische Leitlinien verankern. Die Ethik-Leitlinien der Hochrangigen Expertengruppe für KI der EU-Kommission (2019) definieren sieben Schlüsselanforderungen an vertrauenswürdige KI, darunter menschliches Handeln und Aufsicht, Transparenz, Vielfalt und Nichtdiskriminierung sowie Rechenschaftspflicht. Diese Prinzipien bieten eine wertvolle Orientierung bei Entscheidungen, die über den reinen Gesetzestext hinausgehen.

Säule 2: Organisation & Rollen {#saeule-2-organisation}

Die zweite Säule definiert, wer im Unternehmen welche Verantwortung für KI-Governance trägt. Ohne klare Zuständigkeiten bleibt jedes Framework ein Papiertiger.

Zentrale Rollen

KI-Beauftragter (AI Officer): Eine benannte Person, die als zentrale Anlaufstelle für KI-Governance fungiert. Sie koordiniert die Umsetzung der KI-Richtlinie, überwacht die Einhaltung regulatorischer Anforderungen und berichtet an die Geschäftsleitung. In größeren Unternehmen kann dies eine Vollzeitstelle sein; in KMU übernimmt diese Rolle häufig der Datenschutzbeauftragte, der Compliance-Officer oder der CTO in Personalunion.

KI-Governance-Board: Ein interdisziplinäres Gremium, das strategische Entscheidungen über KI-Systeme trifft – insbesondere die Genehmigung neuer Hochrisiko-KI-Systeme, die Bewertung von Risikoeinschätzungen und die Freigabe wesentlicher Änderungen. Typische Mitglieder: KI-Beauftragter, Datenschutzbeauftragter, IT-Leitung, Rechtsabteilung, Vertreter der betroffenen Fachabteilungen.

Fachabteilungen: Die Fachabteilungen sind als Betreiber im Sinne des Art. 26 VO (EU) 2024/1689 in der Pflicht, KI-Systeme bestimmungsgemäß einzusetzen, die menschliche Aufsicht sicherzustellen und Auffälligkeiten zu melden.

IT/Engineering: Verantwortlich für die technische Umsetzung von Governance-Anforderungen (Logging, Monitoring, Zugangskontrollen) sowie die Unterstützung bei der technischen Risikobewertung.

RACI-Matrix für KI-Governance

Die folgende RACI-Matrix zeigt die Verantwortlichkeiten für zentrale KI-Governance-Aufgaben (R = Responsible, A = Accountable, C = Consulted, I = Informed):

Diese Matrix ist ein Ausgangspunkt und sollte an die spezifische Unternehmensstruktur angepasst werden. Entscheidend ist, dass für jede Aufgabe genau eine Person accountable ist – also die Letztverantwortung trägt.

Säule 3: Prozesse {#saeule-3-prozesse}

Die dritte Säule definiert die operativen Abläufe, die sicherstellen, dass KI-Governance im Unternehmensalltag gelebt wird. Ohne standardisierte Prozesse bleiben Richtlinien wirkungslos.

KI-Inventar

Der Ausgangspunkt jeder KI-Governance ist ein vollständiges und aktuelles KI-Inventar. Art. 26 Abs. 1 VO (EU) 2024/1689 verpflichtet Betreiber, geeignete Maßnahmen zu treffen – ohne Kenntnis der eingesetzten Systeme ist dies unmöglich. Das Inventar sollte mindestens folgende Informationen je System erfassen: Name und Anbieter, Einsatzzweck, Risikoklasse, verantwortliche Fachabteilung, verarbeitete Datenarten, Datum der Einführung und der letzten Überprüfung.

Risikobewertung

Jedes identifizierte KI-System muss einer systematischen Risikobewertung unterzogen werden. Dabei wird geprüft, ob das System unter die Risikoklassen der KI-Verordnung fällt (Art. 5, Art. 6 i.V.m. Anhang III VO (EU) 2024/1689) und welche konkreten Risiken für Grundrechte, Gesundheit, Sicherheit und Umwelt bestehen. Die Risikobewertung sollte in regelmäßigen Abständen und bei wesentlichen Änderungen wiederholt werden.

Genehmigungsprozess

Neue KI-Systeme oder wesentliche Änderungen an bestehenden Systemen sollten einen definierten Genehmigungsprozess durchlaufen. Dieser Prozess umfasst typischerweise:

1. Antrag durch die Fachabteilung mit Beschreibung des Einsatzzwecks
2. Vorprüfung durch den KI-Beauftragten (Risikoklassifizierung, Compliance-Check)
3. Datenschutzprüfung durch den DSB (ggf. Datenschutz-Folgenabschätzung nach Art. 35 DSGVO)
4. Freigabe durch das KI-Governance-Board (bei Hochrisiko-KI) oder den KI-Beauftragten (bei niedrigerem Risiko)
5. Dokumentation der Entscheidung im KI-Inventar

Monitoring

Nach der Einführung eines KI-Systems ist eine laufende Überwachung erforderlich. Art. 26 Abs. 5 VO (EU) 2024/1689 verpflichtet Betreiber von Hochrisiko-KI-Systemen, den Betrieb auf Grundlage der Gebrauchsanweisung zu überwachen. Das Monitoring umfasst die Überwachung der Systemleistung, die Erkennung von Drifts oder Verzerrungen sowie die regelmäßige Überprüfung, ob der Einsatzzweck noch dem genehmigten Rahmen entspricht.

Incident Management

Für KI-bezogene Vorfälle – etwa fehlerhafte Entscheidungen, Datenschutzverletzungen oder diskriminierende Ergebnisse – muss ein strukturierter Incident-Management-Prozess existieren. Dieser Prozess definiert Meldeschwellen, Eskalationswege, Sofortmaßnahmen und Dokumentationspflichten. Bei Hochrisiko-KI-Systemen kommen die Meldepflichten nach Art. 62 VO (EU) 2024/1689 hinzu, die eine Benachrichtigung der Marktüberwachungsbehörden bei schwerwiegenden Vorfällen vorsehen.

Säule 4: Technische Maßnahmen {#saeule-4-technik}

Die vierte Säule adressiert die technische Infrastruktur, die für eine wirksame KI-Governance erforderlich ist. Governance-Entscheidungen müssen technisch durchsetzbar und nachprüfbar sein.

Logging und Audit Trail

Art. 12 VO (EU) 2024/1689 verlangt für Hochrisiko-KI-Systeme eine automatische Protokollierung (Logging). Aber auch für andere KI-Systeme ist ein umfassendes Logging Best Practice. Der Audit Trail sollte mindestens dokumentieren: Wer hat wann welches KI-System mit welchen Eingabedaten genutzt? Welche Ergebnisse wurden erzeugt? Wurden Ergebnisse von Menschen überprüft oder überschrieben?

Ein lückenloser Audit Trail ist nicht nur regulatorisch relevant, sondern auch für interne Untersuchungen und die kontinuierliche Verbesserung des Frameworks unverzichtbar.

Monitoring-Systeme

Technisches Monitoring geht über die manuelle Überwachung hinaus und umfasst:

• Performance-Monitoring: Automatische Erkennung von Leistungsabfällen, Latenzproblemen oder unerwarteten Ausgabemustern
• Fairness-Monitoring: Automatisierte Prüfung auf systematische Verzerrungen (Bias) in den Ergebnissen, insbesondere bei KI-Systemen, die Entscheidungen über natürliche Personen beeinflussen
• Drift-Detection: Erkennung von Verschiebungen in den Eingabedaten (Data Drift) oder im Modellverhalten (Concept Drift), die die Zuverlässigkeit des Systems beeinträchtigen können

Zugangskontrollen

Ein wesentlicher Aspekt der technischen Governance ist die Zugangs- und Rechteverwaltung. Nicht jeder Mitarbeiter sollte Zugriff auf jedes KI-System haben. Das Prinzip der geringsten Berechtigung (Least Privilege) gilt auch für KI-Systeme. Konkret bedeutet das:

• Rollbasierte Zugriffssteuerung (RBAC) für KI-Systeme und deren Konfiguration
• Vier-Augen-Prinzip bei kritischen Konfigurationsänderungen
• Getrennte Umgebungen für Entwicklung, Test und Produktion
• API-Schlüssel-Management für externe KI-Dienste (z. B. OpenAI, Azure AI)

Datensicherheit

KI-Systeme verarbeiten häufig sensible Daten. Die technische Governance muss sicherstellen, dass Anforderungen der DSGVO (insbesondere Art. 32 – Sicherheit der Verarbeitung) und der KI-Verordnung gleichzeitig erfüllt werden. Dazu gehören Verschlüsselung, Pseudonymisierung, sichere Datenübertragung und regelmäßige Sicherheitsüberprüfungen.

Säule 5: Schulung & Kultur {#saeule-5-schulung}

Die fünfte Säule ist zugleich die am häufigsten unterschätzte: Ohne kompetente Mitarbeiter und eine Governance-Kultur im Unternehmen werden selbst die besten Strukturen und Prozesse nicht wirksam.

Art. 4 KI-Kompetenzpflicht

Art. 4 VO (EU) 2024/1689 verpflichtet Anbieter und Betreiber, dafür zu sorgen, dass ihr Personal und andere beteiligte Personen über ein ausreichendes Maß an KI-Kompetenz verfügen. Diese Pflicht gilt seit dem 2. Februar 2025 und betrifft alle Unternehmen, die KI-Systeme im beruflichen Kontext einsetzen – unabhängig von der Risikoklasse des Systems.

Ein KI-Governance-Framework muss daher ein Schulungskonzept enthalten, das:

• Eine Bedarfsanalyse durchführt (welche Mitarbeitergruppen benötigen welches Kompetenzniveau?)
• Rollenspezifische Schulungen definiert (Führungskräfte, Fachanwender, IT-Personal, KI-Entwickler)
• Regelmäßige Auffrischungen vorsieht (mindestens jährlich, bei wesentlichen Änderungen anlassbezogen)
• Die Teilnahme dokumentiert (Nachweis gegenüber Aufsichtsbehörden)

Awareness und Governance-Kultur

Schulung allein reicht nicht aus. Es braucht eine Unternehmenskultur, in der KI-Governance als gemeinsame Verantwortung verstanden wird – nicht als lästige Pflicht der Compliance-Abteilung. Maßnahmen zur Kulturentwicklung umfassen:

• Führungskräfte als Vorbilder: Die Geschäftsleitung kommuniziert aktiv die Bedeutung von KI-Governance und lebt die Grundsätze vor
• Transparente Kommunikation: Regelmäßige Updates zu neuen KI-Systemen, Governance-Entscheidungen und regulatorischen Entwicklungen
• Niedrigschwellige Meldewege: Mitarbeiter müssen Bedenken oder Vorfälle einfach und ohne Angst vor Konsequenzen melden können
• Feedback-Kanäle: Einrichtung von dedizierten Feedback-Möglichkeiten (z. B. internes KI-Governance-Postfach, regelmäßige Town-Hall-Meetings), über die Mitarbeiter Verbesserungsvorschläge, Fragen oder Bedenken zum KI-Einsatz äußern können

---

ISO/IEC 42001 als Rahmenwerk {#iso-42001}

Die ISO/IEC 42001:2023 ist die erste internationale Norm, die Anforderungen an ein KI-Managementsystem (AI Management System, AIMS) definiert. Für den Aufbau eines KI-Governance-Frameworks ist sie aus mehreren Gründen ein wertvolles Werkzeug.

Zentrale Elemente der ISO 42001

Die Norm folgt der bewährten High-Level-Structure (HLS) und gliedert sich in zehn Abschnitte. Die für ein KI-Governance-Framework besonders relevanten Elemente sind:

Kontext der Organisation (Abschnitt 4): Das Unternehmen muss sein internes und externes Umfeld analysieren, relevante interessierte Parteien identifizieren und den Anwendungsbereich des AIMS festlegen. Für KI-Governance bedeutet dies: Welche regulatorischen Anforderungen gelten? Welche Erwartungen haben Kunden, Mitarbeiter und Aufsichtsbehörden?

Führung (Abschnitt 5): Die oberste Leitung muss ihr Engagement für das AIMS demonstrieren, eine KI-Politik festlegen und Verantwortlichkeiten zuweisen. Dies korrespondiert direkt mit der Säule „Strategie & Richtlinien" und der Säule „Organisation & Rollen".

Planung (Abschnitt 6): Risiken und Chancen müssen systematisch identifiziert und behandelt werden. Die Norm verlangt eine KI-Risikobehandlung einschließlich einer Bewertung der Auswirkungen auf betroffene Personen und Gruppen – eine Anforderung, die über die reine Risikoklassifizierung des AI Act hinausgeht.

Betrieb (Abschnitt 8): Die operative Umsetzung umfasst die Durchführung der Risikobewertung, die Implementierung von Kontrollen und die Steuerung der KI-Systementwicklung und -beschaffung.

Bewertung der Leistung (Abschnitt 9): Monitoring, Messung, Analyse und Bewertung des AIMS sowie interne Audits und Management-Reviews stellen sicher, dass das System wirksam bleibt.

Verbesserung (Abschnitt 10): Nichtkonformitäten müssen behandelt und Korrekturmaßnahmen ergriffen werden. Das AIMS muss fortlaufend verbessert werden – der klassische PDCA-Zyklus (Plan-Do-Check-Act).

Annex-Kontrollen

Ein besonderes Merkmal der ISO 42001 sind die normativen Anhänge, die spezifische Kontrollen für KI-Systeme definieren. Annex A enthält Steuerungsziele und Maßnahmen in Bereichen wie:

• KI-Risikomanagement
• Verantwortungsvoller KI-Einsatz
• Datenmanagement für KI
• Transparenz und Erklärbarkeit
• Menschliche Aufsicht
• Lieferantenmanagement für KI-Dienste

Zusammenspiel mit dem AI Act

Die ISO 42001 ist kein Ersatz für die Einhaltung der KI-Verordnung – aber ein starkes Instrument zur strukturierten Umsetzung. Art. 40 VO (EU) 2024/1689 sieht vor, dass die EU-Kommission harmonisierte Normen anerkennen kann. Auch wenn ISO 42001 bislang noch nicht als harmonisierte Norm anerkannt ist, orientieren sich die Anforderungen an denselben Prinzipien. Eine ISO-42001-Zertifizierung kann daher als starkes Indiz für ein angemessenes Governance-System dienen.

---

KI-Governance vs. Datenschutz-Governance {#ki-governance-vs-datenschutz}

Viele Unternehmen haben bereits ein Datenschutz-Managementsystem (DSMS) aufgebaut. Die gute Nachricht: Zwischen KI-Governance und Datenschutz-Governance bestehen erhebliche Synergien, die genutzt werden sollten.

Vergleichstabelle

Synergien nutzen

Unternehmen, die bereits ein solides DSMS betreiben, können darauf aufbauen und müssen das Rad nicht neu erfinden:

• Gemeinsame Prozesse: Risikoanalyse, Incident Management und Schulung können für beide Bereiche integriert werden
• Gemeinsame Rollen: Der DSB kann in die KI-Governance eingebunden werden (z. B. als Mitglied des Governance-Boards)
• Gemeinsame Dokumentation: Das Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO) kann um KI-spezifische Felder erweitert werden, anstatt ein separates KI-Inventar aufzubauen
• Gemeinsame Schulungen: KI-Kompetenz und Datenschutz-Awareness können in einem integrierten Schulungsprogramm vermittelt werden

Wichtig: Die Synergien sind wertvoll, aber KI-Governance geht über Datenschutz hinaus. Nicht alle KI-Risiken sind Datenschutzrisiken. Ein KI-System kann Sicherheitsrisiken erzeugen, ohne personenbezogene Daten zu verarbeiten. Das KI-Governance-Framework muss daher eigenständige Komponenten enthalten, die über den Datenschutz hinausreichen.

---

Implementierungsfahrplan: 4 Phasen {#implementierungsfahrplan}

Der Aufbau eines KI-Governance-Frameworks ist ein Projekt, das strukturiert angegangen werden sollte. Der folgende Vier-Phasen-Plan bietet eine bewährte Vorgehensweise.

Phase 1: Assessment (Wochen 1–4)

In der Assessment-Phase wird der Status quo erfasst und die Ausgangslage bestimmt.

Maßnahmen:

• Vollständige Bestandsaufnahme aller im Unternehmen eingesetzten KI-Systeme (KI-Inventar)
• Gap-Analyse: Abgleich des Ist-Zustands mit den Anforderungen der KI-Verordnung und ggf. ISO 42001
• Stakeholder-Analyse: Identifikation aller relevanten internen und externen Stakeholder
• Bewertung der bestehenden Governance-Strukturen (Datenschutz, IT-Sicherheit, Compliance) auf Synergien
• Risikoklassifizierung aller identifizierten KI-Systeme nach Art. 6 VO (EU) 2024/1689

Ergebnis: Assessment-Bericht mit priorisierter Maßnahmenliste und Handlungsempfehlungen.

Phase 2: Design (Wochen 5–10)

In der Design-Phase werden die Governance-Strukturen konzipiert und alle notwendigen Dokumente erstellt.

Maßnahmen:

• Erstellung der KI-Strategie und Verabschiedung durch die Geschäftsleitung
• Entwurf der KI-Richtlinie mit Genehmigungsprozessen und Verbotslisten
• Definition der Rollen und Verantwortlichkeiten (RACI-Matrix)
• Gestaltung der Kernprozesse (Risikobewertung, Genehmigung, Monitoring, Incident Management)
• Erarbeitung des Schulungskonzepts (Bedarfsanalyse, Lehrplanerstellung)
• Auswahl und Konfiguration der benötigten Tools (Inventar-System, Monitoring, Dokumentation)

Ergebnis: Verabschiedetes Governance-Design mit allen Dokumenten, Prozessbeschreibungen und einem Umsetzungsplan.

Phase 3: Implementierung (Wochen 11–20)

In der Implementierungsphase wird das Governance-Framework operativ eingeführt.

Maßnahmen:

• Benennung des KI-Beauftragten und Einrichtung des KI-Governance-Boards
• Rollout der KI-Richtlinie an alle Mitarbeiter
• Durchführung der ersten Schulungsrunde (Pflichtschulung nach Art. 4 VO (EU) 2024/1689)
• Implementierung der technischen Maßnahmen (Logging, Monitoring, Zugangskontrollen)
• Aktivierung der Genehmigungsprozesse für neue KI-Systeme
• Pilotphase mit ausgewählten KI-Systemen, um Prozesse zu erproben und zu verfeinern

Ergebnis: Operativ wirksames KI-Governance-Framework mit geschultem Personal und laufenden Prozessen.

Phase 4: Optimierung (fortlaufend)

Die Optimierungsphase ist keine einmalige Phase, sondern ein kontinuierlicher Verbesserungsprozess nach dem PDCA-Prinzip.

Maßnahmen:

• Regelmäßige Audits des Governance-Frameworks (mindestens jährlich)
• Management-Review durch die Geschäftsleitung (mindestens halbjährlich)
• Aktualisierung der Richtlinien und Prozesse bei regulatorischen Änderungen oder neuen Erkenntnissen
• Auswertung von Incidents und Lessons Learned
• Anpassung des Schulungsprogramms basierend auf Feedback und neuen Anforderungen
• Perspektivisch: Vorbereitung einer ISO-42001-Zertifizierung

Ergebnis: Ein lebendes, sich stetig verbesserndes KI-Governance-Framework, das mit den regulatorischen und technologischen Entwicklungen Schritt hält.

---

Häufige Fehler beim Aufbau eines KI-Governance-Frameworks {#haeufige-fehler}

Beim Aufbau eines KI-Governance-Frameworks beobachten wir in der Praxis immer wieder dieselben Stolpersteine. Vermeiden Sie diese Fehler:

1. Governance als reines Compliance-Projekt verstehen: Wer KI-Governance nur als Pflichtübung zur Erfüllung regulatorischer Anforderungen betrachtet, verschenkt enormes Potenzial. Ein gutes Governance-Framework schafft Vertrauen bei Kunden, reduziert operative Risiken und ermöglicht schnellere, bessere KI-Entscheidungen. Governance sollte als Wettbewerbsvorteil verstanden werden, nicht als Kostenfaktor.

2. Keine Unterstützung der Geschäftsleitung: KI-Governance funktioniert nur, wenn die Geschäftsleitung das Thema aktiv unterstützt – mit Budget, Personal und sichtbarem Commitment. Ein KI-Governance-Framework, das von der Compliance-Abteilung im Alleingang aufgebaut wird, wird im Unternehmen nicht akzeptiert. Art. 24 DSGVO und Art. 17 VO (EU) 2024/1689 betonen die Verantwortung der obersten Leitungsebene.

3. Zu komplexe Strukturen für die Unternehmensgröße: Ein mittelständisches Unternehmen mit fünf KI-Systemen braucht kein Governance-Board mit 15 Mitgliedern und 200-seitige Richtlinien. Das Framework muss zur Größe und Komplexität des Unternehmens und seiner KI-Nutzung passen. Starten Sie pragmatisch und skalieren Sie bei Bedarf.

4. Shadow AI ignorieren: Eines der größten Risiken für jedes KI-Governance-Framework ist die unkontrollierte Nutzung von KI-Tools durch Mitarbeiter – sogenannte Shadow AI. Wenn Mitarbeiter ohne Genehmigung ChatGPT, Copilot oder andere KI-Dienste für betriebliche Aufgaben nutzen, unterlaufen sie sämtliche Governance-Mechanismen. Das Framework muss Shadow AI aktiv adressieren: durch klare Regeln, niedrigschwellige Genehmigungswege und Sensibilisierung.

5. Einmaliges Projekt statt kontinuierlicher Prozess: KI-Governance ist kein Projekt mit einem definierten Enddatum. Die Technologie entwickelt sich rasant weiter, neue Regulierungen kommen hinzu, und die eigene KI-Landschaft verändert sich. Wer das Framework einmal aufbaut und dann nicht pflegt, hat in zwei Jahren ein veraltetes System, das niemandem hilft.

6. Technik ohne Organisation (oder umgekehrt): Manche Unternehmen investieren stark in technische Monitoring-Lösungen, ohne die organisatorischen Grundlagen zu schaffen. Andere erstellen umfangreiche Richtlinien, ohne die technische Infrastruktur für deren Durchsetzung aufzubauen. Ein wirksames Framework braucht beide Dimensionen in ausgewogenem Verhältnis.

7. Keine Einbindung der Fachabteilungen: KI-Governance wird häufig als Aufgabe der IT- oder Rechtsabteilung betrachtet. Doch die Fachabteilungen sind es, die KI-Systeme täglich nutzen und deren Risiken am besten einschätzen können. Binden Sie die Fachseite von Anfang an ein – als Mitgestalter, nicht als Betroffene.

---

Häufig gestellte Fragen (FAQ) {#faq}

Braucht jedes Unternehmen ein KI-Governance-Framework?

Jedes Unternehmen, das KI-Systeme im beruflichen Kontext einsetzt, hat regulatorische Pflichten – mindestens die KI-Kompetenzpflicht nach Art. 4 VO (EU) 2024/1689. Ob ein formalisiertes Framework erforderlich ist, hängt von Umfang und Risikoprofil der KI-Nutzung ab. Unternehmen, die Hochrisiko-KI-Systeme betreiben oder selbst KI-Systeme anbieten, benötigen zwingend ein strukturiertes Framework. Aber auch Unternehmen, die „nur" Standard-KI-Tools wie ChatGPT einsetzen, profitieren von klaren Strukturen – allein um Shadow AI zu kontrollieren und die Kompetenzpflicht nachweisbar zu erfüllen.

Wie unterscheidet sich ein KI-Governance-Framework von einem Datenschutz-Managementsystem?

Ein KI-Governance-Framework adressiert spezifisch die Steuerung von KI-Systemen und deren Risiken – einschließlich Fragen, die über den Datenschutz hinausgehen (z. B. Sicherheitsrisiken, ethische Implikationen, Transparenzpflichten). Ein DSMS nach DSGVO fokussiert auf den Schutz personenbezogener Daten. Beide Systeme haben Überschneidungen, insbesondere bei KI-Systemen, die personenbezogene Daten verarbeiten. Die empfohlene Vorgehensweise ist eine integrierte Governance, bei der beide Systeme aufeinander abgestimmt sind und gemeinsame Prozesse nutzen.

Welche Rolle spielt die Geschäftsleitung?

Die Geschäftsleitung trägt die Letztverantwortung für KI-Governance. Art. 24 DSGVO verpflichtet den Verantwortlichen, geeignete Maßnahmen umzusetzen und deren Wirksamkeit nachzuweisen. Art. 17 VO (EU) 2024/1689 verlangt ein Qualitätsmanagementsystem. Die Geschäftsleitung muss die KI-Strategie verabschieden, Ressourcen bereitstellen, Rollen benennen und die Wirksamkeit des Frameworks regelmäßig überprüfen. Bei Verstößen gegen die KI-Verordnung kann auch eine persönliche Haftung der Geschäftsleitung in Betracht kommen.

Ist eine ISO-42001-Zertifizierung verpflichtend?

Nein, eine ISO-42001-Zertifizierung ist derzeit nicht gesetzlich vorgeschrieben. Weder die KI-Verordnung noch die DSGVO verlangen eine bestimmte Zertifizierung. Allerdings kann eine Zertifizierung erhebliche Vorteile bieten: Sie dient als Nachweis eines angemessenen Managementsystems gegenüber Aufsichtsbehörden und Geschäftspartnern, sie schafft interne Verbindlichkeit durch externe Prüfung, und sie kann bei der Vergabe öffentlicher Aufträge als Qualitätsmerkmal gewertet werden. Für Unternehmen mit umfangreicher KI-Nutzung oder als KI-Anbieter ist eine Zertifizierung eine sinnvolle Investition.

Wie lange dauert der Aufbau eines KI-Governance-Frameworks?

Die Dauer hängt von der Größe des Unternehmens, der Komplexität der KI-Nutzung und den vorhandenen Governance-Strukturen ab. Der in diesem Artikel vorgestellte Vier-Phasen-Plan sieht rund 20 Wochen für die Phasen Assessment, Design und Implementierung vor. In der Praxis kann dies variieren: Ein KMU mit wenigen KI-Systemen und vorhandener Datenschutz-Governance kann in 8–12 Wochen ein funktionsfähiges Basis-Framework aufbauen. Ein Großunternehmen mit komplexer KI-Landschaft wird eher 6–12 Monate benötigen. Entscheidend ist, dass die Optimierungsphase als fortlaufender Prozess verstanden wird – das Framework ist nie „fertig".

---

Nächste Schritte {#naechste-schritte}

Der Aufbau eines KI-Governance-Frameworks beginnt mit dem ersten Schritt. Nutzen Sie diesen Artikel als Orientierung und starten Sie mit einer pragmatischen Herangehensweise:

1. KI-Inventar erstellen: Verschaffen Sie sich einen vollständigen Überblick über alle KI-Systeme in Ihrem Unternehmen. Unser Leitfaden zum KI-Inventar unterstützt Sie dabei.
2. Compliance-Status prüfen: Nutzen Sie unsere KI-Compliance Checkliste, um Ihren aktuellen Stand zu bewerten.
3. KI-Richtlinie aufsetzen: Definieren Sie die Spielregeln für KI in Ihrem Unternehmen. Unsere Vorlage für eine KI-Richtlinie gibt Ihnen einen erprobten Ausgangspunkt.
4. Mitarbeiter schulen: Die KI-Kompetenzpflicht nach Art. 4 VO (EU) 2024/1689 gilt bereits seit Februar 2025. Starten Sie jetzt mit der Schulung Ihrer Mitarbeiter.

Sie wollen Ihre KI-Governance strukturiert und effizient aufbauen? KI Comply unterstützt Sie mit praxiserprobten Schulungen, Vorlagen und Tools – von der ersten Bestandsaufnahme bis zum zertifizierungsfähigen Managementsystem. Starten Sie jetzt kostenlos und bringen Sie Ihre KI-Governance auf ein solides Fundament.