KI-Kompetenz messen: Methoden und Bewertungskriterien

Das Wichtigste in Kürze: Art. 4 VO (EU) 2024/1689 verpflichtet Anbieter und Betreiber von KI-Systemen, ein ausreichendes Maß an KI-Kompetenz ihres Personals sicherzustellen. Doch „sicherstellen" setzt voraus, dass Sie Kompetenz messen können. Ohne belastbare Messung bleibt die Pflichterfüllung eine Behauptung -- und eine Behauptung hält keiner Behördenprüfung stand. Dieser Artikel stellt fünf praxiserprobte Messmethoden vor, gibt Ihnen eine Bewertungskriterien-Matrix an die Hand und zeigt, wie Sie die Ergebnisse so dokumentieren, dass sie als Nachweis gemäß Art. 26 Abs. 5 bestehen.

---

Schulung allein reicht nicht. Wer seine Mitarbeiter zu einer KI-Schulung schickt und anschließend ein Häkchen setzt, erfüllt die Anforderungen des AI Act nur auf dem Papier. Art. 4 VO (EU) 2024/1689 formuliert eine Ergebnispflicht: Nicht die Teilnahme an einer Schulung ist geschuldet, sondern das tatsächliche Vorhandensein von Kompetenz. Und Kompetenz, die nicht gemessen wird, ist nicht nachweisbar.

In der Praxis stehen Unternehmen damit vor einer doppelten Herausforderung: Sie müssen erstens geeignete Methoden finden, um KI-Kompetenz valide zu erfassen. Und sie müssen zweitens die Ergebnisse so dokumentieren, dass sie einer Prüfung durch die Marktüberwachungsbehörde oder -- bei einem Haftungsfall -- durch ein Gericht standhalten.

Dieser Leitfaden gibt Ihnen das methodische Werkzeug dafür.

Warum die Messung von KI-Kompetenz unverzichtbar ist

Art. 4: Nachweispflicht, nicht Schulungspflicht

Ein verbreitetes Missverständnis lautet: „Wir müssen unsere Mitarbeiter schulen, dann sind wir compliant." Das greift zu kurz. Art. 4 VO (EU) 2024/1689 verlangt, dass Anbieter und Betreiber Maßnahmen ergreifen, um ein ausreichendes Maß an KI-Kompetenz sicherzustellen. Das Wort „sicherstellen" impliziert eine Überprüfung des Ergebnisses -- nicht nur die Durchführung einer Maßnahme.

Erwägungsgrund 20 (ErwG 20) konkretisiert, dass die Maßnahmen die Fähigkeiten, Kenntnisse und das Verständnis der betroffenen Personen berücksichtigen müssen. Daraus folgt: Wenn Sie nicht messen, ob Ihre Mitarbeiter die Schulungsinhalte tatsächlich verstanden haben, können Sie auch nicht belegen, dass Sie die Anforderung erfüllen.

§130 OWiG: Aufsichtspflicht des Unternehmens

Die Pflicht zur Kompetenzmessung ergibt sich nicht allein aus dem AI Act. Nach §130 Abs. 1 OWiG (Ordnungswidrigkeitengesetz) trifft den Inhaber eines Betriebs die Pflicht, die erforderlichen Aufsichtsmaßnahmen zu treffen, um Zuwiderhandlungen gegen Pflichten zu verhindern, die den Inhaber treffen und deren Verletzung mit Strafe oder Geldbuße bedroht ist. Wer KI-Systeme einsetzt, ohne zu überprüfen, ob das zuständige Personal die nötige Kompetenz besitzt, riskiert ein Aufsichtsverschulden nach §130 OWiG -- mit Bußgeldern von bis zu einer Million Euro (§130 Abs. 3 Satz 2 OWiG i. V. m. §17 Abs. 2 OWiG).

In Kombination mit Art. 99 VO (EU) 2024/1689, der Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes vorsieht, entsteht ein erhebliches Haftungsrisiko. Die Kompetenzmessung ist damit keine optionale Maßnahme, sondern ein zentraler Baustein der organisatorischen Sorgfaltspflicht.

Ohne Messung kein belastbarer Nachweis

Art. 26 Abs. 5 VO (EU) 2024/1689 verpflichtet Betreiber von Hochrisiko-KI-Systemen, die ergriffenen Maßnahmen zu dokumentieren und auf Anfrage den Behörden vorzulegen. Doch auch für alle anderen Betreiber gilt: Ein Nachweis ist nur so belastbar wie die Methode, mit der er erzeugt wurde.

Eine Teilnahmebestätigung ohne jede Lernerfolgskontrolle belegt lediglich Anwesenheit. Ein dokumentiertes Testergebnis mit definierter Bestehensgrenze belegt Kompetenz. Die Investition in eine saubere Messmethodik zahlt sich im Prüfungsfall unmittelbar aus.

Fünf Methoden zur Messung von KI-Kompetenz

Es gibt nicht die eine perfekte Methode. Jede Messmethode hat Stärken und Schwächen. Entscheidend ist, dass Sie die Methode wählen, die zu Ihrer Unternehmensgröße, Ihrer Zielgruppe und Ihrem Dokumentationsbedarf passt. Die folgende Übersicht vergleicht fünf praxiserprobte Ansätze.

Vergleichstabelle: Messmethoden im Überblick

1. Multiple-Choice-Test

Der Multiple-Choice-Test ist die am weitesten verbreitete Methode und bildet in den meisten Unternehmen die Grundlage der Kompetenzmessung. Er eignet sich hervorragend, um Faktenwissen abzufragen: Was ist ein KI-System im Sinne des Art. 3 Nr. 1 VO (EU) 2024/1689? Welche Risikoklassen unterscheidet der AI Act? Welche Dokumentationspflichten gelten für Betreiber?

Vorteile: Automatisierte Auswertung, sofortiges Ergebnis, leicht skalierbar auf hunderte oder tausende Teilnehmer. Ergebnisse sind objektiv und reproduzierbar.

Grenzen: Ein Multiple-Choice-Test erfasst in erster Linie deklaratives Wissen. Er zeigt nicht, ob ein Mitarbeiter in der Lage ist, eine KI-Ausgabe kritisch zu bewerten oder ein Compliance-Problem zu erkennen, wenn es sich im Arbeitsalltag stellt. Deshalb sollte er nie die einzige Messmethode sein.

Praxistipp: Formulieren Sie mindestens 30 % der Fragen als Anwendungsfragen (z. B. „In folgendem Szenario setzt Ihr Unternehmen ein KI-System zur Bewerbervorauswahl ein. Welche Maßnahme ist gemäß Art. 14 VO (EU) 2024/1689 erforderlich?"), um über reines Faktenwissen hinauszugehen.

2. Fallstudien und Szenarien

Fallstudien konfrontieren die Teilnehmer mit realistischen Situationen aus dem Unternehmensalltag. Ein Beispiel: „Ihr Team erhält die Empfehlung eines KI-Systems, einen Kreditantrag abzulehnen. Die Begründung des Systems erscheint Ihnen nicht plausibel. Beschreiben Sie Ihr Vorgehen."

Diese Methode prüft, ob Mitarbeiter Wissen auf neue Situationen übertragen können -- eine Schlüsselkompetenz im Umgang mit KI-Systemen. Erwägungsgrund 20 betont ausdrücklich, dass der Kontext des KI-Einsatzes bei der Kompetenzbewertung berücksichtigt werden muss. Fallstudien leisten genau das.

Vorteile: Hohe Praxisrelevanz, prüft Urteilsvermögen und Entscheidungskompetenz. Ergebnisse geben Aufschluss über Kompetenzlücken, die ein Multiple-Choice-Test nicht aufdecken würde.

Grenzen: Die Erstellung guter Fallstudien erfordert Fachwissen. Die Auswertung ist aufwendiger und weniger standardisiert als bei einem Multiple-Choice-Test.

3. Praktische Übung

Die praktische Übung ist der Goldstandard der Kompetenzmessung: Der Teilnehmer arbeitet unter Beobachtung mit einem realen oder simulierten KI-System und muss definierte Aufgaben lösen. Beispiel: „Nutzen Sie das KI-gestützte Analysewerkzeug, um den vorliegenden Datensatz auszuwerten. Dokumentieren Sie dabei alle Schritte gemäß der internen KI-Richtlinie."

Vorteile: Misst tatsächliche Handlungskompetenz. Zeigt, ob ein Mitarbeiter ein KI-System nicht nur theoretisch versteht, sondern in der Praxis korrekt und sicher bedienen kann.

Grenzen: Hoher organisatorischer Aufwand. Erfordert geschulte Beobachter und eine geeignete Testumgebung. Für große Mitarbeiterzahlen nur schwer skalierbar.

4. Selbsteinschätzung

Bei der Selbsteinschätzung bewerten Mitarbeiter ihre eigene KI-Kompetenz anhand eines strukturierten Fragebogens. Typische Fragen: „Wie sicher fühlen Sie sich im Umgang mit dem KI-Tool X?" oder „Könnten Sie einem Kollegen erklären, welche Risiken beim Einsatz von KI-Systemen bestehen?"

Vorteile: Sehr geringer Aufwand, schnell durchführbar, gibt Hinweise auf das subjektive Kompetenzempfinden und möglichen Schulungsbedarf.

Grenzen: Keine objektive Messung. Studien zeigen konsistent, dass sich Personen mit geringer Kompetenz systematisch überschätzen (Dunning-Kruger-Effekt). Eine Selbsteinschätzung allein ist als Nachweis im Sinne des Art. 4 nicht ausreichend. Sie eignet sich jedoch gut als ergänzendes Instrument, etwa um Schulungsbedarfe zu identifizieren oder die Entwicklung über die Zeit zu verfolgen.

5. Peer-Assessment

Beim Peer-Assessment bewerten Kollegen gegenseitig ihre KI-Kompetenz anhand definierter Kriterien. Das funktioniert besonders gut in Teams, die gemeinsam KI-Systeme nutzen und die Arbeitsweise der anderen aus dem Alltag kennen.

Vorteile: Praxisnahe Perspektive, kann Aspekte erfassen, die in formalen Tests nicht sichtbar werden (z. B. ob jemand im Alltag tatsächlich die KI-Richtlinie befolgt). Fördert gleichzeitig den Austausch im Team.

Grenzen: Subjektiv, abhängig von der Teamdynamik, erfordert klare Kriterien und eine offene Feedbackkultur. Als alleinige Methode nicht ausreichend belastbar.

Empfehlung: Methodenmix

Die belastbarste Messung entsteht durch einen Methodenmix. Für die meisten Unternehmen empfehlen wir:

• Multiple-Choice-Test als Pflichttest für alle Mitarbeiter (Basiswissen)
• Fallstudien als Ergänzung für Mitarbeiter in Schlüsselrollen (Anwendungswissen)
• Praktische Übung für Operatoren und Entwickler von KI-Systemen (Handlungswissen)
• Selbsteinschätzung als begleitendes Instrument zur Bedarfsermittlung

Bewertungskriterien-Matrix: Kompetenzfeld und Niveau

Eine Messung ohne klare Kriterien ist wertlos. Die folgende Matrix definiert drei Kompetenzniveaus für die zentralen Kompetenzfelder der KI-Kompetenz gemäß Art. 4 und ErwG 20 VO (EU) 2024/1689.

Drei Kompetenzniveaus

• Niveau 1 -- Grundverständnis: Kennt die wesentlichen Begriffe und Konzepte. Kann erklären, was ein KI-System ist und welche Grundregeln gelten.
• Niveau 2 -- Anwendungskompetenz: Kann KI-Systeme im eigenen Arbeitskontext korrekt nutzen. Erkennt typische Risiken und weiß, wie man damit umgeht.
• Niveau 3 -- Expertenkompetenz: Kann KI-Systeme bewerten, überwachen und andere anleiten. Versteht technische Zusammenhänge und regulatorische Anforderungen im Detail.

Kompetenzfeld-Matrix

Mindestanforderungen pro Rolle

Nicht jeder Mitarbeiter muss dasselbe Kompetenzniveau erreichen. ErwG 20 VO (EU) 2024/1689 betont ausdrücklich, dass die Maßnahmen den technischen Hintergrund, die Erfahrung und den Einsatzkontext berücksichtigen müssen. Die folgenden Mindestanforderungen orientieren sich an typischen Unternehmensrollen.

Wichtig: Diese Tabelle ist ein Ausgangspunkt. Die konkreten Anforderungen müssen an die spezifischen KI-Systeme und Einsatzkontexte Ihres Unternehmens angepasst werden. Dokumentieren Sie die Zuordnung von Rollen zu Kompetenzniveaus als Bestandteil Ihres KI-Schulungskonzepts.

Dokumentation und Nachweisführung

Was dokumentiert werden muss

Die Messergebnisse sind nur dann als Nachweis belastbar, wenn sie vollständig, nachvollziehbar und revisionssicher dokumentiert sind. Orientieren Sie sich an den folgenden Pflichtangaben:

• Personenbezogene Daten: Name, Organisationseinheit, Rolle gemäß der Rollenzuordnung
• Messmethode: Welche Methode wurde eingesetzt (z. B. Multiple-Choice-Test, Fallstudie)?
• Datum und Ort: Wann und wo wurde die Messung durchgeführt?
• Inhalte und Kompetenzfelder: Welche Kompetenzfelder wurden geprüft?
• Ergebnis: Erreichte Punktzahl oder Bewertungsstufe je Kompetenzfeld
• Bestehensgrenze: Welche Schwelle wurde als Mindestanforderung definiert?
• Ergebnis der Bewertung: Bestanden oder nicht bestanden
• Verantwortliche Person: Wer hat die Messung durchgeführt und das Ergebnis bestätigt?
• Folgemaßnahmen: Was geschieht bei Nichtbestehen (z. B. Nachschulung, Wiederholungstest)?

Aufbewahrungsdauer

Die VO (EU) 2024/1689 schreibt keine explizite Aufbewahrungsdauer für Kompetenznachweise vor. Aus der Zusammenschau mit der allgemeinen Dokumentationspflicht (Art. 26 Abs. 5) und den Verjährungsfristen für Bußgelder empfehlen wir eine Aufbewahrungsdauer von mindestens fünf Jahren nach dem letzten relevanten Einsatz des KI-Systems. Beachten Sie dabei die datenschutzrechtlichen Anforderungen der DSGVO -- insbesondere den Grundsatz der Speicherbegrenzung (Art. 5 Abs. 1 lit. e DSGVO).

Format der Dokumentation

Die Dokumentation kann digital oder analog erfolgen. Für die meisten Unternehmen empfiehlt sich eine digitale Lösung, die folgende Vorteile bietet:

• Automatische Erfassung von Testergebnissen
• Einfache Auswertung und Aggregation (z. B. „Wie viele Mitarbeiter in Abteilung X haben Niveau 2 im Kompetenzfeld Risikobewusstsein erreicht?")
• Fristüberwachung für Wiederholungstests
• Einfache Bereitstellung bei Behördenanfragen

Wiederholungsintervalle: Wie oft muss gemessen werden?

KI-Kompetenz ist keine Einmalprüfung. Die Technologie entwickelt sich weiter, Regulierungen ändern sich, und auch individuelles Wissen veraltet. Eine belastbare Kompetenzmessung erfordert deshalb regelmäßige Wiederholungen.

Empfohlene Intervalle

Tipp: Stufenmodell statt Kompletttest

Bei der jährlichen Wiederholung müssen Sie nicht jedes Mal den gesamten Test wiederholen. Ein Stufenmodell spart Aufwand: Wer im Vorjahr alle Kompetenzfelder auf dem erforderlichen Niveau bestanden hat, muss nur einen verkürzten Auffrischungstest absolvieren. Wer einzelne Bereiche knapp bestanden hat, wird in diesen gezielt nachgeprüft.

Häufig gestellte Fragen (FAQ)

Muss jeder Mitarbeiter getestet werden?

Art. 4 VO (EU) 2024/1689 richtet sich an „Personal und andere Personen, die im Namen des Anbieters oder Betreibers mit dem Betrieb und der Nutzung von KI-Systemen befasst sind". Getestet werden muss also jeder, der KI-Systeme nutzt, bedient oder überwacht. Mitarbeiter, die keinerlei Berührung mit KI-Systemen haben, fallen nicht unter die Pflicht -- allerdings wird dieser Personenkreis mit zunehmender KI-Durchdringung immer kleiner.

Gibt es eine gesetzlich vorgeschriebene Bestehensgrenze?

Nein. Weder die VO (EU) 2024/1689 noch das deutsche Recht schreiben eine konkrete Bestehensgrenze vor. Die Festlegung liegt im Ermessen des Unternehmens. Wir empfehlen eine Schwelle von mindestens 70 % im Multiple-Choice-Test und ein „bestanden" in mindestens 4 von 5 Kompetenzfeldern bei Fallstudien. Dokumentieren Sie Ihre Schwellenwerte und deren Herleitung, um bei einer Prüfung nachvollziehbar argumentieren zu können.

Was passiert, wenn ein Mitarbeiter den Test nicht besteht?

Ein Nichtbestehen hat keine unmittelbaren gesetzlichen Sanktionen für den Mitarbeiter. Allerdings darf das Unternehmen den betreffenden Mitarbeiter nicht mit KI-Systemen arbeiten lassen, solange die erforderliche Kompetenz nicht nachgewiesen ist -- andernfalls verletzt das Unternehmen seine Pflicht aus Art. 4. In der Praxis sollten Sie eine Nachschulungsphase mit anschließendem Wiederholungstest vorsehen. Dokumentieren Sie das Verfahren im Vorfeld, um arbeitsrechtliche Konflikte zu vermeiden.

Können wir die Messung intern durchführen oder brauchen wir einen externen Anbieter?

Eine interne Durchführung ist grundsätzlich zulässig -- der AI Act schreibt keine externe Zertifizierung vor. Entscheidend ist, dass die Messinstrumente valide, nachvollziehbar und dokumentiert sind. Bei internen Tests empfehlen wir, die Testfragen von einer Person mit nachgewiesener KI- und Compliance-Expertise erstellen zu lassen und den Testprozess durch eine unabhängige Stelle (z. B. interne Revision) prüfen zu lassen.

Wie gehen wir mit Mitarbeitern um, die sich weigern, am Test teilzunehmen?

Die Teilnahme an einer Kompetenzmessung kann als arbeitsrechtliche Weisung angeordnet werden, sofern sie im Zusammenhang mit der vertraglich geschuldeten Tätigkeit steht (§106 GewO). Verweigert ein Mitarbeiter die Teilnahme, kann das Unternehmen ihn nicht für Aufgaben einsetzen, die den Umgang mit KI-Systemen erfordern. Bei beharrlicher Weigerung sind arbeitsrechtliche Konsequenzen bis hin zur Abmahnung denkbar. Beziehen Sie den Betriebsrat frühzeitig ein -- Mitbestimmungsrechte nach §87 Abs. 1 Nr. 1 und Nr. 6 BetrVG können berührt sein.

Fazit: Messen ist Pflicht, nicht Kür

Die Messung von KI-Kompetenz ist kein bürokratischer Selbstzweck. Sie ist die logische Konsequenz aus der Ergebnispflicht des Art. 4 VO (EU) 2024/1689. Wer Kompetenz sicherstellen muss, muss sie auch überprüfen können. Wer sie überprüfen will, braucht valide Methoden. Und wer Ergebnisse nachweisen muss, braucht eine saubere Dokumentation.

Die gute Nachricht: Sie müssen nicht bei null anfangen. Mit einem Multiple-Choice-Test als Basis, ergänzt durch Fallstudien für Schlüsselrollen, einer klaren Bewertungskriterien-Matrix und einem definierten Wiederholungsintervall haben Sie ein belastbares System, das sowohl den Anforderungen der KI-Verordnung als auch der Aufsichtspflicht nach §130 OWiG genügt.

---

Sie möchten KI-Kompetenz messbar machen? KI Comply bietet Ihnen fertige Assessment-Module mit automatisierter Auswertung und revisionssicherer Dokumentation -- zugeschnitten auf die Anforderungen des AI Act. Jetzt kostenlos testen und die KI-Kompetenz Ihres Teams strukturiert erfassen.