Algorithmic Bias: Verzerrung in KI-Systemen erkennen und vermeiden

Das Wichtigste in Kürze: KI-Systeme treffen Entscheidungen auf Basis von Daten — und wenn diese Daten Vorurteile, historische Diskriminierung oder systematische Verzerrungen enthalten, übernimmt die KI diese Muster. Algorithmic Bias ist kein theoretisches Problem: Er hat bereits dazu geführt, dass Frauen bei Bewerbungen benachteiligt, People of Color höhere Rückfallrisiken zugewiesen und Schwarze Patienten schlechter medizinisch versorgt wurden. Der AI Act (VO (EU) 2024/1689) adressiert Bias in Art. 10 Abs. 2 lit. f mit expliziten Anforderungen an die Prüfung von Trainingsdaten auf Verzerrungen. Gleichzeitig schützt das Allgemeine Gleichbehandlungsgesetz (AGG) in §§ 1–3 vor Diskriminierung — mit einer Beweislastumkehr nach § 22 AGG, die Unternehmen besonders verwundbar macht. Wer KI-Systeme einsetzt, muss Bias systematisch erkennen, messen und vermeiden.

Inhaltsverzeichnis

Was ist Algorithmic Bias?
Die fünf Typen von KI-Bias
Warum Bias rechtlich relevant ist
Bekannte Beispiele für Algorithmic Bias
Art. 10 AI Act: Datenqualitätsanforderungen
Bias erkennen: Methoden und Metriken
Bias vermeiden: 6-Schritte-Framework
Häufig gestellte Fragen (FAQ)
Nächste Schritte

Was ist Algorithmic Bias? {#was-ist-algorithmic-bias}

Algorithmic Bias (algorithmische Verzerrung) bezeichnet systematische und wiederholbare Fehler in KI-Systemen, die zu unfairen Ergebnissen führen — typischerweise zugunsten oder zulasten bestimmter Gruppen. Im Gegensatz zu zufälligen Fehlern ist Bias strukturell: Er entsteht nicht durch einzelne Ausreißer, sondern durch systematische Muster in den Daten, der Modellarchitektur oder dem Einsatzkontext.

Entscheidend ist: Algorithmic Bias entsteht fast immer unbeabsichtigt. Entwickler und Unternehmen wollen in der Regel nicht diskriminieren. Doch KI-Systeme lernen aus historischen Daten, die gesellschaftliche Ungleichheiten widerspiegeln. Wenn ein Recruiting-Algorithmus auf Einstellungsentscheidungen der letzten 20 Jahre trainiert wird, in denen überwiegend Männer eingestellt wurden, wird er Männer bevorzugen — nicht weil er „sexistisch" programmiert wurde, sondern weil er die statistischen Muster der Vergangenheit reproduziert.

Die Herausforderung für Unternehmen liegt darin, dass Bias oft unsichtbar ist. Ein KI-System kann nach außen neutral wirken und dennoch systematisch diskriminieren — etwa indem es Postleitzahlen als Proxy für ethnische Zugehörigkeit verwendet oder Sprachmuster als Indikator für Bildungsstand interpretiert.

Die fünf Typen von KI-Bias {#fuenf-typen}

Die Forschung unterscheidet mehrere Ursachenkategorien. Das Verständnis dieser Typen ist die Voraussetzung dafür, Bias gezielt zu adressieren.

1. Historischer Bias (Historical Bias)

Historischer Bias entsteht, wenn Trainingsdaten vergangene gesellschaftliche Ungleichheiten widerspiegeln. Selbst wenn die Datenerhebung technisch einwandfrei ist, transportieren die Daten die Diskriminierungsmuster der Vergangenheit.

Beispiel: Ein Kreditscoring-Modell, das auf historischen Kreditentscheidungen trainiert wird, kann strukturelle Benachteiligungen bestimmter Bevölkerungsgruppen reproduzieren — etwa wenn in der Vergangenheit Kredite an Personen aus bestimmten Stadtteilen systematisch abgelehnt wurden (sog. „Redlining").

Historischer Bias ist besonders tückisch, weil die Daten formal korrekt sind. Die Verzerrung liegt nicht in der Datenqualität, sondern in der Realität, die die Daten abbilden.

2. Repräsentationsbias (Representation Bias)

Repräsentationsbias entsteht, wenn bestimmte Gruppen in den Trainingsdaten über- oder unterrepräsentiert sind. Das Modell lernt dann die Merkmale der überrepräsentierten Gruppe besser als die der unterrepräsentierten.

Beispiel: Gesichtserkennungssysteme, die überwiegend mit Bildern hellhäutiger Personen trainiert wurden, erkennen dunkelhäutige Gesichter signifikant schlechter. Die bahnbrechende Studie „Gender Shades" von Joy Buolamwini und Timnit Gebru (2018) zeigte Fehlerquoten von bis zu 34,7 % bei dunkelhäutigen Frauen — gegenüber 0,8 % bei hellhäutigen Männern.

3. Messbias (Measurement Bias)

Messbias entsteht, wenn die Merkmale oder Labels, die zur Modellierung verwendet werden, das Zielphänomen nicht akkurat oder nicht gleich für alle Gruppen erfassen. Es wird also das Falsche gemessen — oder das Richtige auf verzerrte Weise.

Beispiel: Wenn „Arbeitserfolg" anhand der Anzahl geschriebener E-Mails gemessen wird, werden Beschäftigte in produktionsnahen Bereichen systematisch schlechter bewertet — unabhängig von ihrer tatsächlichen Leistung. Die Metrik selbst ist verzerrt.

4. Aggregationsbias (Aggregation Bias)

Aggregationsbias entsteht, wenn ein einziges Modell für unterschiedliche Gruppen verwendet wird, obwohl die Zusammenhänge zwischen den Merkmalen gruppenspezifisch variieren. Ein Modell, das für alle funktionieren soll, funktioniert dann für keine Gruppe optimal.

Beispiel: Ein medizinisches Diagnosesystem, das auf aggregierten Daten aller Altersgruppen trainiert wird, kann Symptome bei älteren Patienten falsch interpretieren, weil die Normalwerte altersabhängig sind. Ein HbA1c-Wert, der bei einer jungen Person auf Diabetes hindeutet, kann bei einer älteren Person im Normalbereich liegen.

5. Selektionsbias (Selection Bias)

Selektionsbias entsteht durch systematische Fehler bei der Auswahl der Trainingsdaten. Die Stichprobe ist nicht repräsentativ für die Grundgesamtheit, auf die das Modell angewendet wird.

Beispiel: Ein Betrugserkennungssystem, das nur auf entdeckten Betrugsfällen trainiert wird, erkennt nur Betrugsmuster, die bisherigen Kontrollmechanismen aufgefallen sind — und übersieht systematisch neue oder ungewöhnliche Betrugsmethoden. Gleichzeitig werden Gruppen, die häufiger kontrolliert werden, überproportional als verdächtig eingestuft.

Warum Bias rechtlich relevant ist {#rechtliche-relevanz}

Algorithmic Bias ist nicht nur ein ethisches Problem — er ist ein handfestes Rechtsrisiko. Drei Regelwerke sind besonders relevant.

Allgemeines Gleichbehandlungsgesetz (AGG)

Das AGG schützt in § 1 vor Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität. Dieses Diskriminierungsverbot gilt unabhängig davon, ob die Benachteiligung durch einen Menschen oder ein KI-System erfolgt.

Besonders relevant ist § 3 Abs. 2 AGG: Eine mittelbare Benachteiligung liegt vor, wenn dem Anschein nach neutrale Vorschriften, Kriterien oder Verfahren Personen wegen eines geschützten Merkmals gegenüber anderen Personen in besonderer Weise benachteiligen können. KI-Systeme, die formal neutrale Kriterien verwenden (etwa Postleitzahl, Studienfach oder Lücken im Lebenslauf), können genau diese mittelbare Diskriminierung erzeugen.

Die Beweislastumkehr nach § 22 AGG verschärft das Risiko erheblich: Wenn Indizien für eine Benachteiligung vorliegen, muss das Unternehmen beweisen, dass keine Diskriminierung stattgefunden hat. Bei intransparenten KI-Systemen — sogenannten „Black Boxes" — ist dieser Beweis kaum zu führen. Unternehmen, die KI-basierte Entscheidungen nicht erklären und dokumentieren können, stehen im Streitfall mit leeren Händen da.

KI-Verordnung (AI Act) — Art. 10

Der AI Act adressiert Bias in Art. 10 VO (EU) 2024/1689 unter dem Titel „Daten und Daten-Governance". Für Hochrisiko-KI-Systeme — wozu insbesondere KI im HR-Bereich (Anhang III Nr. 4), bei Kreditscoring und bei Strafverfolgung zählt — stellt der Gesetzgeber explizite Anforderungen an die Trainingsdaten.

Art. 10 Abs. 2 lit. f verlangt, dass bei der Zusammenstellung von Trainingsdaten die „Prüfung im Hinblick auf mögliche Verzerrungen (Bias)" berücksichtigt wird. Dies ist keine optionale Empfehlung, sondern eine verbindliche Pflicht für alle Anbieter und Betreiber von Hochrisiko-KI-Systemen. Verstöße können mit Bußgeldern von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden (Art. 99 Abs. 4 VO (EU) 2024/1689).

DSGVO — Art. 22 und Art. 35

Die Datenschutz-Grundverordnung (VO (EU) 2016/679) ergänzt den Schutz durch zwei Mechanismen:

Art. 22 DSGVO gibt Betroffenen das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Wenn ein KI-System automatisch Bewerbungen sortiert und ablehnt, greift Art. 22 — und der Betroffene kann menschliches Eingreifen verlangen.
Art. 35 DSGVO verlangt eine Datenschutz-Folgenabschätzung (DSFA), wenn eine Datenverarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen birgt. KI-gestützte Profiling- und Scoring-Systeme lösen diese Pflicht regelmäßig aus. Im Rahmen der DSFA müssen auch Diskriminierungsrisiken geprüft werden.

Bekannte Beispiele für Algorithmic Bias {#bekannte-beispiele}

Die folgenden Fälle illustrieren, dass Algorithmic Bias keine theoretische Möglichkeit ist, sondern reale Schäden verursacht hat.

Amazon Recruiting-Tool (2018)

Amazon entwickelte ein KI-System zur automatisierten Bewerberbewertung, das auf historischen Einstellungsdaten aus zehn Jahren trainiert wurde. Da in der Technologiebranche überwiegend Männer eingestellt worden waren, lernte das System, weibliche Bewerberinnen systematisch abzuwerten. Es bestrafte Lebensläufe, die das Wort „women's" enthielten (etwa „women's chess club captain") und bevorzugte Formulierungen, die typisch für männliche Bewerber waren. Amazon stellte das Projekt 2018 ein.

Lehre: Historischer Bias in Trainingsdaten kann selbst bei einem der technologisch fortschrittlichsten Unternehmen der Welt zu systematischer Diskriminierung führen. Eine Bias-Prüfung nach Art. 10 Abs. 2 lit. f AI Act hätte dieses Problem vor dem Einsatz offenlegen müssen.

COMPAS — Risikobewertung in der Strafjustiz

Das System COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) wird in den USA zur Vorhersage der Rückfallwahrscheinlichkeit von Straftätern eingesetzt. Eine Untersuchung von ProPublica (2016) zeigte, dass das System Schwarze Angeklagte fast doppelt so häufig fälschlich als hohes Rückfallrisiko einstufte wie weiße Angeklagte — obwohl Rasse formal kein Eingabemerkmal war. Proxy-Variablen wie Wohnort, Bildungsgrad und Vorstrafen im sozialen Umfeld führten zu einer mittelbaren Diskriminierung.

Lehre: Auch ohne explizite Verwendung geschützter Merkmale kann ein System über Proxy-Variablen diskriminieren. Dies entspricht der mittelbaren Benachteiligung nach § 3 Abs. 2 AGG.

Gesundheitssystem-Bias (Obermeyer et al., 2019)

Forscher der University of California Berkeley wiesen 2019 nach, dass ein in den USA weit verbreitetes Gesundheits-Scoring-System Schwarze Patienten systematisch benachteiligte. Das System verwendete Gesundheitskosten als Proxy für Gesundheitsbedarf. Da Schwarze Patienten aufgrund sozioökonomischer Faktoren historisch weniger Geld für Gesundheitsversorgung ausgaben, stufte das System sie als weniger krank ein — obwohl sie tatsächlich kränker waren. Geschätzte 46 % weniger Schwarze Patienten wurden für zusätzliche Versorgungsprogramme vorgeschlagen.

Lehre: Messbias — die Verwendung einer verzerrten Proxy-Variable (Kosten statt Krankheitslast) — kann lebensbedrohliche Konsequenzen haben. Dieses Beispiel zeigt auch, warum die Wahl der richtigen Metriken und Labels eine zentrale Bias-Quelle darstellt.

Art. 10 AI Act: Datenqualitätsanforderungen {#art-10-ai-act}

Art. 10 VO (EU) 2024/1689 ist die zentrale Norm für die Datenqualität bei Hochrisiko-KI-Systemen — und damit auch für die Bias-Prävention. Die Vorschrift verlangt in Abs. 2 eine Reihe spezifischer Maßnahmen bei der Erstellung von Trainings-, Validierungs- und Testdatensätzen.

Die Anforderungen im Überblick

Art. 10 Abs. 2 fordert, dass die Datensätze unter Berücksichtigung folgender Aspekte erstellt werden:

Gestaltungsentscheidungen bei der Datenerhebung (lit. a)
Datenerhebungsverfahren und Herkunft der Daten (lit. b)
Aufbereitungsmaßnahmen wie Annotation, Kennzeichnung, Bereinigung und Anreicherung (lit. c)
Relevante Annahmen über die Informationen, die die Daten messen und darstellen sollen (lit. d)
Verfügbarkeit, Menge und Eignung der benötigten Datensätze (lit. e)
Prüfung im Hinblick auf mögliche Verzerrungen (Bias), die die Gesundheit und Sicherheit von Personen beeinträchtigen oder zu einer Diskriminierung führen könnten (lit. f)
Ermittlung etwaiger Datenlücken oder -mängel und deren Behebung (lit. g)

Art. 10 Abs. 2 lit. f — Die Bias-Prüfpflicht

Art. 10 Abs. 2 lit. f verdient besondere Aufmerksamkeit. Die Norm verlangt eine aktive Prüfung auf mögliche Verzerrungen — nicht erst nach dem Deployment, sondern bereits bei der Zusammenstellung der Trainingsdaten. Die Prüfung muss insbesondere zwei Risikodimensionen abdecken:

Gesundheit und Sicherheit: Können Verzerrungen in den Daten dazu führen, dass das System falsche Ergebnisse erzeugt, die die Gesundheit oder physische Sicherheit von Personen gefährden?
Diskriminierung: Können Verzerrungen in den Daten dazu führen, dass bestimmte Personengruppen aufgrund geschützter Merkmale (Geschlecht, Alter, ethnische Herkunft etc.) benachteiligt werden?

Art. 10 Abs. 5 — Verarbeitung besonderer Kategorien

Bemerkenswert ist Art. 10 Abs. 5, der unter strengen Voraussetzungen die Verarbeitung besonderer Kategorien personenbezogener Daten (Art. 9 Abs. 1 DSGVO) erlaubt — ausschließlich zum Zweck der Bias-Überwachung, -Erkennung und -Korrektur. Diese Ausnahme zeigt, wie ernst der Gesetzgeber das Bias-Problem nimmt: Um Diskriminierung zu erkennen, müssen Unternehmen unter Umständen genau die sensiblen Daten verarbeiten, die sonst besonders geschützt sind — etwa Angaben zu ethnischer Herkunft oder Geschlecht.

Die Voraussetzungen sind allerdings streng: Die Verarbeitung muss verhältnismäßig sein, es müssen angemessene Schutzmaßnahmen getroffen werden, und die Daten dürfen nicht für andere Zwecke verwendet werden.

Bias erkennen: Methoden und Metriken {#bias-erkennung}

Bias-Erkennung erfordert systematische Tests — nicht bloße Intuition. Die folgenden Methoden und Metriken haben sich in der Praxis bewährt.

Fairness-Metriken

Metrik	Beschreibung	Anwendung
Demographic Parity	Gleiche Positivrate über alle Gruppen	Werden Männer und Frauen gleich häufig zum Vorstellungsgespräch eingeladen?
Equalized Odds	Gleiche True-Positive- und False-Positive-Raten über Gruppen	Werden qualifizierte Bewerber aller Gruppen gleich gut erkannt?
Predictive Parity	Gleicher positiver Vorhersagewert über Gruppen	Ist eine positive Bewertung für alle Gruppen gleich verlässlich?
Counterfactual Fairness	Ändert sich die Entscheidung, wenn ein geschütztes Merkmal geändert wird?	Erhält eine Person dasselbe Ergebnis, wenn nur das Geschlecht geändert wird?
Disparate Impact Ratio	Verhältnis der Positivraten (Minderheit/Mehrheit)	Liegt das Verhältnis unter 0,8 (80-%-Regel), besteht ein Diskriminierungsverdacht

Wichtig: Diese Metriken können miteinander in Konflikt stehen. Eine perfekte Demographic Parity ist mathematisch nicht immer gleichzeitig mit perfekten Equalized Odds erreichbar (sog. „Impossibility Theorem" nach Chouldechova, 2017). Unternehmen müssen daher eine bewusste Abwägung treffen, welche Fairness-Definition für ihren Anwendungsfall am relevantesten ist.

Methoden der Bias-Erkennung

Subgruppen-Analyse: Modellleistung getrennt nach demografischen Gruppen auswerten (Accuracy, Precision, Recall je Gruppe)
Datensatz-Audit: Statistische Analyse der Trainingsdaten auf Repräsentationslücken und Labelverteilungen
Adversarial Testing: Gezielte Eingabe von Testfällen, die auf Bias-Anfälligkeit prüfen (z. B. identische Lebensläufe mit unterschiedlichen Namen)
SHAP/LIME-Erklärbarkeit: Analyse, welche Merkmale die Vorhersage treiben — und ob Proxy-Variablen für geschützte Merkmale verwendet werden
Red Teaming: Unabhängige Teams versuchen, das System gezielt zu diskriminierenden Outputs zu bringen

Bias vermeiden: 6-Schritte-Framework {#bias-vermeidung}

Die folgenden sechs Schritte bilden ein praxistaugliches Framework zur systematischen Bias-Vermeidung — von der Datenbeschaffung bis zum laufenden Betrieb.

Schritt 1: Daten-Audit vor dem Training

Bevor ein Modell trainiert wird, müssen die Trainingsdaten systematisch auf Verzerrungen geprüft werden — wie von Art. 10 Abs. 2 lit. f AI Act verlangt. Das umfasst:

Demografische Zusammensetzung des Datensatzes dokumentieren
Verteilung der Labels (Zielgröße) je Subgruppe analysieren
Historische Benachteiligungsmuster in den Daten identifizieren
Fehlende Gruppen oder unterrepräsentierte Subgruppen erkennen
Proxy-Variablen für geschützte Merkmale identifizieren (z. B. Postleitzahl, Vorname)

Schritt 2: Datenkorrektur und -anreicherung

Identifizierte Verzerrungen müssen vor dem Training adressiert werden:

Resampling: Über- oder Unterabtastung unterrepräsentierter Gruppen
Reweighting: Gewichtung der Datenpunkte, um Gruppenungleichgewichte auszugleichen
Datenergänzung: Gezielte Erhebung zusätzlicher Daten für unterrepräsentierte Gruppen
Labelkorrektur: Überprüfung und ggf. Korrektur verzerrter Labels (z. B. durch Mehrfach-Annotation)

Schritt 3: Fairness-Constraints im Modelltraining

Während des Trainings können technische Maßnahmen integriert werden:

Fairness-Regularisierung: Fairness-Metriken als Nebenbedingung in die Optimierungsfunktion aufnehmen
Adversarial Debiasing: Ein adversariales Netzwerk trainieren, das geschützte Merkmale aus den Repräsentationen entfernt
Kalibrierung: Modellwahrscheinlichkeiten je Subgruppe kalibrieren

Schritt 4: Fairness-Tests vor dem Deployment

Vor der Produktivsetzung muss das Modell auf einem separaten Testdatensatz gegen definierte Fairness-Metriken geprüft werden:

Disparate Impact Ratio berechnen (Schwellenwert: ≥ 0,8)
Equalized Odds und Predictive Parity je Subgruppe evaluieren
Counterfactual-Tests durchführen (geschützte Merkmale variieren)
Ergebnisse dokumentieren (Art. 11 AI Act — technische Dokumentation)

Schritt 5: Monitoring im laufenden Betrieb

Bias ist kein einmaliges Problem — er kann sich im Betrieb verschärfen, insbesondere bei Systemen, die mit neuen Daten weiterlernen:

Fairness-Metriken kontinuierlich monitoren (Art. 72 AI Act — Überwachungspflichten nach dem Inverkehrbringen)
Schwellenwerte für Alarme definieren (z. B. Disparate Impact Ratio < 0,8)
Regelmäßige Audits durch unabhängige Stellen durchführen
Beschwerdemechanismen für Betroffene einrichten

Schritt 6: Governance und Verantwortlichkeiten

Bias-Vermeidung erfordert klare Zuständigkeiten und organisatorische Verankerung:

Fairness-Verantwortlichen benennen (kann der KI-Beauftragte sein)
Bias-Prüfung in den KI-Entwicklungsprozess verpflichtend integrieren
Schulungen zu Algorithmic Bias für Entwickler, Fachbereiche und Entscheider
Eskalationsprozesse bei erkanntem Bias definieren
Transparente Kommunikation gegenüber Betroffenen sicherstellen

Häufig gestellte Fragen (FAQ) {#faq}

Kann ein KI-System diskriminieren, obwohl geschützte Merkmale nicht als Eingabe verwendet werden?

Ja. Dies ist sogar der häufigste Fall. KI-Systeme können über Proxy-Variablen diskriminieren — Merkmale, die mit geschützten Eigenschaften korrelieren, ohne diese direkt zu benennen. Beispiele: Postleitzahl als Proxy für ethnische Herkunft, Studienfach als Proxy für Geschlecht, Elternzeitlücken als Proxy für Geschlecht und Familienstand. Rechtlich handelt es sich um eine mittelbare Benachteiligung nach § 3 Abs. 2 AGG, die ebenso verboten ist wie eine unmittelbare Diskriminierung. Das bloße Entfernen geschützter Merkmale aus den Eingabedaten (sog. „Fairness through Unawareness") ist daher keine ausreichende Maßnahme zur Bias-Vermeidung.

Schreibt der AI Act konkrete Fairness-Metriken vor?

Nein, nicht direkt. Art. 10 Abs. 2 lit. f VO (EU) 2024/1689 verlangt eine Prüfung auf mögliche Verzerrungen, benennt aber keine konkreten Metriken oder Schwellenwerte. Die Wahl der geeigneten Fairness-Metrik obliegt den Anbietern und Betreibern und hängt vom Anwendungskontext ab. Allerdings ist zu erwarten, dass harmonisierte Normen (Art. 40 AI Act) und Leitlinien der Kommission künftig konkretere Vorgaben machen werden. Bis dahin empfiehlt es sich, etablierte Metriken wie Demographic Parity, Equalized Odds und die 80-%-Regel (Disparate Impact Ratio) als Orientierung zu verwenden und die Wahl der Metrik in der technischen Dokumentation zu begründen.

Wer haftet, wenn ein KI-System diskriminiert — der Anbieter oder der Betreiber?

Das hängt vom Einzelfall ab. Der Anbieter eines Hochrisiko-KI-Systems haftet nach Art. 16 AI Act für die Einhaltung der Datenqualitätsanforderungen (Art. 10) und muss das System grundsätzlich bias-frei gestalten. Der Betreiber haftet nach Art. 26 AI Act für den bestimmungsgemäßen Einsatz und die Überwachung im Betrieb — einschließlich der Pflicht, bei erkennbarem Bias Maßnahmen zu ergreifen. Nach dem AGG haftet primär der Arbeitgeber (§ 15 AGG), der das System einsetzt — unabhängig davon, ob er es selbst entwickelt hat. Betreiber können jedoch Regressansprüche gegen den Anbieter geltend machen, wenn der Bias auf Fehler in der Systementwicklung zurückzuführen ist.

Müssen auch kleine Unternehmen ihre KI-Systeme auf Bias prüfen?

Grundsätzlich ja. Die Bias-Prüfpflicht nach Art. 10 AI Act gilt für alle Anbieter und Betreiber von Hochrisiko-KI-Systemen — unabhängig von der Unternehmensgröße. Und das AGG-Diskriminierungsverbot gilt ohnehin für jeden Arbeitgeber. Allerdings sieht der AI Act in Art. 62a Erleichterungen für KMU und Start-ups vor, etwa vereinfachte Dokumentationspflichten. Zudem können kleinere Unternehmen, die KI-Systeme nur als Betreiber einsetzen (z. B. ein eingekauftes Recruiting-Tool), einen Teil der Bias-Prüfung an den Anbieter delegieren — müssen aber selbst überwachen, ob das System im eigenen Einsatzkontext fair funktioniert.

Was ist der Unterschied zwischen Bias und Varianz in der KI?

Bias und Varianz sind unterschiedliche Konzepte, die oft verwechselt werden. In der Statistik bezeichnet Bias den systematischen Fehler eines Modells — die Abweichung zwischen der durchschnittlichen Vorhersage und dem wahren Wert. Varianz bezeichnet die Streuung der Vorhersagen bei unterschiedlichen Trainingsdaten. Im Kontext von Algorithmic Bias geht es jedoch nicht um statistische Modellgenauigkeit, sondern um gesellschaftliche Fairness: Werden bestimmte Personengruppen systematisch benachteiligt? Ein Modell kann statistisch einen niedrigen Bias (im technischen Sinne) haben und trotzdem im sozialen Sinne stark verzerrt sein — etwa wenn es für alle Gruppen gleich „genau" vorhersagt, aber die zugrunde liegenden Labels selbst verzerrt sind.

Nächste Schritte {#naechste-schritte}

Algorithmic Bias ist eines der drängendsten Risiken beim Einsatz von KI-Systemen — rechtlich, ethisch und reputationsbezogen. Die gute Nachricht: Mit systematischen Methoden lässt sich Bias erkennen, messen und reduzieren. Art. 10 AI Act gibt den regulatorischen Rahmen vor; das AGG setzt die roten Linien.

Für Unternehmen empfehlen wir folgende sofortige Maßnahmen:

Bestandsaufnahme: Identifizieren Sie alle KI-Systeme in Ihrem Unternehmen, die Entscheidungen über Personen treffen oder beeinflussen. Priorisieren Sie nach Risiko.
Daten-Audit: Prüfen Sie die Trainingsdaten Ihrer kritischsten KI-Systeme auf Repräsentationslücken, historische Verzerrungen und problematische Proxy-Variablen.
Fairness-Metriken definieren: Legen Sie für jeden Anwendungsfall fest, welche Fairness-Definition relevant ist, und dokumentieren Sie die Wahl.
Monitoring einrichten: Implementieren Sie ein laufendes Bias-Monitoring für produktive KI-Systeme.
Team schulen: Sensibilisieren Sie Entwickler, Fachbereiche und Entscheidungsträger für die verschiedenen Bias-Typen und ihre Auswirkungen.

Sie möchten wissen, ob Ihre KI-Systeme fair und rechtskonform arbeiten? KI Comply unterstützt Unternehmen bei der Bias-Prüfung, beim Aufbau eines Fairness-Frameworks und bei der Umsetzung der Anforderungen aus Art. 10 AI Act. Jetzt unverbindlich beraten lassen →