KI-Vendor Due Diligence: KI-Anbieter richtig prüfen

Das Wichtigste in Kürze: Wer KI-Software einkauft, übernimmt als Betreiber nach Art. 26 VO (EU) 2024/1689 eine eigene Sorgfaltspflicht — unabhängig davon, was der Anbieter verspricht. Gleichzeitig verlangt Art. 28 DSGVO, dass Sie Auftragsverarbeiter sorgfältig auswählen und vertraglich binden. Eine strukturierte Vendor Due Diligence ist deshalb kein Nice-to-have, sondern gesetzliche Pflicht. Unsere 20-Punkte-Checkliste deckt alle fünf kritischen Prüfbereiche ab: AI Act Compliance, Datenschutz, Informationssicherheit, Vertragsrecht und Ethik. Bei Versäumnissen drohen Bußgelder von bis zu 35 Millionen Euro (Art. 99 VO (EU) 2024/1689) und bis zu 20 Millionen Euro nach Art. 83 DSGVO.

---

Inhaltsverzeichnis

1. Warum Due Diligence bei KI-Anbietern?
2. Die 5 Prüfbereiche im Detail
3. 20-Punkte Due Diligence Checkliste
4. Red Flags: 7 Warnsignale bei KI-Anbietern
5. Vertragsklauseln die nicht fehlen dürfen
6. Häufig gestellte Fragen (FAQ)
7. Nächste Schritte

---

Warum Due Diligence bei KI-Anbietern? {#warum-due-diligence}

Der Einkauf von KI-Software unterscheidet sich grundlegend vom klassischen Software-Procurement. KI-Systeme verarbeiten häufig personenbezogene Daten, treffen autonome oder semi-autonome Entscheidungen und können diskriminierende Ergebnisse liefern. Als Unternehmen, das ein KI-System einsetzt, sind Sie Betreiber im Sinne des Art. 3 Nr. 4 VO (EU) 2024/1689 — und tragen damit eigene, gesetzlich definierte Pflichten.

Die Betreiberpflicht nach Art. 26 AI Act

Art. 26 Abs. 1 VO (EU) 2024/1689 verpflichtet Betreiber von Hochrisiko-KI-Systemen, „geeignete technische und organisatorische Maßnahmen" zu treffen, um sicherzustellen, dass sie das System gemäß der beigefügten Gebrauchsanweisung verwenden. Das bedeutet konkret: Sie müssen vor dem Einkauf prüfen, ob der Anbieter überhaupt die notwendige technische Dokumentation, Gebrauchsanweisungen und Konformitätserklärungen bereitstellt. Ohne diese Unterlagen können Sie Ihre Betreiberpflichten schlicht nicht erfüllen.

Darüber hinaus verlangt Art. 26 Abs. 5, dass Betreiber eine Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO durchführen, soweit diese erforderlich ist. Diese DSFA können Sie nur sinnvoll erstellen, wenn Ihnen der Anbieter detaillierte Informationen über Datenflüsse, Verarbeitungszwecke und Schutzmaßnahmen zur Verfügung stellt.

Die Auftragsverarbeitung nach Art. 28 DSGVO

Verarbeitet der KI-Anbieter personenbezogene Daten in Ihrem Auftrag, ist er Auftragsverarbeiter im Sinne des Art. 28 Abs. 1 VO (EU) 2016/679. Die DSGVO verlangt, dass Sie „nur mit Auftragsverarbeitern zusammenarbeiten, die hinreichend Garantien dafür bieten, dass geeignete technische und organisatorische Maßnahmen so durchgeführt werden, dass die Verarbeitung im Einklang mit den Anforderungen dieser Verordnung erfolgt und den Schutz der Rechte der betroffenen Personen gewährleistet."

Das ist keine Empfehlung — es ist eine Rechtspflicht. Und sie gilt auch dann, wenn der Anbieter seinen Sitz außerhalb der EU hat, solange er Daten von Personen im EWR verarbeitet.

Haftungsrisiken bei fehlender Due Diligence

Die Konsequenzen einer unzureichenden Anbieterprüfung sind erheblich:

• Bußgelder nach dem AI Act: Bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes für Verstöße gegen verbotene Praktiken, bis zu 15 Millionen Euro oder 3 % für sonstige Pflichtverletzungen (Art. 99 VO (EU) 2024/1689).
• Bußgelder nach der DSGVO: Bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes für Verstöße gegen die Grundsätze der Verarbeitung (Art. 83 Abs. 5 VO (EU) 2016/679).
• Zivilrechtliche Haftung: Betroffene können Schadensersatz verlangen, wenn sie durch fehlerhafte KI-Entscheidungen geschädigt werden. Die geplante KI-Haftungsrichtlinie (COM(2022) 496) wird die Beweislast zugunsten der Geschädigten erleichtern.
• Reputationsschäden: Datenschutzverletzungen und diskriminierende KI-Entscheidungen erzeugen erhebliche öffentliche Aufmerksamkeit.

Die Botschaft ist klar: Wer KI einkauft, ohne den Anbieter zu prüfen, handelt fahrlässig — rechtlich wie wirtschaftlich.

---

Die 5 Prüfbereiche im Detail {#die-5-pruefbereiche}

Eine strukturierte Vendor Due Diligence deckt fünf Kernbereiche ab. Für jeden Bereich haben wir die wichtigsten Fragen zusammengestellt, die Sie dem Anbieter stellen sollten.

1. AI Act Compliance

Der AI Act verlangt von Anbietern umfangreiche Pflichten, die in den Art. 16 bis 25 VO (EU) 2024/1689 geregelt sind. Als Betreiber müssen Sie sicherstellen, dass Ihr Anbieter diese Pflichten tatsächlich erfüllt.

Fragen an den Anbieter:

• Risikoklassifizierung: In welche Risikoklasse des AI Acts fällt das KI-System? Liegt eine dokumentierte Einstufung nach Art. 6 i.V.m. Anhang III VO (EU) 2024/1689 vor?
• CE-Kennzeichnung: Trägt das Hochrisiko-KI-System eine CE-Kennzeichnung nach Art. 48 VO (EU) 2024/1689? Ist es in der EU-Datenbank nach Art. 71 registriert?
• Technische Dokumentation: Stellt der Anbieter die technische Dokumentation nach Art. 11 i.V.m. Anhang IV bereit? Enthält diese nachvollziehbare Informationen zu Trainingsmethoden, Datenqualität und Leistungskennzahlen?
• Konformitätsbewertung: Wurde eine Konformitätsbewertung nach Art. 43 durchgeführt? Liegt eine EU-Konformitätserklärung nach Art. 47 vor?
• Gebrauchsanweisung: Liefert der Anbieter eine vollständige Gebrauchsanweisung nach Art. 13, die Ihnen als Betreiber die ordnungsgemäße Nutzung ermöglicht?

2. Datenschutz

Nahezu jedes KI-System verarbeitet personenbezogene Daten — sei es als Input, als Output oder im Rahmen des Trainings. Die DSGVO stellt hier klare Anforderungen.

Fragen an den Anbieter:

• Auftragsverarbeitungsvertrag (AVV): Bietet der Anbieter einen AVV nach Art. 28 Abs. 3 VO (EU) 2016/679 an? Enthält dieser alle gesetzlich vorgeschriebenen Mindestinhalte (Gegenstand, Dauer, Art und Zweck der Verarbeitung, Art der personenbezogenen Daten, Kategorien betroffener Personen)?
• Serverstandort und Datenverarbeitung: Wo werden die Daten verarbeitet und gespeichert? Liegen die Server innerhalb des EWR?
• Drittlandtransfer: Findet ein Transfer personenbezogener Daten in Drittländer statt? Wenn ja: Auf welcher Grundlage nach Art. 44–49 DSGVO (Angemessenheitsbeschluss, Standardvertragsklauseln, verbindliche interne Datenschutzvorschriften)?
• Trainingsdaten: Werden die von Ihnen eingegebenen Daten zum Training des Modells verwendet? Kann dies vertraglich ausgeschlossen werden?
• Betroffenenrechte: Wie unterstützt der Anbieter Sie bei der Erfüllung von Betroffenenrechten nach Art. 15–22 DSGVO (Auskunft, Löschung, Berichtigung, Widerspruch)?

3. Informationssicherheit

KI-Systeme sind attraktive Angriffsziele — sowohl für Datendiebstahl als auch für Manipulationsangriffe (Adversarial Attacks, Prompt Injection). Die technische Sicherheit des Anbieters ist entscheidend.

Fragen an den Anbieter:

• Zertifizierungen: Verfügt der Anbieter über anerkannte Sicherheitszertifizierungen wie ISO 27001, SOC 2 Type II oder BSI C5?
• Verschlüsselung: Werden Daten sowohl bei der Übertragung (TLS 1.2+) als auch bei der Speicherung (AES-256 oder vergleichbar) verschlüsselt?
• Zugangskontrollen: Welche Mechanismen zur Zugriffskontrolle sind implementiert? Unterstützt das System rollenbasierte Zugriffskontrolle (RBAC), Multi-Faktor-Authentifizierung (MFA) und Single Sign-On (SSO)?
• Penetrationstests: Führt der Anbieter regelmäßige Penetrationstests und Sicherheitsaudits durch? Werden die Ergebnisse auf Anfrage offengelegt?
• Incident Response: Existiert ein dokumentiertes Incident-Response-Verfahren? Wie schnell werden Sicherheitsvorfälle gemeldet (Art. 33 DSGVO verlangt 72 Stunden)?

4. Vertragliches

Neben den regulatorischen Anforderungen sind klare vertragliche Regelungen essenziell, um Risiken zu minimieren und im Streitfall handlungsfähig zu bleiben.

Fragen an den Anbieter:

• Service Level Agreements (SLA): Welche Verfügbarkeitsgarantien bietet der Anbieter? Gibt es definierte Reaktions- und Wiederherstellungszeiten? Welche Kompensationsregelungen greifen bei SLA-Verletzungen?
• Haftungsregelung: Wie ist die Haftung bei fehlerhaften KI-Ergebnissen geregelt? Gibt es eine Haftungsobergrenze? Ist eine Freistellungsklausel für regulatorische Bußgelder enthalten?
• Kündigungsrecht und Exit-Strategie: Welche Kündigungsfristen gelten? Gibt es eine Unterstützung bei der Migration zu einem anderen Anbieter? Wird nach Vertragsende eine Übergangsfrist gewährt?
• Datenportabilität: In welchem Format und innerhalb welchen Zeitraums werden Ihre Daten nach Vertragsende exportiert und zurückgegeben? Werden die Daten beim Anbieter anschließend nachweislich gelöscht?
• Änderungsvorbehalte: Kann der Anbieter das Modell, die Funktionalität oder die Preisstruktur einseitig ändern? Welche Informationspflichten bestehen bei Modellwechseln?

5. Ethik und Transparenz

Über die gesetzlichen Mindestanforderungen hinaus sollten verantwortungsvolle Unternehmen auch ethische Aspekte der KI-Nutzung in die Anbieterprüfung einbeziehen.

Fragen an den Anbieter:

• Bias-Testing: Werden regelmäßige Tests auf algorithmische Verzerrungen (Bias) durchgeführt? Nach welchen Standards (z. B. ISO/IEC 24027, NIST AI RMF)?
• Erklärbarkeit: Kann das KI-System seine Entscheidungen nachvollziehbar erklären? Werden Erklärungsmethoden wie SHAP, LIME oder Attention Maps bereitgestellt?
• Logging und Auditierbarkeit: Werden alle relevanten Eingaben, Ausgaben und Entscheidungsprozesse protokolliert? Art. 12 VO (EU) 2024/1689 verlangt für Hochrisiko-Systeme eine automatische Aufzeichnung (Logging).
• Menschliche Aufsicht: Ermöglicht das System eine menschliche Überprüfung und Korrektur von KI-Entscheidungen gemäß Art. 14 VO (EU) 2024/1689?
• Nachhaltigkeitsaspekte: Gibt der Anbieter Auskunft über den Energieverbrauch und den CO₂-Fußabdruck des KI-Systems? Art. 12 Abs. 2 VO (EU) 2024/1689 fordert die Aufzeichnung des Ressourcenverbrauchs für Hochrisiko-Systeme.

---

20-Punkte Due Diligence Checkliste {#checkliste}

Die folgende Checkliste fasst die wichtigsten Prüfpunkte zusammen. Nutzen Sie sie als Vorlage für Ihren internen Beschaffungsprozess.

Bewertung: Wenn Sie weniger als 15 Punkte abhaken können, besteht erheblicher Nachbesserungsbedarf. Bei weniger als 10 Punkten sollten Sie den Anbieter entweder zur Nachbesserung auffordern oder die Beschaffung überdenken.

---

Red Flags: 7 Warnsignale bei KI-Anbietern {#red-flags}

Bestimmte Verhaltensweisen und Aussagen von KI-Anbietern sollten bei Ihnen sofort Alarmglocken auslösen. Die folgenden Red Flags weisen auf mangelnde Compliance-Reife hin und erhöhen Ihr Risiko als Betreiber erheblich.

1. Kein AVV oder „ist nicht notwendig"

Wenn ein Anbieter behauptet, kein Auftragsverarbeitungsvertrag sei erforderlich, obwohl personenbezogene Daten verarbeitet werden, ist das ein klarer Verstoß gegen Art. 28 DSGVO. Entweder fehlt dem Anbieter das Verständnis für Datenschutzrecht — oder er versucht, sich der vertraglichen Bindung zu entziehen. Beides ist inakzeptabel.

2. Keine Auskunft über Serverstandorte

Transparenz über die Datenverarbeitung ist ein Grundprinzip der DSGVO (Art. 5 Abs. 1 lit. a). Ein Anbieter, der nicht offenlegen kann oder will, wo Ihre Daten verarbeitet werden, macht eine rechtskonforme Nutzung unmöglich. Sie können weder die Zulässigkeit des Drittlandtransfers nach Art. 44 ff. DSGVO beurteilen noch eine ordnungsgemäße DSFA durchführen.

3. Kundendaten fließen ins Modelltraining

Wenn der Anbieter Ihre Eingabedaten zum Training oder zur Verbesserung seiner Modelle verwendet, liegt ein eigenständiger Verarbeitungszweck vor, der Ihrer Einwilligung bedarf. Ohne vertragliche Opt-out-Möglichkeit verstoßen Sie gegen den Grundsatz der Zweckbindung (Art. 5 Abs. 1 lit. b DSGVO) und riskieren, dass vertrauliche Geschäftsdaten in Modellausgaben für andere Kunden auftauchen.

4. Keine Risikoklassifizierung nach dem AI Act

Ein KI-Anbieter, der die Risikoklasse seines eigenen Systems nicht benennen kann, zeigt damit, dass er sich mit den grundlegenden Anforderungen des AI Acts nicht auseinandergesetzt hat. Art. 16 lit. a VO (EU) 2024/1689 verpflichtet Anbieter ausdrücklich, die Konformität ihres Systems sicherzustellen.

5. Keine oder verweigerte Sicherheitszertifizierungen

Zwar ist eine ISO 27001- oder SOC 2-Zertifizierung nicht gesetzlich vorgeschrieben. Doch die DSGVO verlangt in Art. 32 „geeignete technische und organisatorische Maßnahmen" — und anerkannte Zertifizierungen sind der beste Nachweis dafür. Ein Anbieter ohne jegliche Sicherheitszertifizierung oder -nachweise erhöht Ihr Risiko als verantwortliche Stelle.

6. Einseitige Änderungsvorbehalte beim Modell

Manche Anbieter behalten sich vor, das zugrunde liegende KI-Modell jederzeit ohne Vorankündigung zu ändern. Das ist problematisch, weil ein Modellwechsel die Leistungsfähigkeit, die Genauigkeit und das Risikoprofil des Systems grundlegend verändern kann. Für Hochrisiko-KI-Systeme kann ein Modellwechsel sogar eine erneute Konformitätsbewertung nach Art. 43 VO (EU) 2024/1689 erfordern.

7. Keine Möglichkeit zur Protokolleinsicht

Art. 26 Abs. 5 VO (EU) 2024/1689 verpflichtet Betreiber von Hochrisiko-Systemen, die automatisch erzeugten Protokolle mindestens sechs Monate aufzubewahren. Wenn der Anbieter Ihnen keinen Zugang zu den Logs gewährt, können Sie diese Pflicht nicht erfüllen. Zudem benötigen Sie Protokolldaten für die menschliche Aufsicht (Art. 14) und für mögliche Audits durch Marktüberwachungsbehörden (Art. 74 ff.).

---

Vertragsklauseln die nicht fehlen dürfen {#vertragsklauseln}

Neben dem Auftragsverarbeitungsvertrag sollte der Hauptvertrag mit einem KI-Anbieter mindestens die folgenden fünf essenziellen Klauseln enthalten. Diese Klauseln schützen Sie als Betreiber vor regulatorischen und wirtschaftlichen Risiken.

1. Compliance-Zusicherung

Der Anbieter sichert zu, dass das bereitgestellte KI-System den Anforderungen der VO (EU) 2024/1689 (AI Act) und der VO (EU) 2016/679 (DSGVO) in ihrer jeweils geltenden Fassung entspricht. Er verpflichtet sich, den Betreiber unverzüglich über Änderungen zu informieren, die die Konformität des Systems beeinflussen könnten.

2. Audit-Recht

Der Betreiber oder ein von ihm beauftragter unabhängiger Prüfer hat das Recht, die Einhaltung der vertraglichen und regulatorischen Anforderungen durch Inspektionen und Audits zu überprüfen. Dieses Recht ergibt sich für die Auftragsverarbeitung bereits aus Art. 28 Abs. 3 lit. h DSGVO — sollte aber auch für die AI-Act-Pflichten explizit vereinbart werden.

3. Informationspflicht bei Modellwechsel

Der Anbieter verpflichtet sich, den Betreiber mindestens 30 Tage vor einem Wechsel des zugrunde liegenden KI-Modells schriftlich zu informieren. Die Benachrichtigung muss eine Folgenabschätzung enthalten, die darlegt, wie der Modellwechsel die Genauigkeit, Fairness und Risikoklassifizierung des Systems beeinflusst. Der Betreiber erhält ein Sonderkündigungsrecht, falls der Modellwechsel zu einer erhöhten Risikoklasse führt.

4. Datenlöschung und Rückgabe

Nach Beendigung des Vertragsverhältnisses ist der Anbieter verpflichtet, sämtliche im Auftrag verarbeiteten Daten innerhalb von 30 Tagen in einem strukturierten, maschinenlesbaren Format zu exportieren und dem Betreiber zu übergeben. Anschließend sind alle Daten einschließlich vorhandener Sicherheitskopien nachweislich zu löschen — Art. 28 Abs. 3 lit. g DSGVO schreibt dies bereits für personenbezogene Daten vor.

5. Freistellungsklausel bei regulatorischen Verstößen

Der Anbieter stellt den Betreiber von sämtlichen Bußgeldern, Schadensersatzforderungen und Kosten frei, die dem Betreiber entstehen, weil der Anbieter seine vertraglichen oder gesetzlichen Pflichten (insbesondere nach VO (EU) 2024/1689 und VO (EU) 2016/679) verletzt hat. Diese Klausel sollte angesichts der Bußgeldhöhen im AI Act und der DSGVO mit besonderer Sorgfalt verhandelt werden. Achten Sie darauf, dass Haftungsobergrenzen den tatsächlichen Risiken angemessen sind.

---

Häufig gestellte Fragen (FAQ) {#faq}

Muss ich bei jedem KI-Tool eine Due Diligence durchführen?

Ja — zumindest eine Basisprüfung. Art. 26 VO (EU) 2024/1689 gilt für alle Betreiber von KI-Systemen, und Art. 28 DSGVO greift immer dann, wenn personenbezogene Daten im Auftrag verarbeitet werden. Der Umfang der Prüfung kann je nach Risikoklasse variieren: Bei einem Hochrisiko-KI-System ist eine umfassende Due Diligence über alle fünf Prüfbereiche unerlässlich. Bei einem KI-System mit minimalem Risiko (z. B. ein Spam-Filter) reicht eine vereinfachte Prüfung mit Fokus auf Datenschutz und Sicherheit.

Wer ist intern für die KI-Vendor Due Diligence verantwortlich?

Die Verantwortung sollte beim Einkauf bzw. der Beschaffungsabteilung liegen, mit verbindlicher Einbindung des Datenschutzbeauftragten (Art. 38 Abs. 1 DSGVO), der IT-Sicherheit und — falls vorhanden — des KI-Compliance-Beauftragten oder der Rechtsabteilung. Entscheidend ist, dass KI-Beschaffungen nicht mehr ohne Compliance-Prüfung erfolgen dürfen, ähnlich wie bei der Einführung neuer IT-Systeme eine Freigabe durch den Datenschutzbeauftragten erforderlich ist.

Was tun, wenn der Anbieter die Due Diligence verweigert?

Ein Anbieter, der sich weigert, grundlegende Compliance-Fragen zu beantworten, ist mit hoher Wahrscheinlichkeit nicht geeignet. Dokumentieren Sie den Vorgang schriftlich und prüfen Sie Alternativen. Bedenken Sie: Wenn Sie trotz bekannter Compliance-Defizite einen Anbieter beauftragen, tragen Sie als Betreiber die volle Verantwortung. Im Streitfall wird eine Aufsichtsbehörde fragen, warum Sie den Anbieter trotz fehlender Prüfnachweise ausgewählt haben.

Wie oft sollte die Due Diligence wiederholt werden?

Eine einmalige Prüfung bei Vertragsabschluss reicht nicht aus. Sie sollten die Due Diligence mindestens jährlich wiederholen und anlassbezogen aktualisieren — etwa bei Modellwechseln, bei Änderungen der Datenverarbeitung, nach Sicherheitsvorfällen oder bei neuen regulatorischen Anforderungen. Art. 26 Abs. 5 VO (EU) 2024/1689 verlangt ausdrücklich eine laufende Überwachung des Systems durch den Betreiber.

Gilt die Due Diligence auch für Open-Source-KI-Modelle?

Ja, aber mit anderen Schwerpunkten. Bei Open-Source-Modellen (z. B. Llama, Mistral) fällt der klassische Vendor Check weg, da kein Anbieter im traditionellen Sinne existiert. Allerdings gelten Ihre Pflichten als Betreiber nach dem AI Act unverändert. Sie müssen in diesem Fall selbst sicherstellen, dass das Modell sicher betrieben wird, und tragen die volle Verantwortung für Datenschutz, Sicherheit und Fairness. Art. 25 VO (EU) 2024/1689 enthält Sonderregelungen für frei verfügbare KI-Modelle mit allgemeinem Verwendungszweck.

---

Nächste Schritte {#naechste-schritte}

Eine strukturierte KI-Vendor Due Diligence schützt Ihr Unternehmen vor regulatorischen Risiken und bildet die Grundlage für einen verantwortungsvollen KI-Einsatz. Die gute Nachricht: Sie müssen nicht bei null anfangen.

So gehen Sie vor:

1. Bestandsaufnahme: Erstellen Sie zunächst ein KI-Inventar, um alle eingesetzten KI-Systeme und deren Anbieter zu erfassen.
2. Priorisierung: Priorisieren Sie die Due Diligence nach Risikoklasse — Hochrisiko-Systeme zuerst.
3. Checkliste anwenden: Nutzen Sie die 20-Punkte-Checkliste aus diesem Artikel für jeden Anbieter.
4. Verträge prüfen: Überprüfen Sie bestehende Verträge auf die fünf essenziellen Klauseln und verhandeln Sie bei Bedarf nach.
5. Prozess verankern: Integrieren Sie die KI-Vendor Due Diligence in Ihren standardmäßigen Beschaffungsprozess.

KI Comply unterstützt Sie dabei. Unsere Plattform hilft Ihnen, KI-Anbieter systematisch zu bewerten, Compliance-Lücken zu identifizieren und die erforderliche Dokumentation zu erstellen. Jetzt kostenlos starten und Ihre KI-Beschaffung auf ein sicheres Fundament stellen.