KI-Software einkaufen: Rechtliche Prüfung vor dem Kauf

Das Wichtigste in Kürze: Der Einkauf von KI-Software ist kein gewöhnlicher IT-Beschaffungsvorgang. Unternehmen, die KI-Systeme einsetzen, werden nach dem AI Act (VO (EU) 2024/1689) zu Betreibern mit eigenen Sorgfaltspflichten gemäß Art. 26. Gleichzeitig greifen die §§ 305-310 BGB bei der AGB-Prüfung, Art. 28 DSGVO bei der Auftragsverarbeitung und die Risikoklassifizierung nach Art. 6 AI Act. Wer KI-Software kauft, ohne diese vier Rechtsebenen systematisch zu prüfen, riskiert Bußgelder von bis zu 35 Millionen Euro (Art. 99 AI Act) und 20 Millionen Euro (Art. 83 DSGVO). Dieser Leitfaden gibt Beschaffungsteams eine vollständige Prüfstruktur an die Hand — von der ersten Bedarfsmeldung bis zur Vertragsunterschrift.

---

Inhaltsverzeichnis

1. Warum KI-Beschaffung anders ist
2. Der Rechtsrahmen im Überblick
3. Phase 1: Bedarfsermittlung und Risikoklassifizierung
4. Phase 2: Anbieter-Due-Diligence
5. Phase 3: Vertragliche Prüfung nach BGB §§ 305 ff.
6. Phase 4: DSGVO-Compliance und AVV
7. Phase 5: AI-Act-Konformitätsprüfung
8. Praxischeckliste für den KI-Einkauf
9. Typische Fehler bei der KI-Beschaffung
10. Häufig gestellte Fragen (FAQ)
11. Nächste Schritte

---

Warum KI-Beschaffung anders ist {#warum-ki-beschaffung-anders}

Der Einkauf klassischer Software folgt einem eingespielten Prozess: Anforderung, Ausschreibung, Vergleich, Verhandlung, Vertrag. Bei KI-Software kommen drei Dimensionen hinzu, die diesen Prozess grundlegend verändern.

Autonomie und Intransparenz

KI-Systeme treffen Entscheidungen, die nicht immer nachvollziehbar sind. Ein herkömmliches ERP-System gibt bei gleichen Eingaben stets das gleiche Ergebnis aus. Ein KI-gestütztes System kann bei identischen Eingaben unterschiedliche Ergebnisse liefern — abhängig von Trainingsdaten, Modellversion und Kontext. Das hat unmittelbare Konsequenzen für Haftung, Dokumentation und Qualitätssicherung.

Datenverarbeitung in neuer Dimension

KI-Systeme verarbeiten häufig große Mengen personenbezogener Daten — nicht nur zur Ausführung einer Funktion, sondern potenziell auch zum Training und zur Weiterentwicklung des Modells. Die Frage „Was passiert mit unseren Daten?" hat bei KI-Software eine völlig andere Tragweite als bei klassischer Unternehmenssoftware.

Regulatorische Mehrfachbindung

Während herkömmliche Software primär dem Vertragsrecht und ggf. dem Datenschutzrecht unterliegt, trifft KI-Software eine dreifache Regulierung: Vertragsrecht (BGB), Datenschutzrecht (DSGVO) und nun zusätzlich der AI Act (VO (EU) 2024/1689). Diese drei Rechtsschichten greifen ineinander und müssen beim Einkauf simultan berücksichtigt werden.

Praxishinweis: Unternehmen, die ihren bestehenden Software-Einkaufsprozess unverändert auf KI-Software anwenden, werden mit hoher Wahrscheinlichkeit regulatorische Lücken übersehen. Ein dedizierter KI-Beschaffungsprozess ist keine Überregulierung — er ist eine Notwendigkeit.

---

Der Rechtsrahmen im Überblick {#rechtsrahmen-ueberblick}

Bevor wir in die einzelnen Prüfphasen einsteigen, lohnt ein Blick auf die vier Rechtsgebiete, die beim KI-Einkauf zusammenwirken.

Das Zusammenspiel der Rechtsgebiete

Diese vier Rechtsgebiete sind keine isolierten Prüfungspunkte. Sie bedingen einander. Wer beispielsweise keinen ordnungsgemäßen Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO abschließt, kann gleichzeitig gegen die Sorgfaltspflichten des Art. 26 AI Act verstoßen. Und wer AGB-Klauseln ungeprüft akzeptiert, die dem Anbieter weitreichende Nutzungsrechte an eingegebenen Daten einräumen, verletzt unter Umständen sowohl Datenschutz- als auch AI-Act-Anforderungen.

Vertiefende Informationen zu den Risikoklassen finden Sie in unserem Beitrag zur KI-Risikobewertung.

---

Phase 1: Bedarfsermittlung und Risikoklassifizierung {#phase-1-bedarfsermittlung}

Jeder KI-Einkaufsprozess beginnt mit zwei grundlegenden Fragen: Was genau soll die KI tun? Und in welche Risikoklasse fällt dieser Einsatzzweck?

Einsatzzweck präzise definieren

Viele Beschaffungsvorhaben scheitern daran, dass der Einsatzzweck zu vage formuliert wird. „Wir brauchen ein KI-Tool für die Personalabteilung" reicht nicht aus. Entscheidend ist die konkrete Funktion: Soll die KI Bewerbungen vorsortieren? Soll sie Gehaltsvorschläge machen? Soll sie Mitarbeitergespräche analysieren?

Jede dieser Funktionen hat eine andere rechtliche Bewertung. Bewerbungsscreening durch KI ist ein Hochrisiko-KI-System nach Anhang III Nr. 4 VO (EU) 2024/1689. Ein KI-gestützter Chatbot für allgemeine HR-Fragen dagegen nicht.

Risikoklassifizierung nach dem AI Act

Der AI Act teilt KI-Systeme in vier Risikoklassen ein. Die Risikoklasse bestimmt, welche Pflichten Sie als Betreiber erfüllen müssen — und damit auch, welche Anforderungen Sie an den Anbieter stellen müssen.

Praxishinweis: Die Risikoklassifizierung muss vor der Anbieterauswahl erfolgen. Denn bei Hochrisiko-KI-Systemen gelten deutlich strengere Anforderungen an den Anbieter (Art. 16-25 AI Act), die Sie in Ihrer Ausschreibung berücksichtigen müssen.

Interne Stakeholder einbinden

Die Risikoklassifizierung ist keine reine Rechtsabteilungsaufgabe. Sie erfordert die Zusammenarbeit von:

• Fachabteilung: Definiert den konkreten Einsatzzweck
• IT-Abteilung: Bewertet technische Integration und Datensicherheit
• Datenschutzbeauftragter: Prüft Datenschutzrelevanz und DSFA-Pflicht
• Compliance/Rechtsabteilung: Klassifiziert nach AI Act und prüft Verträge
• Einkauf: Steuert den Beschaffungsprozess

Dokumentieren Sie die Ergebnisse dieser Phase schriftlich. Sie bilden die Grundlage für alle folgenden Prüfschritte und sind im Rahmen Ihrer KI-Dokumentationspflichten ohnehin erforderlich.

---

Phase 2: Anbieter-Due-Diligence {#phase-2-due-diligence}

Sobald der Einsatzzweck definiert und die Risikoklasse bestimmt ist, beginnt die Prüfung potenzieller Anbieter. Der AI Act macht Sie als Betreiber mitverantwortlich — eine oberflächliche Anbieterauswahl genügt nicht.

Fünf Prüfbereiche der Anbieter-Due-Diligence

Wir empfehlen, jeden potenziellen KI-Anbieter in fünf Bereichen zu prüfen:

1. AI-Act-Compliance des Anbieters

Fragen Sie nach konkreten Nachweisen:

• Liegt eine EU-Konformitätserklärung vor (bei Hochrisiko-KI)?
• Ist das System in der EU-Datenbank nach Art. 71 VO (EU) 2024/1689 registriert?
• Stellt der Anbieter technische Dokumentation nach Art. 11 bereit?
• Gibt es eine Gebrauchsanweisung nach Art. 13?

2. Datenschutz-Compliance

• Wo werden Daten verarbeitet (EU/EWR oder Drittland)?
• Werden eingegebene Daten für das Training verwendet?
• Bietet der Anbieter einen AVV nach Art. 28 DSGVO an?
• Welche Subunternehmer sind beteiligt?

3. Informationssicherheit

• Liegt eine ISO 27001-Zertifizierung vor?
• Gibt es SOC 2-Reports?
• Wie sind Verschlüsselung (at rest, in transit) und Zugriffskontrollen umgesetzt?

4. Unternehmensrisiko

• Wie stabil ist der Anbieter finanziell?
• Gibt es ein Vendor Lock-in-Risiko?
• Was passiert bei einer Insolvenz des Anbieters?

5. Ethik und Transparenz

• Sind Bias-Tests durchgeführt worden?
• Gibt es ein Model Card oder eine vergleichbare Transparenzdokumentation?
• Wie geht der Anbieter mit Beschwerden über fehlerhafte KI-Ergebnisse um?

Eine ausführliche Checkliste mit 20 konkreten Prüfpunkten finden Sie in unserem Beitrag zur KI-Vendor Due Diligence.

Informationsasymmetrie als Kernproblem

Das größte Hindernis bei der KI-Anbieter-Prüfung ist die Informationsasymmetrie. Viele Anbieter behandeln ihre Modellarchitektur, Trainingsdaten und Bewertungsmetriken als Geschäftsgeheimnisse. Das ist ihr Recht — aber es darf nicht dazu führen, dass Sie Ihre regulatorischen Pflichten nicht erfüllen können.

Rechtlicher Grundsatz: Wenn ein Anbieter Ihnen nicht die Informationen zur Verfügung stellt, die Sie zur Erfüllung Ihrer Betreiberpflichten nach Art. 26 VO (EU) 2024/1689 benötigen, sollten Sie von einem Vertragsschluss absehen. Die Verantwortung für regulatorische Compliance lässt sich nicht durch Nichtwissen abwenden.

---

Phase 3: Vertragliche Prüfung nach BGB §§ 305 ff. {#phase-3-vertragliche-pruefung}

KI-Software wird in der Regel über standardisierte Verträge (AGB) vertrieben. Hier greift das AGB-Recht der §§ 305-310 BGB — ein Rechtsgebiet, das im KI-Kontext besondere Bedeutung gewinnt.

Vertragstyp bestimmen

Die erste Frage lautet: Welcher Vertragstyp liegt vor? Das bestimmt die anwendbaren Gewährleistungsregeln.

Praxishinweis: Viele KI-Anbieter mischen diese Vertragstypen bewusst. Ein SaaS-Vertrag mit werkvertraglichen Elementen (z. B. individuellen Anpassungen) kann bei der Gewährleistung zu erheblicher Rechtsunsicherheit führen. Klären Sie den Vertragstyp vor der Unterzeichnung eindeutig.

Vertiefende Informationen zu SaaS-spezifischen Fragestellungen finden Sie in unserem Beitrag zu KI-SaaS-Verträgen.

AGB-Kontrolle: §§ 305-310 BGB

Die Allgemeinen Geschäftsbedingungen von KI-Anbietern enthalten regelmäßig Klauseln, die einer AGB-Kontrolle nicht standhalten oder zumindest kritisch zu bewerten sind. Die wichtigsten Prüfpunkte:

§ 305 Abs. 2 BGB — Einbeziehungskontrolle

AGB werden nur dann Vertragsbestandteil, wenn der Verwender bei Vertragsschluss ausdrücklich auf sie hinweist und dem Vertragspartner die Möglichkeit verschafft, in zumutbarer Weise von ihrem Inhalt Kenntnis zu nehmen. Bei internationalen KI-Anbietern stellt sich die Frage: Reicht ein Link auf englischsprachige Terms of Service?

Bei B2B-Verträgen gelten zwar weniger strenge Maßstäbe als im Verbrauchergeschäft (§ 310 Abs. 1 BGB), aber auch hier muss die Einbeziehung ordnungsgemäß erfolgen.

§ 307 BGB — Inhaltskontrolle

Auch im B2B-Bereich unterliegen AGB-Klauseln der Inhaltskontrolle nach § 307 Abs. 1, 2 BGB. Besonders kritisch bei KI-Software:

• Haftungsausschlüsse für KI-Ergebnisse: Klauseln wie „Der Anbieter übernimmt keine Gewähr für die Richtigkeit, Vollständigkeit oder Eignung der KI-Ergebnisse" sind branchenüblich, aber nicht grenzenlos wirksam. Ein vollständiger Haftungsausschluss für Vorsatz oder grobe Fahrlässigkeit ist nach § 309 Nr. 7 BGB unwirksam.

• Einseitige Änderungsvorbehalte: Viele KI-Anbieter behalten sich vor, das Modell, die Funktionalität oder die Nutzungsbedingungen jederzeit zu ändern. Derartige Klauseln können gegen § 308 Nr. 4 BGB (Änderungsvorbehalt) verstoßen, wenn dem Kunden kein Sonderkündigungsrecht eingeräumt wird.

• Trainingsklauseln: Klauseln, die dem Anbieter gestatten, eingegebene Daten zum Training des Modells zu verwenden, sind datenschutzrechtlich hochproblematisch und können auch AGB-rechtlich als überraschende Klausel nach § 305c Abs. 1 BGB unwirksam sein.

Leistungsbeschreibung als Kernthema

Bei KI-Software ist die Leistungsbeschreibung entscheidend — und zugleich das schwierigste Vertragsthema. Denn KI-Systeme liefern keine deterministischen Ergebnisse. Die Frage „Was schuldet der Anbieter genau?" lässt sich nicht mit klassischen Funktionslisten beantworten.

Achten Sie auf folgende Punkte:

• Performance-Metriken: Welche Genauigkeit (Accuracy, Precision, Recall) wird zugesagt?
• SLA-Definitionen: Verfügbarkeit, Reaktionszeiten, Eskalationsstufen
• Modellversionen: Welches Modell wird eingesetzt? Was passiert bei Updates?
• Input-/Output-Spezifikationen: Welche Datenformate werden unterstützt?
• Nutzungseinschränkungen: Welche Einsatzzwecke sind explizit ausgeschlossen?

Detaillierte Formulierungsvorschläge für Vertragsklauseln finden Sie in unserem Beitrag zu KI-Vertragsklauseln.

---

Phase 4: DSGVO-Compliance und AVV {#phase-4-dsgvo-compliance}

Die datenschutzrechtliche Prüfung gehört zu den wichtigsten Aspekten des KI-Einkaufs. Nahezu jede KI-Software verarbeitet personenbezogene Daten — sei es direkt (z. B. Kundendaten als Input) oder indirekt (z. B. Nutzungsdaten, Log-Daten).

Auftragsverarbeitung nach Art. 28 DSGVO

Wenn der KI-Anbieter personenbezogene Daten in Ihrem Auftrag und auf Ihre Weisung hin verarbeitet, ist er Auftragsverarbeiter. In diesem Fall schreibt Art. 28 Abs. 3 DSGVO zwingend einen Auftragsverarbeitungsvertrag (AVV) vor.

Art. 28 Abs. 3 DSGVO: „Die Verarbeitung durch einen Auftragsverarbeiter erfolgt auf der Grundlage eines Vertrags oder eines anderen Rechtsinstruments nach dem Unionsrecht oder dem Recht der Mitgliedstaaten, der bzw. das den Auftragsverarbeiter in Bezug auf den Verantwortlichen bindet und in dem Gegenstand und Dauer der Verarbeitung, Art und Zweck der Verarbeitung, die Art der personenbezogenen Daten, die Kategorien betroffener Personen und die Pflichten und Rechte des Verantwortlichen festgelegt sind."

Mindestinhalt eines KI-AVV

Ein AVV für KI-Software muss über die DSGVO-Mindestanforderungen hinausgehen. Folgende Punkte sind zusätzlich zu regeln:

Trainingsverbot:

Die wohl wichtigste Klausel: Der Anbieter darf die eingegebenen Daten nicht zum Training, Fine-Tuning oder zur Weiterentwicklung seiner Modelle verwenden. Fehlt eine solche Klausel, riskieren Sie einen Zweckänderungsverstoß nach Art. 5 Abs. 1 lit. b DSGVO.

Subunternehmer-Transparenz:

Art. 28 Abs. 2 DSGVO verlangt, dass der Auftragsverarbeiter nur mit vorheriger Genehmigung des Verantwortlichen weitere Auftragsverarbeiter hinzuzieht. Bei KI-Anbietern ist die Subunternehmer-Kette oft lang und intransparent (Cloud-Provider, Inference-Dienste, Monitoring-Tools). Bestehen Sie auf einer vollständigen Subunternehmer-Liste.

Drittlandtransfer:

Viele KI-Anbieter haben ihren Sitz in den USA. Ein Datentransfer in Drittländer ist nach Art. 44-49 DSGVO nur unter bestimmten Voraussetzungen zulässig. Prüfen Sie:

• Liegt ein Angemessenheitsbeschluss vor (z. B. EU-US Data Privacy Framework)?
• Sind Standardvertragsklauseln (SCCs) abgeschlossen?
• Wurde ein Transfer Impact Assessment (TIA) durchgeführt?

Löschkonzept:

Was passiert mit Ihren Daten nach Vertragsende? Bei KI-Systemen ist diese Frage besonders komplex, da Daten möglicherweise in Modellgewichte „eingeflossen" sind. Fordern Sie eine klare Zusage zur Löschung aller Input-Daten, Output-Daten und abgeleiteten Daten.

Einen vollständigen Leitfaden zur AVV-Gestaltung finden Sie in unserem Beitrag zu AVV für KI-Dienste.

DSFA-Pflicht prüfen

Art. 35 Abs. 1 DSGVO schreibt eine Datenschutz-Folgenabschätzung (DSFA) vor, wenn die Verarbeitung „voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge" hat. Bei KI-Systemen ist das regelmäßig der Fall, insbesondere bei:

• Systematischer Bewertung persönlicher Aspekte (Profiling)
• Verarbeitung besonderer Datenkategorien (Art. 9 DSGVO)
• Umfangreicher Überwachung öffentlich zugänglicher Bereiche
• Automatisierten Einzelentscheidungen nach Art. 22 DSGVO

Praxishinweis: Führen Sie die DSFA vor dem Go-Live durch, idealerweise bereits in der Beschaffungsphase. Die Ergebnisse der DSFA können Einfluss auf die Anbieterauswahl und die Vertragsgestaltung haben.

---

Phase 5: AI-Act-Konformitätsprüfung {#phase-5-ai-act-konformitaet}

Mit dem AI Act kommt eine zusätzliche regulatorische Schicht hinzu, die speziell auf KI-Systeme zugeschnitten ist. Als Betreiber müssen Sie sicherstellen, dass sowohl der Anbieter als auch Sie selbst die Anforderungen der VO (EU) 2024/1689 erfüllen.

Pflichten des Anbieters (Art. 16-25)

Prüfen Sie, ob der Anbieter seine Pflichten nach dem AI Act erfüllt. Bei Hochrisiko-KI-Systemen muss der Anbieter unter anderem:

• Ein Risikomanagementsystem nach Art. 9 einrichten
• Anforderungen an Daten und Daten-Governance nach Art. 10 erfüllen
• Technische Dokumentation nach Art. 11 erstellen
• Eine automatische Protokollierung nach Art. 12 implementieren
• Transparenz und Informationspflichten nach Art. 13 erfüllen
• Menschliche Aufsicht nach Art. 14 ermöglichen
• Genauigkeit, Robustheit und Cybersicherheit nach Art. 15 gewährleisten
• Eine Konformitätsbewertung nach Art. 43 durchführen lassen

Ihre Pflichten als Betreiber (Art. 26)

Art. 26 VO (EU) 2024/1689 begründet eigenständige Betreiberpflichten:

1. Bestimmungsgemäße Verwendung (Abs. 1): Nutzung gemäß Gebrauchsanweisung
2. Menschliche Aufsicht (Abs. 2): Benennung kompetenter natürlicher Personen
3. Input-Datenqualität (Abs. 4): Sicherstellung der Relevanz der Eingabedaten
4. Überwachung (Abs. 5): Monitoring des KI-Systems im Betrieb
5. Meldepflichten (Abs. 5): Information des Anbieters bei Risiken oder schwerwiegenden Vorfällen
6. DSFA-Durchführung (Abs. 9): Datenschutz-Folgenabschätzung bei Hochrisiko-KI
7. Aufbewahrung (Abs. 6): Protokolle mindestens sechs Monate aufbewahren

Konformitätsnachweis des Anbieters verlangen

Fordern Sie vom Anbieter die folgenden Dokumente an und prüfen Sie diese vor der Vertragsunterschrift:

• EU-Konformitätserklärung nach Art. 47 VO (EU) 2024/1689
• Technische Dokumentation nach Anhang IV
• Gebrauchsanweisung nach Art. 13
• Registrierung in der EU-Datenbank nach Art. 71
• CE-Kennzeichnung nach Art. 48 (soweit einschlägig)

Wichtig: Der AI Act verpflichtet Betreiber in Art. 26 Abs. 1, das KI-System gemäß der beigefügten Gebrauchsanweisung zu nutzen. Wenn der Anbieter keine Gebrauchsanweisung liefert, können Sie diese Pflicht nicht erfüllen. Nehmen Sie deshalb die Bereitstellung der Gebrauchsanweisung als vertragliche Leistungspflicht in den Vertrag auf.

Weitere Details zur AI-Act-Konformitätsprüfung finden Sie in unserem Beitrag zum AI Act Readiness Assessment.

---

Praxischeckliste für den KI-Einkauf {#praxischeckliste}

Die folgende Checkliste fasst alle Prüfschritte zusammen. Nutzen Sie sie als Arbeitswerkzeug für Ihr Beschaffungsteam.

Phase 1: Vorbereitung

• Einsatzzweck präzise dokumentiert
• Betroffene Datenarten identifiziert (personenbezogen/nicht personenbezogen)
• Risikoklasse nach AI Act bestimmt (verboten/hoch/begrenzt/minimal)
• Interne Stakeholder identifiziert und eingebunden
• Budget für rechtliche Prüfung eingeplant
• DSFA-Erforderlichkeit geprüft

Phase 2: Anbieterauswahl

• Mindestens 3 Anbieter verglichen
• AI-Act-Konformitätsnachweise angefordert
• Datenschutz-Dokumentation geprüft (AVV, TOM, Subunternehmer)
• Sicherheitszertifizierungen geprüft (ISO 27001, SOC 2)
• Referenzen und Bewertungen eingeholt
• Finanzielle Stabilität des Anbieters geprüft

Phase 3: Vertragsprüfung

• Vertragstyp eindeutig bestimmt
• AGB auf unzulässige Klauseln geprüft (§§ 305-310 BGB)
• Leistungsbeschreibung mit messbaren Kriterien
• SLA mit konkreten Verfügbarkeitsgarantien
• Haftungsregelung geprüft und ggf. nachverhandelt
• Änderungsvorbehalte mit Sonderkündigungsrecht verknüpft
• Exit-Klausel mit Datenportabilität und Migrationsfrist
• Trainingsverbot für eingegebene Daten verankert

Phase 4: Datenschutz

• AVV nach Art. 28 DSGVO abgeschlossen
• Subunternehmer-Liste vollständig und aktuell
• Drittlandtransfer zulässig (Angemessenheitsbeschluss, SCCs, TIA)
• Löschkonzept für Vertragsende vereinbart
• DSFA durchgeführt (falls erforderlich)
• Verarbeitungsverzeichnis aktualisiert

Phase 5: AI-Act-Compliance

• EU-Konformitätserklärung liegt vor (bei Hochrisiko-KI)
• Gebrauchsanweisung erhalten und geprüft
• Technische Dokumentation erhalten
• Registrierung in EU-Datenbank verifiziert (bei Hochrisiko-KI)
• Menschliche Aufsicht organisiert (kompetente Personen benannt)
• Monitoring-Prozess definiert
• Meldeprozess für Vorfälle eingerichtet

Phase 6: Go-Live

• Pilotphase mit begrenztem Nutzerkreis durchgeführt
• Ergebnisqualität getestet und dokumentiert
• Mitarbeiter geschult (Art. 4 VO (EU) 2024/1689 — KI-Kompetenzpflicht)
• Interne Richtlinie für die Nutzung erstellt
• Kennzeichnungspflichten umgesetzt (Art. 50 AI Act)
• Alle Prüfergebnisse zentral dokumentiert und archiviert

---

Typische Fehler bei der KI-Beschaffung {#typische-fehler}

Aus der Beratungspraxis kennen wir wiederkehrende Fehler, die Unternehmen beim KI-Einkauf machen. Die folgenden zehn Fehler sind besonders verbreitet — und besonders riskant.

Fehler 1: AGB ungeprüft akzeptieren

Internationale KI-Anbieter präsentieren ihre Terms of Service als nicht verhandelbar. Viele Unternehmen akzeptieren sie deshalb ohne Prüfung. Das ist gefährlich, denn Standard-AGB von KI-Anbietern enthalten regelmäßig Klauseln, die nach deutschem Recht unwirksam sein können (§ 307 BGB) oder gegen die DSGVO verstoßen.

Fehler 2: Risikoklasse nicht bestimmen

Wer die Risikoklasse nach dem AI Act nicht vor dem Einkauf bestimmt, kann die daraus resultierenden Pflichten nicht erfüllen. Im schlimmsten Fall kaufen Sie ein Hochrisiko-KI-System ein, ohne die nach Art. 26 erforderliche Infrastruktur (Überwachung, menschliche Aufsicht, Dokumentation) aufgebaut zu haben.

Fehler 3: AVV fehlt oder ist unvollständig

Ein fehlender oder unvollständiger AVV ist einer der häufigsten DSGVO-Verstöße im KI-Bereich. Besonders kritisch: Viele Anbieter liefern zwar einen AVV, aber ohne Regelung zur Trainingsverwendung der Daten.

Fehler 4: Drittlandtransfer ignorieren

Die meisten führenden KI-Anbieter sitzen in den USA. Ein Datentransfer ohne ausreichende Schutzmaßnahmen nach Art. 44-49 DSGVO kann empfindliche Bußgelder auslösen. Prüfen Sie für jeden Anbieter die Transfer-Grundlage.

Fehler 5: Keine Exit-Strategie

KI-Software schafft Abhängigkeiten — durch proprietäre Datenformate, antrainierte Modelle und Integrationskomplexität. Wer keine Exit-Klausel mit Datenportabilität und angemessener Migrationsfrist verhandelt, sitzt in der Vendor-Lock-in-Falle.

Fehler 6: Leistungsbeschreibung zu vage

„State-of-the-art KI-Ergebnisse" ist keine Leistungsbeschreibung. Ohne messbare Performance-Kriterien haben Sie bei Schlechtleistung keine vertragliche Handhabe.

Fehler 7: Modellwechsel nicht geregelt

KI-Anbieter aktualisieren ihre Modelle regelmäßig. Was passiert, wenn ein Modellwechsel die Ergebnisqualität verschlechtert oder das Compliance-Profil verändert? Ohne vertragliche Regelung haben Sie keinen Anspruch auf Beibehaltung der bisherigen Modellversion.

Fehler 8: KI-Kompetenz der Mitarbeiter vergessen

Art. 4 VO (EU) 2024/1689 verpflichtet Betreiber, für eine ausreichende KI-Kompetenz ihres Personals zu sorgen. Das bedeutet: Sie müssen nicht nur die Software einkaufen, sondern auch Schulungen für die Nutzer einplanen. Weitere Informationen dazu finden Sie in unserem Beitrag zu KI-Lizenzen und Nutzungsrechten.

Fehler 9: Einkauf ohne Datenschutzbeauftragten

Der betriebliche Datenschutzbeauftragte muss nach Art. 39 DSGVO in alle Fragen eingebunden werden, die die Verarbeitung personenbezogener Daten betreffen. Ein KI-Einkauf ohne DSB-Beteiligung ist ein Compliance-Versäumnis.

Fehler 10: Keine laufende Überwachung nach dem Kauf

Die rechtliche Prüfung endet nicht mit der Vertragsunterschrift. Art. 26 Abs. 5 AI Act und Art. 28 Abs. 3 lit. h DSGVO verlangen eine laufende Überwachung des KI-Anbieters und seines Systems. Planen Sie bereits beim Einkauf Ressourcen für das fortlaufende Monitoring ein.

---

Häufig gestellte Fragen (FAQ) {#faq}

Brauche ich für jede KI-Software einen eigenen Beschaffungsprozess?

Nein, aber Sie brauchen einen Prozess, der die KI-spezifischen Prüfschritte enthält. Ein pragmatischer Ansatz: Erweitern Sie Ihren bestehenden Software-Einkaufsprozess um die fünf Prüfphasen dieses Leitfadens. Bei Hochrisiko-KI-Systemen empfehlen wir zusätzlich eine vertiefte rechtliche Einzelfallprüfung. Bei Systemen mit minimalem Risiko (z. B. einfache Textvorschläge) genügt eine vereinfachte Prüfung. Entscheidend ist die Risikoklassifizierung als erster Schritt.

Kann ich die rechtliche Prüfung an den KI-Anbieter delegieren?

Nein. Als Betreiber tragen Sie eine eigenständige Verantwortung nach Art. 26 AI Act und als Verantwortlicher nach der DSGVO. Sie können sich nicht darauf berufen, dass der Anbieter die Compliance zugesichert hat. Das gilt insbesondere für die Risikoklassifizierung, die DSFA und die Prüfung des AVV. Sie dürfen selbstverständlich externe Berater oder Kanzleien mit der Prüfung beauftragen — aber die Verantwortung bleibt bei Ihnen.

Was kostet die rechtliche Prüfung beim KI-Einkauf?

Die Kosten variieren stark je nach Risikoklasse und Komplexität. Für eine vollständige rechtliche Prüfung eines Hochrisiko-KI-Systems sollten Unternehmen mit 5.000 bis 25.000 Euro rechnen (externe Rechtsberatung inklusive DSFA). Bei Systemen mit begrenztem Risiko liegen die Kosten deutlich niedriger. Bedenken Sie: Die Kosten einer Prüfung sind ein Bruchteil der möglichen Bußgelder. Allein ein DSGVO-Verstoß kann bis zu 20 Millionen Euro kosten. Weiterführende Informationen finden Sie in unserem Beitrag zu KI-Compliance-Kosten.

Gilt der AI Act auch für KI-Software aus den USA?

Ja. Der AI Act gilt nach dem Marktortprinzip (Art. 2 VO (EU) 2024/1689). Jeder Anbieter, der KI-Systeme in der EU in Verkehr bringt oder in Betrieb nimmt, muss die Anforderungen erfüllen — unabhängig von seinem Sitz. Und als Betreiber in der EU gelten Ihre Pflichten ohnehin, egal woher die Software stammt. Achten Sie besonders darauf, ob US-Anbieter einen bevollmächtigten Vertreter in der EU benannt haben (Art. 22 VO (EU) 2024/1689).

Muss der Betriebsrat beim KI-Einkauf einbezogen werden?

In vielen Fällen ja. Nach § 87 Abs. 1 Nr. 6 BetrVG hat der Betriebsrat ein Mitbestimmungsrecht bei der „Einführung und Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen." KI-Systeme, die Mitarbeiterdaten verarbeiten oder deren Leistung bewerten, fallen regelmäßig unter dieses Mitbestimmungsrecht. Binden Sie den Betriebsrat frühzeitig ein — idealerweise bereits in der Bedarfsermittlungsphase.

---

Nächste Schritte {#naechste-schritte}

Der Einkauf von KI-Software ist ein rechtlich anspruchsvoller Prozess, der Expertise aus mehreren Disziplinen erfordert. Die gute Nachricht: Mit einer strukturierten Vorgehensweise und den richtigen Prüfwerkzeugen lässt sich der Prozess beherrschen.

Empfohlene nächste Schritte:

1. Bestandsaufnahme: Prüfen Sie, ob bereits KI-Software im Unternehmen eingesetzt wird, die den Prüfprozess noch nicht durchlaufen hat. Unser Leitfaden zum KI-Inventar hilft Ihnen dabei.

2. Prozess etablieren: Integrieren Sie die fünf Prüfphasen aus diesem Leitfaden in Ihren bestehenden Einkaufsprozess.

3. Checkliste anpassen: Nutzen Sie die obige Checkliste als Ausgangspunkt und passen Sie sie an Ihre Branche und Unternehmensgröße an.

4. Schulung: Stellen Sie sicher, dass Ihr Einkaufsteam die Grundlagen des AI Act und der DSGVO im KI-Kontext kennt.

5. Vorlagen erstellen: Entwickeln Sie standardisierte Vorlagen für AVV, Anforderungskataloge und Bewertungsbögen.

Der KI-Markt entwickelt sich rasant weiter — und mit ihm die regulatorischen Anforderungen. Ein heute aufgesetzter Beschaffungsprozess muss regelmäßig überprüft und angepasst werden. Aber der erste Schritt ist der wichtigste: Erkennen Sie, dass KI-Einkauf kein Business-as-usual ist, und handeln Sie entsprechend.

---

Dieser Beitrag dient der allgemeinen Information und stellt keine Rechtsberatung dar. Für eine rechtliche Bewertung Ihres konkreten Beschaffungsvorhabens wenden Sie sich bitte an eine spezialisierte Kanzlei oder kontaktieren Sie unser Team.