Die KI-VO schreibt Betreibern von Hochrisiko-KI insgesamt 17 Pflichten vor. Ein großer Teil entfällt dabei auf jene Prozesse, in denen Informationen über den KI-Einsatz an externe oder interne Stakeholder überliefert werden müssen.

• Mitarbeiterinformation (Art. 26 Abs. 7)
• Betroffeneninformation (Art. 26 Abs. 11 & Art. 86)
• Post-Market Surveillance* (Art. 26 Abs. 5)
• Vorfallmeldung* (Art. 26 Abs. 5, 73, 79)
• Betriebsanleitung* als zentrale Informationsquelle (Art. 13)

* Hinweis: In diesem Leitfaden sind „Informationspflichten” bewusst breit ausgelegt, um umfassend aufzuzeigen, an wen Betreiber von Hochrisiko-KI-Systemen Informationen übermitteln müssen. 

Das folgende Diagramm zeigt das Zusammenspiel von Anbieter, Betreiber, Betroffenen, Mitarbeitenden und Behörden in Hinblick auf die Informationspflichten:

Die Betriebsanleitung stellt das zentrale Informationspaket des Anbieters dar. Sie ist Voraussetzung dafür, dass Betreiber ihre gesetzlichen Pflichten erfüllen können.

Die Betriebsanleitung definiert Zweckbestimmung, Leistungsfähigkeit und Einsatzgrenzen des KI-Systems und bildet damit die Grundlage für die Bewertung von Risiken und Fehlanwendungen. Ohne diese Informationen ist z. B. das Recht auf Erläuterung (Art. 86) nicht erfüllbar.

Arbeitgeber müssen Mitarbeitende nach Art. 26 Abs. 7 AI Act informieren, bevor ein Hochrisiko-KI-System erstmals eingesetzt wird.

Die Information muss mindestens enthalten:

• Einsatz des KI-Systems
• Zweck und betroffene Prozesse / Entscheidungen
• Rollen / Personengruppen, die betroffen sind
• Hinweis, dass Mitarbeitende der Verwendung des Systems unterliegen

Der Adressatenkreis für die Mitarbeiterinformation ist in Art. 26 Abs. 7 („Hochrisiko-KI‑Systems am Arbeitsplatz”) relativ vage formuliert. 

Unter diese Regelung fallen können demnach Mitarbeitende, die:

• selbst das Hochrisiko-KI-System nutzen,
• vom Hochrisiko-KI-System bewertet, überwacht oder gesteuert werden,
• in Prozessen arbeiten, die durch ein Hochrisiko-KI-System beeinflusst werden.

Die Information muss bereits vor dem erstmaligen Einsatz des Hochrisiko-KI-Systems erfolgen.

Die Art und Weise der Information ist laut KI-VO im Einklang mit den Vorschriften und Gepflogenheiten in Bezug auf die Unterrichtung der Arbeitnehmer und ihrer Vertreter durchzuführen. 

Dabei sollte der Betriebsrat frühzeitig einbezogen werden. Beachten Sie dabei mögliche Mitbestimmungstatbestände (u. a. §87 Abs. 1 Nr. 6 BetrVG sowie §90 BetrVG).

In jedem Fall müssen vorab geeignete Kommunikationskanäle gewählt werden, wie Rundschreiben oder interne Wissensplattformen.

Betroffene müssen über den Einsatz eines Hochrisiko-KI-Systems informiert werden, wenn es aktiv an einer Entscheidung mitwirkt, die sie betrifft.

In Art. 26 Abs. 11 des AI Act ist geregelt, dass natürliche Personen, die direkt oder indirekt der Entscheidung von einem Hochrisiko-KI-System unterliegen, darüber informiert werden müssen.

Betroffene Personen können in dem Fall also Mitarbeitende, Bewerbende oder auch Kunden sein. 

Grundsätzlich ist es jede Person, die

• durch ein Hochrisiko-KI-System bewertet, überwacht oder gesteuert wird
• von einer Entscheidung, bei der ein Hochrisiko-KI-System unterstützt hat, betroffen ist. 

Wichtig:
Eine Betroffenheit liegt auch dann vor, wenn das KI-System den Entscheidungsprozess lediglich unterstützt und nicht nur bei vollautomatisierten Entscheidungen.

Eine Information an Betroffene muss nach ErwG 93 KI-VO mindestens folgende Angaben enthalten:

• Einsatz des Hochrisiko-KI-Systems
• Zweckbestimmung
• Art der getroffenen Entscheidung
• Hinweis auf das Recht auf Erläuterung nach Art. 86 KI-VO

Sowohl der Zeitpunkt als auch die Ausgestaltung der Betroffeneninformation ist im AI Act nicht im Detail geregelt. Im Hinblick auf den Zeitpunkt  der Information empfehlen wir die zwei folgenden Ansätze: 

• vor dem Einsatz des Hochrisiko-KI-Systems 
• bei der Übermittlung der Entscheidung, bei der das Hochrisiko-KI-System mitgewirkt hat

Was die Art und Weise der Information betrifft, sollten Sie als Betreiber eine transparente und leicht zugängliche Form wählen, beispielsweise: 

• Hinweis im Formular
• Anhang zur Datenschutzerklärung
• „KI-Erklärung” oder „KI-Trust-Center”

Betroffene haben nach Art. 86 KI-VO Anspruch auf eine klare und verständliche Erklärung, wenn ein Hochrisiko-KI-System an einer Entscheidung mitgewirkt hat. Betreiber müssen erläutern, welche Rolle die KI im Entscheidungsprozess gespielt hat und welche Faktoren das Ergebnis wesentlich beeinflusst haben. 

Dazu zählen unter anderem

• die Funktion der KI im Entscheidungsablauf
• die wichtigsten Entscheidungsfaktoren wie Matching-Kriterien oder Scoring-Werte

Die erforderlichen Informationen müssen in der Betriebsanleitung des Anbieters beschrieben sein, damit Betreiber sie gegenüber Betroffenen korrekt darstellen können. Erwägungsgrund 171 KI-VO verlangt, dass die Erklärung klar, aussagekräftig und verständlich formuliert wird, damit Betroffene ihre Rechte wirksam nutzen können. 

In der Praxis werden oft zusätzlich datenschutzrechtliche Betroffenenrechte relevant, zum Beispiel

• Auskunft nach Art. 15 DSGVO
• Berichtigung nach Art. 16 DSGVO
• Widerspruch nach Art. 21 DSGVO
• Rechte im Zusammenhang mit automatisierten Entscheidungen nach Art. 22 DSGVO

Betreiber sollten deshalb ihre bestehenden Datenschutzprozesse um KI-spezifische Anforderungen erweitern und sicherstellen, dass sie Anfragen zeitnah und konsistent beantworten können.

Die Marktüberwachung ist keine klassische Informationspflicht, sondern eine Überwachungspflicht. Sie beschreibt nach KI-VO Art. 26 Abs. 5 Satz 1 eine Informationspflicht des Betreibers an den Anbieter mit Verweis auf Art. 72 KI-VO.

Obwohl Art. 72 grundsätzlich als Anbieterpflicht gilt, ist darin geregelt, dass Daten zur Leistung des Hochrisiko-KI-Systems u.a. vom Betreiber erhoben werden können, um die Pflichten zur Beobachtung nach dem Inverkehrbringen zu erfüllen.

Welche Daten der Betreiber an den Anbieter übermittelt, legt die Betriebsanleitung fest. 

Wichtige Fragen für den Betreiber sind dabei:

• Welche Daten erhebt der Anbieter automatisch?
• Welche Daten muss der Betreiber liefern (z. B. Labels, Feedback, Prozessdaten)?
• Welche KPIs (Genauigkeit, Bias, Ausfallraten) müssen regelmäßig geprüft werden?
• Welche vertragliche Ausgestaltung benötigt es hierfür (z. B. Auftragsverarbeitungsvertrag für personenbezogene Daten)?

Die KI-VO definiert zwei Meldearten, die wir im folgenden detailliert aufschlüsseln:

Gemäß Art. 26 Abs. 5 Satz 2 KI-VO muss der Betreiber den Anbieter und die Marktüberwachungsbehörde unverzüglich informieren, wenn die Nutzung gemäß Betriebsanleitung zu einem Risiko nach Art. 79 Abs. 1 KI-VO führen kann.

Dabei nutzt die KI-VO die Definition von Art. 3 Nr. 19 der Verordnung über Marktüberwachung und die Konformität von Produkten. Danach liegt ein Risiko vor, wenn eine potenzielle Beeinträchtigung in einem der folgenden Bereiche droht:

• Gesundheit und Sicherheit von Personen und am Arbeitsplatz
• Verbraucher- und Umweltschutz sowie öffentliche Sicherheit
• Öffentliche Interessen, die durch harmonisierte EU-Vorschriften geschützt werden

Ein Risiko besteht dann, wenn die mögliche Beeinträchtigung in keinem angemessenen Verhältnis zur Zweckbestimmung des Systems steht.

Die dafür notwendige Risikoabwägung ist nicht ausdrücklich als Betreiberpflicht definiert und wird in der Praxis voraussichtlich noch durch behördliche Leitlinien konkretisiert. Relevant ist vor allem, dass das Vorliegen eines Risikos nach Art. 79 KI-VO dazu führt, dass der Betreiber die Nutzung des Hochrisiko-KI-Systems sofort aussetzen muss.

Stellt der Betreiber einen schwerwiegenden Vorfall fest oder erkennt er einen kausalen Zusammenhang zwischen dem Hochrisiko-KI-System und einem solchen Vorfall, muss er den Anbieter und die Marktüberwachungsbehörde informieren.

Art. 3 Nr. 49 KI-VO definiert vier Kategorien schwerwiegender Vorfälle:

• Tod oder schwere gesundheitliche Schäden
• Störung der Verwaltung oder kritischer Infrastrukturen
• (schwere) Grundrechtsverletzungen
• schwere Sach- oder Umweltschäden

Für diese Meldungen gelten unterschiedliche Fristen: 

• 15 Tage bei Grundrechtsverletzungen sowie bei Sach- oder Umweltschäden
• 10 Tage bei Todesfällen oder schweren gesundheitlichen Schäden
• 2 Tage bei Störungen der Verwaltung oder kritischer Infrastruktur

Bestimmte Hochrisiko-KI-Systeme sind von dieser Meldepflicht ausgenommen, wenn für sie bereits gleichwertige Meldepflichten nach anderen EU-Rechtsvorschriften bestehen, zum Beispiel bei Medizinprodukten.

Wichtig:
Die Verantwortung für die Meldung liegt sowohl beim Anbieter als auch beim Betreiber. Art. 26 Abs. 5 Satz 4 KI-VO regelt außerdem, dass sämtliche Pflichten aus Art. 73 KI-VO auf den Betreiber übergehen, wenn der Anbieter nicht erreichbar ist. Betreiber sollten daher sicherstellen, dass der Anbieter klare Prozesse und Reaktionszeiten für Vorfälle garantieren kann.

Für eine präzise Einordnung der Meldepflichten empfiehlt sich ein Blick in den aktuellen Entwurf der Entwurf der Leitlinie der EU-Kommission zur Meldung schwerwiegender KI-Vorfälle.

Informationspflichten gehören zu den grundlegenden Betreiberpflichten der KI-VO. Entscheidend ist jedoch, frühzeitig klare Prozesse zu etablieren, interne Verantwortlichkeiten festzulegen und eine enge Zusammenarbeit mit dem Anbieter sicherzustellen. Neben der Betriebsanleitung spielt insbesondere die Pflege des internen AI Use Case Registers eine wesentliche Rolle, um daraus entsprechende Informationspflichten konsistent ableiten zu können.

Zur strukturierten Umsetzung der Informationspflichten haben wir eine praxisorientierte Excel-Arbeitshilfe entwickelt. Sie enthält kompakte Beschreibungen operativer Aufgaben und dient als praktische Grundlage für Ihre AI-Compliance.

Tipp:
Die AI Governance Plattform von caralegal unterstützt Betreiber zusätzlich dabei, KI-Compliance softwaregestützt zu steuern und Synergien mit bestehenden Datenschutzprozessen zu nutzen.