Alle 17 Pflichten für Betreiber von Hochrisiko-KI-Systemen gemäß KI-VO

Die KI-Verordnung unterscheidet grundsätzlich vier Risikoklassen. Dabei umfassen Hochrisiko-KI-Systeme jene KI-Anwendungen, die erhebliche Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte haben können.

Laut Artikel 6 KI-VO gelten Systeme als hochriskant, wenn sie

• einem der EU-Harmonisierungsrechtsakte unterliegen (Anhang I), oder
• in einem der im Anhang III genannten Einsatzbereiche verwendet werden.

Das betrifft beispielsweise Anwendungen zur Auswahl oder Bewertung von Bewerberinnen und Bewerbern, Systeme zur Bonitätsprüfung oder KI, die in kritischen Infrastrukturen eingesetzt wird.

Eine ausführliche Übersicht der Risikokategorien finden Sie in unserem Beitrag zur Risikoklassifizierung nach der KI-Verordnung.

Ob eine KI-Anwendung für einen Betreiber in den Anwendungsbereich der Hochrisiko-KI fällt, hängt von einer juristischen Bewertung anhand mehrerer Kriterien ab.

Folgende Fragen helfen bei der Einordnung:

• Wird das KI-System als Produkt oder sicherheitsrelevanter Bestandteil eines Produkts eingesetzt, das einer EU-Konformitätsbewertung nach Anhang I unterliegt?
• Fällt die Anwendung in eines der in Anhang III der KI-Verordnung definierten Einsatzfelder, zum Beispiel Beschäftigung, Bildung, kritische Infrastruktur oder Kreditwürdigkeit?
• Greifen Ausnahmen oder Rückausnahmen gemäß Artikel 6 Absatz 2 KI-VO?

Nicht jede KI-Anwendung innerhalb eines Hochrisikobereichs ist automatisch ein Hochrisiko-System. Die KI-Verordnung sieht unter bestimmten Umständen Ausnahmen vor, wenn das Risiko als gering eingestuft werden kann.

Nach Artikel 6 Absatz 3 KI-VO kann ein KI-System dann als nicht hochriskant eingestuft werden, wenn es kein signifikantes Risiko darstellt. Das ist insbesondere dann der Fall, wenn das System im Einzelfall keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung hat.

Mindestens eines der folgenden Kriterien muss erfüllt sein:

• Die KI übernimmt eine eng gefasste Verfahrensaufgabe, ohne die Gesamtsystementscheidung zu beeinflussen.
• Die KI verbessert Ergebnisse von zuvor abgeschlossenen menschlichen Tätigkeiten, etwa durch Datenaggregation oder Fehlerprüfung.
• Die KI dient lediglich der Erkennung von Entscheidungen oder Ausreißern, ersetzt jedoch keine menschliche Beurteilung.
• Die KI wird für vorbereitende Aufgaben eingesetzt, beispielsweise zur Informationssortierung oder zur automatischen Klassifizierung ohne unmittelbare Entscheidungsauswirkung.

Diese klaren Kriterien sollen verhindern, dass Unternehmen unverhältnismäßig belastet werden, wenn ihre KI-Systeme nur unterstützende Funktionen erfüllen. Gleichzeitig verpflichtet die KI-VO dazu, diese Abgrenzung transparent und nachvollziehbar zu dokumentieren – insbesondere im Fall von Systemen, die potenziell mehrere Funktionen erfüllen oder in unterschiedlichen Bereichen eingesetzt werden.

Führt die Anwendung jedoch Profiling oder automatisierte Bewertungen durch, liegt in der Regel eine Rückausnahme vor, wodurch die Anwendung dann doch als Hochrisiko-KI gilt.

Diese Bewertung ist stark kontextabhängig. Unternehmen sollten sie sorgfältig dokumentieren und regelmäßig überprüfen, ob sich neue Anwendungsfälle oder Nutzungskontexte ergeben haben, die eine Neubewertung erfordern.

Die KI-Verordnung definiert verschiedene Akteursrollen – darunter Anbieter, Händler, Einführer und Betreiber. Die Zuordnung zu einer Rolle ist entscheidend, weil jede mit unterschiedlichen Pflichten verbunden ist.

Als Betreiber gilt jede natürliche oder juristische Person, die ein KI-System in eigener Verantwortung verwendet, sofern dies nicht ausschließlich für den persönlichen Gebrauch geschieht (Art. 3 Nr. 4 KI-VO).

Praktisches Beispiel:

• Das Unternehmen „B“ nutzt ein KI-gestütztes Bewerber-Screening-Tool, das von einem externen Anbieter bereitgestellt wird.
• „B“ verwendet das Tool im eigenen Recruiting-Prozess, ohne das zugrunde liegende Modell zu verändern.
• „B“ ist in diesem Fall rechtlich als Betreiber zu qualifizieren.

Weitere Beispiele für Rollen und ihre Abgrenzung haben wir im Webinar „Die Rollen im AI Act verstehen und KI-Assets identifizieren“ ausführlich erläutert. Die Aufzeichnung dieses Webinars steht Ihnen kostenfrei hier zur Verfügung.

Betreiber unterliegen einer Vielzahl an organisatorischen, technischen und dokumentarischen Pflichten. Sie lassen sich in fünf Kategorien gliedern:

1. KI-Kompetenz sicherstellen: Alle Mitarbeitenden, die mit KI-Systemen arbeiten, müssen über ausreichendes Wissen zur sicheren Nutzung verfügen (Art. 4 KI-VO). Dafür empfiehlt sich ein Schulungskonzept für KI-Kompetenz.
2. Training von Aufsichtspersonen: Personen, die die menschliche Aufsicht übernehmen, benötigen gezielte Schulungen und Befugnisse (Art. 26 Abs. 2 KI-VO).

3. Technische und organisatorische Maßnahmen zur Einhaltung der Betriebsanleitung setzen: Die Verwendung muss gemäß den Vorgaben des Anbieters erfolgen (Art. 26 Abs. 1).
4. Menschliche Aufsicht: Aufsicht und Kontrolle müssen durch qualifizierte Personen ausgeübt werden. Diese müssen über die notwendigen Befugnisse im Unternehmen verfügen. (Art. 26 Abs. 2, Art. 14 Abs. 3 lit. b).
5. Eingabedaten prüfen: Die Daten müssen zweckkonform, vollständig und repräsentativ sein (Art. 26 Abs. 4).
6. Betriebsüberwachung: Der laufende Betrieb ist kontinuierlich zu überwachen, um Risiken frühzeitig zu erkennen (Art. 26 Abs. 5, ErwGr. 91).
7. Aussetzung des Betriebs bei Risiko: Bei Verdacht auf ein erhebliches Risiko im Sinne von Art. 79 Abs. 1 muss der Betrieb eingestellt werden (Art. 26 Abs. 5 S. 2).

8. Gegenüber dem Anbieter: Betreiber müssen sicherheitsrelevante Beobachtungen an den Anbieter weitergeben (Art. 26 Abs. 5 i.V.m. Art. 72).
9. Gegenüber Mitarbeitenden: Beschäftigte sind über den Einsatz von KI-Systemen zu informieren (Art. 26 Abs. 7, ErwGr. 93).
10. Gegenüber Betroffenen: Personen, deren Daten oder Entscheidungen betroffen sind, müssen über den KI-Einsatz informiert werden (Art. 26 Abs. 11, ErwGr. 93, 171).
11. Bei Vorfällen: Schwerwiegende Störungen oder Risiken müssen unverzüglich an Anbieter, Händler und Behörden gemeldet werden (Art. 26 Abs. 5).
12. Behördenkooperation: Betreiber sind verpflichtet, mit Aufsichtsbehörden aktiv zusammenzuarbeiten (Art. 26 Abs. 12).

Hinweis: Die Punkte 14 bis 17 gelten nur unter den darin beschriebenen bestimmten Umständen.

13. Protokollierung: Automatisch erzeugte Systemprotokolle müssen mindestens sechs Monate aufbewahrt werden (Art. 26 Abs. 6).
14. Datenschutz-Folgenabschätzung: Bei Verarbeitung personenbezogener Daten kann eine DSFA erforderlich sein (Art. 26 Abs. 9).
15. Grundrechte-Folgenabschätzung (GRFA): In bestimmten Fällen ist zusätzlich eine Grundrechte-Folgenabschätzung durchzuführen (Art. 27). Diese Pflicht gilt nur für folgende Betreibergruppen:
    1. Einrichtungen des öffentlichen Rechts
    2. Private Einrichtungen, die öffentliche Dienste erbringen
    3. Betreiber, die ein KI-System zur Kreditwürdigkeits- oder Bonitätsprüfung natürlicher Personen einsetzen
    4. Betreiber, die KI-Systeme zur Risikobewertung oder Preisbildung bei Lebens- oder Krankenversicherungen für natürliche Personen verwenden
16. Mitteilungspflichten für GRFA: Ergebnisse dieser Analysen sind an Marktüberwachungsbehörden zu übermitteln (Art. 27 Abs. 3).
17. Registrierungspflicht in der EU-Datenbank: Behörden und Organe der Europäischen Union müssen das System in der jeweiligen EU-Datenbank registrieren (Art. 49 Abs. 3 i.V.m. Art. 26 Abs. 8 KI-VO).

18. Prüfung verbotener Praktiken: Betreiber müssen sicherstellen, dass keine unzulässigen KI-Praktiken zum Einsatz kommen (Art. 5).
19. Selbstprüfung von Rollenwechsel: Wird eine wesentliche Änderung vorgenommen, ist zu prüfen, ob neue Anbieterpflichten greifen (Art. 25 Abs. 1).

Der Weg zur Compliance beginnt nicht mit der ersten Prüfung durch Behörden, sondern bereits jetzt. Unternehmen sollten frühzeitig Strukturen schaffen, um den Anforderungen gerecht zu werden.

Unsere Empfehlungen:

1. Inventarisieren Sie alle eingesetzten KI-Systeme. Nutzen Sie ein internes KI-Register, um Überblick und Verantwortlichkeiten festzuhalten.
2. Bewerten Sie jedes System einzeln. Prüfen Sie, ob eine Hochrisiko-Klassifizierung vorliegt und dokumentieren Sie mögliche Ausnahmen.
3. Arbeiten Sie eng mit Datenschutz und IT zusammen. Die Schnittstellen zu DSGVO, IT-Sicherheit und Governance sind entscheidend.
4. Erstellen Sie einen Maßnahmenplan. Dieser sollte Verantwortlichkeiten, Fristen und Schulungsmaßnahmen enthalten.
5. Etablieren Sie ein KI-Governance-System. Ein praxisnahes Rahmenwerk wie die ISO/IEC 42001 bietet Orientierung für den Aufbau eines internen Kontrollsystems.

Damit Sie keine Pflicht übersehen, haben wir alle 17 Betreiberpflichten mit den entsprechenden Artikeln der KI-Verordnung in einer übersichtlichen Excel-Checkliste für Sie zusammengefasst.

👉 Jetzt kostenlos herunterladen und direkt mit der Umsetzung starten.