KI-Verordnung: Überblick für Anbieter und Betreiber

Die KI-Verordnung (KI-VO) ist in Kraft und stellt Anbieter sowie Betreiber von KI-Systemen vor neue regulatorische Anforderungen. Während sie bürokratische Hürden mit sich bringt, ist sie gleichzeitig ein erstes, zentrales Regelwerk für einen wertebasierten Einsatz von KI-Systemen. In diesem Artikel erhalten Sie einen kompakten Überblick über die zentralen Vorgaben der KI-VO und erfahren, welche Maßnahmen Unternehmen jetzt ergreifen sollten.

Kategorie:

KI-Compliance

zuletzt aktualisiert: 20.05.2025

8 Minuten

Alles, was Anbieter und Betreiber zur KI-VO wissen müssen

von Björn Möller, Co-Founder & CEO

Was ist die KI-Verordnung (KI-VO)?

Die KI-VO ist die regulatorische Antwort der EU auf die rasanten Fortschritte im Bereich der Künstlichen Intelligenz. Es handelt sich um ein umfassendes Regelwerk der EU, das darauf abzielt, den Einsatz von Künstlicher Intelligenz (KI) sicher und vertrauenswürdig zu gestalten. Es bildet den ersten rechtlichen Rahmen dieser Art und soll sicherstellen, dass KI-Systeme verantwortungsvoll genutzt werden und den europäischen Werten sowie grundlegenden Menschenrechten entsprechen. Je nach Risiko, das von einem KI-System ausgeht, sind unterschiedliche Maßnahmen erforderlich.

Die KI-Verordnung verfolgt mehrere Kernziele:

Stärkung des Vertrauens in KI-Technologien;

Sicherstellung, dass KI-Systeme sicher, transparent und nachvollziehbar sind;

Schutz von grundlegenden Rechten, wie der Privatsphäre und Nichtdiskriminierung;

Förderung von Innovation durch klare rechtliche Rahmenbedingungen.

Horizontale und risikobasierte Regulierung

Ein Kernelement der KI-VO ist ihr horizontaler Ansatz: Die Regelungen gelten sektorübergreifend für alle Branchen, in denen KI-Systeme eingesetzt werden. KI-Systeme werden in verschiedene Risikokategorien eingeteilt – von minimalem bis hin zum untragbaren Risiko. Diese Einordnung entscheidet darüber, welche rechtlichen Anforderungen erfüllt werden müssen. Je größer das Risiko eines Systems für die Gesellschaft, desto strenger die Anforderungen der KI-Verordnung an Unternehmen. Ziel ist es, Risiken zu minimieren und gleichzeitig Innovation zu fördern.

Das Marktortprinzip und extraterritoriale Anwendung

Die Verordnung gilt nicht nur für KI-Systeme, die innerhalb der EU entwickelt oder eingesetzt werden, sondern auch für solche, die in die EU importiert werden. Das Marktortprinzip garantiert, dass alle in der EU genutzten KI-Systeme denselben Standards unterliegen, unabhängig davon, wo sie entwickelt wurden.

Welche Schnittstellen existieren zwischen KI-VO und DSGVO?

Die KI-Verordnung der EU und die DSGVO existieren planmäßig nebeneinander. Es gibt Konstellationen, in denen Unternehmen die Anforderungen beider Verordnungen gleichzeitig erfüllen müssen:

wenn bei der Entwicklung eines KI-Systems personenbezogene Daten genutzt werden, um es zu trainieren oder zu testen,

wenn beim Einsatz der Künstlichen Intelligenz personenbezogene Daten verarbeitet werden.

In diesen Fällen müssen Anbieter besonders genau darauf achten, beide Verordnungen zu berücksichtigen. Beide Regelwerke verlangen Transparenz, Sicherheitsmaßnahmen und die Minimierung von Risiken. Unternehmen sollten sicherstellen, dass ihre KI-Systeme sowohl die DSGVO- als auch die KI-VO-Anforderungen erfüllen.

Was ist ein KI-System?

Die KI-VO arbeitet mit einer recht weiten Definition von Künstlicher Intelligenz. KI-Systeme sind laut Definition des EU-Parlaments „maschinenbasierte Systeme, die so konzipiert sind, dass sie mit unterschiedlichen Autonomiegraden arbeiten und Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen können, die physische oder virtuelle Umgebungen beeinflussen.“

Zusammenfassend lässt sich sagen, dass KI-Systeme nach der EU-Definition adaptiv und autonom sind. Beispiele hierfür sind Tools zur automatisierten Textgenerierung oder Systeme, die Bewerbungen filtern und bewerten.

Wann tritt die KI-Verordnung in Kraft?

Die KI-Verordnung wurde im April 2021 von der EU-Kommission vorgeschlagen und im Dezember 2023 vom Europäischen Parlament sowie dem Rat verabschiedet. Sie trat am 1. August 2024 in Kraft. Ab dem 2. Februar 2025 gelten die Verbote bestimmter KI-Praktiken gemäß Artikel 5 der Verordnung.

Dazu zählt insbesondere das grundsätzliche Verbot biometrischer Echtzeit-Fernüberwachungssysteme in öffentlichen Räumen zu Strafverfolgungszwecken. Ebenfalls untersagt wird das sogenannte “Social Scoring” – ein Verfahren, bei dem KI das Verhalten von Personen bewertet und daraus soziale Nachteile entstehen, etwa der Ausschluss von öffentlichen Leistungen.

KI-VO-Timeline: Ab wann gelten welche Regeln?

Die Umsetzung der KI-Verordnung erfolgt schrittweise, mit abgestuften Übergangsfristen für verschiedene Anforderungen:

Ab 2. Februar 2025: Die ersten verbindlichen Vorgaben greifen. Dazu gehören allgemeine Vorschriften sowie das Verbot bestimmter KI-Praktiken, etwa manipulative oder diskriminierende Systeme.

Ab 2. August 2026: Die Verordnung gilt umfassend, insbesondere für Anbieter und Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III der KI-VO.

Ab 2. August 2027: Weitere spezifische Pflichten für Hochrisiko-KI-Systeme treten in Kraft, insbesondere die Anforderungen aus Anhang I KI-VO

Welche Rolle spielen die KI-Anwendungsbereiche für Anbieter?

In der KI-Verordnung spielen unterschiedliche Anwendungsbereiche für Künstliche Intelligenz eine große Rolle. Anbieter können sich an der Kategorisierung der deutschen Datenethikkommission von 2019 orientieren, um sich einen Überblick zu diesen Bereichen zu verschaffen (siehe Schaubild; die Quelle dazu findest du hier). Dabei wird mit unterschiedlichen Kritikalitätsgraden gearbeitet. Diese gehen laut der KI-VO jeweils mit eigenen Regulierungen und Anforderungen einher. Das sollten Anbieter berücksichtigen, wenn sie KI-Produkte entwickeln, und ihre Dokumentation dementsprechend anpassen.

Interessanter Fakt: Nach aktuellem Stand gehören moderne Hörgeräte der Kategorie der Hochrisikosysteme an. Das liegt daran, dass es medizinische Produkte sind, die unter eine Konformitätsprüfung fallen. Durch die Einstufung als Hochrisiko-KI soll bei medizinischen Produkten die Sicherheit der Patient:innen garantiert sein.

Was müssen Unternehmen jetzt tun, um sich auf die KI-Verordnung vorzubereiten?

Um sich optimal auf die Anforderungen der KI-VO vorzubereiten, empfehlen wir ein Vorgehen in sechs Schritten:

1. KI-Assets identifizieren und dokumentieren

Unternehmen sollten alle eingesetzten KI-Systeme und deren Anwendungsfälle identifizieren und dokumentieren. Wie Sie dabei systematisch vorgehen, erfahren Sie in unserem Beitrag zur Identifizierung von KI-Assets – inklusive einem kostenlosen Fragebogen zur KI-Identifizierung zum Download.

Nach der Identifikation der KI-Assets ist ein KI-Register der nächste Schritt, um für mehr Transparenz zu sorgen und regulatorische Vorgaben zu erfüllen. Wie ein solches Register aufgebaut ist und welche Informationen es enthalten sollte, erklären wir in unserem Blogbeitrag. Darin enthalten ist auch eine Excel-Vorlage, mit der Sie direkt starten können.

2. KI-Anwendungsbereiche verstehen

Ein weiterer entscheidender Aspekt ist die Betrachtung von KI-Anwendungsfällen. Dieser Schritt bereitet die Einordnung in die verschiedenen KI-Risikoklassen vor, denn ein KI-Asset kann für unterschiedliche Zwecke eingesetzt werden.

Microsoft Copilot beispielsweise kann sowohl für die Textgenerierung, als auch für das Bewerberscreening eingesetzt werden. Jeder dieser Zwecke stellt einen KI-Anwendungsfall dar und muss separat geprüft und bewertet werden. Erst das Erfassen auf dieser Ebene stellt sicher, dass alle regulatorischen Anforderungen pro KI-Asset hinreichend beurteilt werden können.

3. Die eigene Rolle innerhalb der KI-VO bestimmen

Bedeutend für die KI-Compliance ist die Identifikation der eigenen Rolle. Die KI-Verordnung definiert Rollen bzw. Akteure entlang der KI-Wertschöpfungskette und weist anhand dieser Rollen regulatorische Pflichten zu.

Die Bestimmung der eigenen Rolle kann zum Teil herausfordernd sein und die Rolle kann sich unter bestimmten Umständen ändern. Es ist beispielsweise möglich, dass ein Betreiber aufgrund der Art und Weise, wie er das KI-System nutzt bzw. weiterentwickelt, vom bloßen Betreiber zum Anbieter aufsteigt.

Die Rollen innerhalb der KI-VO

Anbieter: Entwickeln und vermarkten KI-Systeme. Sie sind dafür verantwortlich, dass die Systeme sicher und regelkonform auf den Markt gebracht werden.

Betreiber: Nutzen KI-Systeme in eigener Verantwortung, jedoch nicht ausschließlich für den persönlichen Gebrauch.

Händler, Importeure und Bevollmächtigte des Anbieters: Diese Rollen ergänzen das Ökosystem und sorgen für die korrekte Verbreitung der Systeme.

Wichtig: Ein Unternehmen kann in einigen Fällen sowohl als Anbieter als auch als Betreiber eines KI-Systems sein.

Die Rollen der KI-VO im 2-Minuten-Video

Mehr zu den einzelnen Rollen und der Identifikation von KI-Assets erfahren Sie in unserem aufgezeichneten Webinar “Die Rollen im AI Act verstehen und KI-Assets identifizieren”.

4. Die Risikoklassen von KI-Systemen bestimmen

Der Schritt der Risikobewertung ist entscheidend für die Frage, welche regulatorischen Anforderungen nach der KI-Verordnung zu erfüllen sind.

Jedes KI-System kann entsprechend der KI-Verordnung in eine oder mehrere Risikoklassen eingeordnet werden. Die KI-Verordnung stuft KI-Systeme in verschiedene Risikoklassen ein – von verbotenen Anwendungen über Hochrisiko-KI bis hin zu Systemen mit mittlerem oder geringem Risiko. Es wird zwischen fünf Risikoklassen unterschieden:

Verbotene Praktiken (Art. 5 KI-VO): Diese KI-Anwendungen sind grundsätzlich untersagt.

Hochrisiko-KI-Systeme (Art. 6 ff., Anhang I und III): Besonders reguliert und mit umfangreichen Anforderungen versehen.

Systemisches Risiko (Art. 55 KI-VO): Gilt für KI-Modelle mit allgemeinem Verwendungszweck, deren Einsatz besondere Risiken birgt.

Mittleres Risiko (Art. 50 KI-VO): Es bestehen Transparenzpflichten, aber keine Konformitätsbewertung.

Geringes Risiko (Art. 95 KI-VO): Keine spezifischen regulatorischen Anforderungen, freiwillige Selbstverpflichtungen möglich.

Die Einstufung hängt von der potenziellen Gefährdung für Grundrechte, Sicherheit und öffentliche Ordnung ab. Besonders streng reguliert sind Hochrisiko-KI-Systeme, etwa in den Bereichen Strafverfolgung, Kreditbewertung oder Personalentscheidungen.

Einen detaillierten Überblick über die einzelnen Risikoklassen und die konkreten Kriterien für ihre Einordnung finden Sie in unserem Blogbeitrag zur Risikoklassifizierung von KI-Systemen.

5. Die Pflichten nach der KI-VO ableiten

Anhand der zuvor identifizierten Rolle sowie Risikoklasse, müssen im nächsten Schritt die Anforderungen im Sinne der KI-Verordnung abgeleitet werden, die insbesondere für Anbieter und Betreiber von Bedeutung sind.

Anforderungen an KI-Systeme mit mittlerem Risiko
Anbieter von KI-System mit mittlerem Risiko müssen Informationspflichten gegenüber den Betroffenen erfüllen. Betroffene müssen beispielsweise informiert werden, dass sie mit einem KI-System interagieren. Sofern Bilder, Videos oder Tonaufnahmen künstlich erzeugt werden, muss dies erkennbar sein.

Betreiber derartiger KI-Systeme treffen ebenfalls Transparenzpflichten gegenüber den Betroffenen. Sie müssen Betroffene informieren, sofern sie KI-Systeme zur Emotionserkennung oder biometrischen Kategorisierung einsetzen und Deepfakes als solche kennzeichnen.

Anforderungen an Hochrisiko-KI
Bei Hochrisiko-KI treffen sowohl Anbieter als auch Betreiber zahlreiche Anforderungen. Alle dienen dem Ziel, die Risiken derartiger KI-Systeme systematisch zu managen und hierbei allen Akteuren die notwendigen Informationen zur Verfügung zu stellen.

Anbieter von Hochrisiko-KI trifft eine Vielzahl von Pflichten. Wir haben auszugsweise einige der wesentlichen Anforderungen zusammengestellt:

Registrierung, Anleitungen und Nachweis: Anbieter müssen ihr Produkt in einer EU-Datenbank registrieren und eine CE-Kennzeichnung anbringen. Auch müssen sie für ihr KI-Produkt eine technische Dokumentation und eine Betriebsanleitung erstellen. Die Konformität des KI-Systems mit der KI-Verordnung muss gegenüber der Aufsichtsbehörde nachgewiesen werden.

Nachvollziehbarkeit und Mindeststandards: Anbieter müssen sicherstellen, dass die Funktionsweise von KI-Systemen nachvollziehbar ist. Dies umfasst u. a. technische Dokumentationen, die alle relevanten Parameter und Entscheidungen erklären. Auch müssen KI-Systeme bestimmte Mindestanforderungen in Bezug auf Genauigkeit, Robustheit und Cybersicherheit erfüllen. Die genutzten Trainings-, Validierungs- und Testdaten müssen bestimmte Qualitätskriterien erfüllen.

Risikomanagement und Sicherheit: Anbieter müssen Hochrisiko-KI auf potenzielle Risiken überprüfen und kontinuierlich evaluieren. Sie sind verpflichtet, hierfür Verfahren und systematische Maßnahmen zu etablieren. Dazu gehört ein Qualitätsmanagementsystem zur Qualitätskontrolle und -sicherung. Aber auch ein Risikomanagementsystem, welches kontinuierlich und iterativ die Risiken des KI-Systems überwacht.

Menschliche Aufsicht: Die Verordnung schreibt vor, dass der Mensch immer die Kontrolle über KI behalten muss. Anbieter müssen KI-Systeme so konzipieren und entwickeln, dass sie wirksam von einem Menschen beaufsichtigt werden können.

Betreiber von Hochrisiko-KI müssen ebenfalls eine Reihe von Anforderungen erfüllen. Viele davon beziehen sich auf den Anforderungskatalog der Anbieter. So bleibt das KI-System auch während der Nutzung transparent und sicher.

Dies sind die wichtigsten Anforderungen an Betreiber:

Überwachung und Dokumentation: Betreiber setzen die KI-Mindeststandards durch. Sie überwachen etwa die Leistungsmetriken - Genauigkeit und Robustheit - anhand der Betriebsanleitung und verwenden stets nur geeignete Eingabedaten. Je nachdem welche Art von Daten das KI-System nutzt, trifft der Betreiber geeignete technische und organisatorische Maßnahmen (TOM) für die Einhaltung der Gebrauchsanweisung und führt Datenschutz- und/oder Grundrechte-Folgenabschätzungen durch.

Informationspflichten: Betreiber müssen Mitarbeitende über die eingesetzten KI-Systeme informieren. Betroffene müssen ebenfalls informiert werden, sofern KI-Systeme konkrete Entscheidungen treffen oder unterstützen.

Menschliche Aufsicht: Betreiber übertragen die menschliche Aufsicht über das KI-System einer qualifizierten Person und setzen Aufsichtsmaßnahmen durch (falls vom Anbieter bestimmt).

Eine vollständige und detaillierte Übersicht aller Pflichten finden Sie in unserem Artikel „Alle Pflichten nach der KI-Verordnung: Übersicht je Risikoklasse“. Dort zeigen wir strukturiert, welche konkreten Anforderungen auf Anbieter, Betreiber und Nutzer zukommen – ergänzt durch eine praxisorientierte PDF-Checkliste zum Download, die Sie bei der Umsetzung unterstützt.

Zusätzlich ist es wichtig, dass Anbieter und Betreiber von KI-Systemen ihre KI-Kompetenz sicherstellen. Diese Anforderung gilt für KI-Systeme jeder Risikoklasse. KI-Kompetenz meint die Fähigkeit, KI-Systeme sachkundig einzusetzen und sich deren Chancen und Risiken bewusst zu werden. Unternehmen erfüllen dies durch gezielte Schulungen ihrer Mitarbeitenden. Wie Sie Mitarbeitende im Sinne des Art. 4 KI-VO nachhaltig schulen, erfahren Sie in unserem Webinar “AI Literacy sicherstellen”.

6. Strukturen & Prozesse für AI Governance im Unternehmen etablieren

Um die Compliance zur KI-Verordnung sicherzustellen, sollten Unternehmen ein eigenes Regelwerk schaffen, welches Prozesse, Verantwortlichkeiten und Kontrollmechanismen für den Umgang mit KI-Systemen klar definiert. Hierfür wird häufig der Begriff AI-Governance verwendet.

Ein solches Regelwerk ist erforderlich, um KI-Compliance kontinuierlich zu gewährleisten. Denn nur eine Zuordnung von Verantwortlichkeiten und die Definition von Prozessen zur Kontrolle der KI-Systeme garantiert die Einhaltung der regulatorischen Anforderungen.

Wie sich Unternehmen diesem Thema annähern sollten, kann nicht pauschal beschrieben werden. Dies hängt etwa von der Größe des Unternehmens und von den bereits vorhandenen Governance-Strukturen ab. Ganz grundsätzlich können sich Unternehmen diesem Thema aus zwei Perspektiven annähern.

Aus der regulatorischen Perspektive, indem sie die Pflichten aus den Gesetze entnehmen und schauen, woraus sich hier notwendige Verantwortlichkeiten und Prozesse ergeben.

Oder aus der Perspektive bereits existierender Standards, Konzepte und Rahmenwerke. Zu nennen sind insbesondere eine Reihe von ISO-Normen (ISO/IEC 4200, ISO/IEC 38507), oder andere bereits erarbeitete Rahmenwerke wie das NIST AI 600-1 (Artificial Intelligence Risk Management Framework) oder die Six Pillars of responsible AI von Equal-AI.

AI-Governance kann prinzipiell in verschiedene existierende Governance Strukturen integriert werden, zum Beispiel in die Corporate Governance, in die Data Governance aber auch in ein Risikomanagement-System.

Konkrete erste Elemente einer KI-Governance können die Erstellung einer KI-Richtlinie und der Aufbau klarer Verantwortlichkeiten sein.

Erstellen einer KI-Richtlinie
Ein sinnvoller Startpunkt kann die Erstellung einer KI-Richtlinie sein. Eine derartige Richtlinie ist zwar rechtlich nicht vorgeschrieben, jedoch können Unternehmen mit ihr Grundsätze definieren, die alle Aktivitäten im Zusammenhang mit KI leiten. So kann die KI-Richtlinie den Ankerpunkt für alle weiteren Governance-Strukturen darstellen.

Aufbau klarer Verantwortlichkeiten
Parallel oder nachgelagert sollten Unternehmen klare Verantwortlichkeiten für das Thema KI definieren. Wir empfehlen das Thema möglichst auf Führungsebene aufzuhängen, weil es sehr große gesellschaftliche und wirtschaftliche Auswirkungen bereits hat bzw. zukünftig haben wird. Auch auf den Ebenen unterhalb der Führungsebene ist es wichtig, die Verantwortlichkeiten klar zu definieren. Denn es kommen viele verschiedene Mitarbeiter mit KI-Systemen in Kontakt. Unterschieden werden kann hier grundlegend zwischen technischen und organisatorischen Rollen.

Mehr zum Thema AI-Governance erfahren Sie in unserem aufgezeichneten Webinar “AI Governance Strukturen aufsetzen und Regulatory Mapping”

Fazit

Die KI-VO ist ein zukunftsweisender regulatorischer Schritt hin zu einer sicheren Nutzung von KI-Systemen in Europa. Sie schafft einen regulatorischen Rahmen, um Anbietern in puncto KI-Produkte mehr Rechtssicherheit zu verleihen und produktive Innovationen zu ermöglichen. Unternehmen sollten ihre Systeme analysieren, Rollen und Verantwortlichkeiten definieren und notwendige Prozesse implementieren.

Um Unternehmen optimal bei der Umsetzung der Anforderungen der KI-Verordnung zu unterstützen, hat caralegal mit AI Flow eine ganzheitliche Lösung für KI-Compliance entwickelt. Die Plattform wurde speziell dafür konzipiert, die komplexen Vorgaben der KI-Verordnung praxisnah und effizient abzubilden. AI Flow ergänzt dabei ideal unsere etablierte Datenschutzsoftware Privacy Flow – für alle Organisationen, die Synergien zwischen Datenschutz und KI-Governance gezielt nutzen möchten.

Auf dieser Seite

Primary Item (H2)

Über den Autor

Björn Möller

Co-Founder & CEO von caralegal

Björn Möller ist gelernter Wirtschaftsinformatiker und hat umfangreiche Erfahrung in der Entwicklung digitaler Produkte. Er hat an der Stanford University selbst an dem Einsatz Künstlicher Intelligenz gearbeitet. Er ist Geschäftsführer der caralegal GmbH, die Unternehmen neue Wege in der KI- und datenrechtlichen Compliance ermöglicht.