KI-Risikoklassifizierung: Alle 5 Risikoklassen der KI-VO und wie Sie sie anwenden

Aus der KI-Verordnung (KI-VO) lassen sich 5 Risikoklassen ableiten.

1. Verbotene Praktiken (Art. 5 KI-VO)

   Die KI-Verordnung definiert zunächst eine Reihe von Praktiken im Bereich der künstlichen Intelligenz, die aufgrund ihres unvertretbaren Risikos für die Grundrechte und Werte der EU vollständig verboten sind.

   Dazu zählen KI-Systeme, die eine oder mehrere der folgenden Praktiken anwenden:

   • Unterschwellige Beeinflussung
   • Ausnutzung von Schwächen
   • Social Scoring
   • Vorhersage von Straftaten
   • Erstellung von Gesichtserkennungsdatenbanken
   • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen
   • Biometrische Kategorisierung
   • Biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen zu Strafverfolgungszwecken

2. Hochrisiko-KI (Art. 6 ff. KI-VO)

   Hochrisiko-KI-Systeme bergen ein erhebliches Risiko für die Gesundheit, Sicherheit und Grundrechte von EU-Bürger:innen. Entsprechend sind die Compliance-Anforderungen für diese Risikoklasse besonders streng und umfassend.

   Für die Einstufung als Hochrisiko-KI gibt es grundsätzlich zwei Ansätze:

   1. Embedded AI

      Ein KI-System gilt dann als Hochrisiko-KI, wenn es entweder eigenständig oder als Sicherheitsbauteil eines anderen Produkts aufgrund bestehender EU-Harmonisierungsvorschriften einer Konformitätsbewertung unterliegt. Die entsprechenden Harmonisierungsvorschriften sind in Anhang I der KI-Verordnung aufgeführt.

      Vereinfacht gesagt betrifft dies bestimmte KI-Anwendungen, die in physische Produkte integriert sind, wie beispielsweise Maschinen oder Kraftfahrzeuge.

      Die gesamte Liste aus Anhang I finden Sie im Online-Portal der EU.

   2. Stand-Alone AI mit Einsatz in besonders sensiblen Bereichen

      Darüber hinaus listet die KI-Verordnung in Anhang III Anwendungsbereiche auf, die ebenfalls zur Einstufung als Hochrisiko-KI führen. Dazu gehören unter anderem folgende Bereiche:

      • Biometrische Identifikation
      • Kritische Infrastruktur (z. B. Straßenverkehr, Wasser, Gas, Strom)
      • Zugang zu Bildung und staatlichen Leistungen
      • Bewertung von Prüfungen oder Arbeitsleistungen
      • Einstellung und Entlassung von Beschäftigten
      • Zugang zu wichtigen privaten und öffentlichen Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, Risikobewertung und Preisbildung von Lebens- und Krankenversicherungen)
      • Strafverfolgung und Migration
      • Rechtspflege und demokratische Prozesse (z. B. Wahlbeeinflussung)

      Annex III der KI-VO finden Sie ebenfalls im Online-Portal der EU.

3. Mittleres Risiko (Art. 50 KI-VO)

   KI-Systeme mit mittlerem Risiko umfassen Anwendungen, die in direkter Interaktion mit Menschen stehen. Die KI-Verordnung legt für Anbieter und Betreiber solcher „bestimmter KI-Systeme“ spezifische Transparenzpflichten fest. In der Praxis betrifft dies vor allem Chatbots sowie KI-Anwendungen, die in der Lage sind, Medieninhalte zu erstellen. KI-Systeme mit mittlerem Risiko erfüllen eines der folgenden Kriterien:

   • Direkte Interaktion mit Menschen
   • Erzeugung synthetischer Inhalte (Audio-, Bild-, Video- oder Textinhalte)
   • Emotionserkennung oder biometrische Kategorisierung
   • Erstellung von Deepfakes

4. KI-Modelle mit systemischem Risiko (Art. 55 KI-VO)

   KI-Modelle mit allgemeinem Verwendungszweck bilden eine eigene Kategorie in der KI-Verordnung. Anders als bei den anderen Risikokategorien liegt der Fokus hier nicht auf den spezifischen Anwendungsfällen, sondern auf den zugrunde liegenden Modellen selbst.

   KI-Modelle mit allgemeinem Verwendungszweck, die eine besonders hohe Leistungsfähigkeit aufweisen, werden als KI-Modelle mit systemischem Risiko eingestuft. Diese Einstufung basiert auf technischen Merkmalen, die von der EU-Kommission noch konkret festgelegt werden. Ein systemisches Risiko wird jedoch bereits dann vermutet, wenn die Rechenleistung, mit der das Modell trainiert wurde, 10²⁵ FLOPs (Gleitkommaoperationen) übersteigt.

   Einen Überblick über veröffentlichte KI-Modelle und deren Rechenleistung bietet Ihnen die Website des Forschungsinstituts Epoch AI (verfügbar in englischer Sprache).

5. Geringes Risiko

   Selbst wenn ein KI-System als gering risikobehaftet eingestuft wird, bleiben Anbieter und Betreiber in der Pflicht: Der AI Act verlangt, dass Mitarbeitende und beauftragte Personen über ausreichende KI-Kompetenzen („AI Literacy“) verfügen. Zusätzlich unterstützt die EU gemäß Art. 95 AI Act die Entwicklung von Verhaltenskodizes und Governance-Mechanismen durch die Branche, um den verantwortungsvollen Einsatz von KI sicherzustellen.

   Wichtig zur Risikopyramide: Die 5 Risikoklassen lassen sich als Pyramide verstehen, von verbotenen Praktiken an der Spitze bis zu geringem Risiko an der Basis. Die Klassen gelten kumulativ: Eine KI-Anwendung kann gleichzeitig mehreren Risikokategorien zugeordnet werden.

Für die Einstufung als Hochrisiko-KI gelten zwei kumulative Prüfkriterien. Erstens: Ist das KI-System ein Produkt oder sicherheitsrelevanter Bestandteil eines Produkts, das einer EU-Konformitätsbewertung nach Anhang I unterliegt? Zweitens: Fällt die Anwendung in einen der in Anhang III definierten sensiblen Bereiche?

Wichtig: Für Anhang-III-Bereiche gelten Ausnahmen und Rückausnahmen. Wenn die KI-Anwendung keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung hat, kann eine Ausnahme greifen. Wird jedoch Profiling durchgeführt, greift eine Rückausnahme und die Anwendung ist in jedem Fall als hochriskant einzustufen.

Eine KI-Anwendung fällt unter die verbotenen Praktiken nach Art. 5 KI-VO, wenn sie eine der acht definierten Praktiken anwendet. 

Das zentrale Kriterium ist das unvertretbare Risiko für die Grundrechte: Unterschwellige Beeinflussung ohne Wissen der Person, Ausnutzung von Schwächen bestimmter Personengruppen, staatliches Social Scoring, Vorhersage von Straftaten auf Basis persönlicher Merkmale, Erstellung von Gesichtserkennungsdatenbanken durch ungezielte Erfassung, Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen, biometrische Kategorisierung zur Ableitung sensibler Merkmale sowie biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen zu Strafverfolgungszwecken.

Für die Verantwortlichkeit der Risikoklassifizierung von KI gibt es keine spezifische gesetzliche Vorgabe, sodass Unternehmen eigenständig Zuständigkeiten definieren und geeignete Prozesse zur Bewertung und Einstufung ihrer KI-Systeme entwickeln müssen.

In der Praxis werden die Verantwortlichkeiten in einer internen KI-Richtlinie geregelt. 

Fachkundige Expert:innen aus Rechtsabteilung, Datenschutz und IT leiten den Prozess, während die Fachbereiche Informationen zur Zweckbestimmung und dem tatsächlichen Einsatz der KI liefern. So entsteht eine belastbare Bewertung, die sich später gegenüber internen Stellen wie Aufsichtsbehörden nachvollziehbar darstellen lässt. 

Die Einbeziehung verschiedener Abteilungen ist sinnvoll: AI-Officer, Rechtsabteilung / General Counsel, gegebenenfalls Datenschutzbeauftragte/r, IT-Abteilung sowie die Fachbereiche, die die jeweilige KI einsetzen.

Wie bereits erwähnt, können die Risikoklassen kumulativ gelten. In der Praxis bedeutet das, dass jede KI-Anwendung bzw. jedes KI-Modell auf alle möglichen Risikokategorien geprüft werden sollte. Um den Prüfprozess effizienter zu gestalten, ist es sinnvoll, zwischen der KI-Anwendung und dem zugrunde liegenden KI-Modell zu unterscheiden.

Für die operative Prüfung hat sich ein vierstufiger Ablauf bewährt: Erstens werden verbotene Praktiken ausgeschlossen. Zweitens wird geprüft, ob eine Hochrisiko-KI vorliegt. Drittens folgt die Einordnung als KI-System mit mittlerem Risiko. Viertens wird das verbleibende Restrisiko dokumentiert und regelmäßig überprüft.

Handelt es sich um eine KI-Anwendung, müssen folgende Risikoklassen in Betracht gezogen werden: Verbotene KI-Praktiken, Hochrisiko-KI, Mittleres Risiko und Geringes Risiko.

Im ersten Schritt wird überprüft, ob die KI-Anwendung eine der verbotenen Praktiken gemäß Art. 5 der KI-Verordnung anwendet.

Im zweiten Schritt folgt die Bewertung, ob die KI-Anwendung in den Bereich der Hochrisiko-KI fällt. Dabei sind folgende Fragen zu klären:

• Handelt es sich bei der KI-Anwendung um ein Produkt oder einen sicherheitsrelevanten Bestandteil eines Produkts, das gemäß den Harmonisierungsvorschriften der EU (Annex I der KI-VO) einer Konformitätsbewertung unterzogen werden muss?
• Fällt die Anwendung in eines der in Annex III der KI-Verordnung definierten Einsatzfelder?

Wichtig: Für die in Annex III genannten Einsatzfelder gelten spezifische Ausnahmen und Rückausnahmen. Wenn die KI-Anwendung im Einzelfall keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung hat, kann eine Ausnahme greifen. Wird jedoch Profiling durchgeführt, greift eine Rückausnahme, und die Anwendung ist in jedem Fall als hochriskant einzustufen.

Im dritten Schritt wird geprüft, ob die KI-Anwendung unter die Bestimmungen von Art. 50 der KI-Verordnung fällt und somit als mittleres Risiko eingestuft wird. Entscheidend ist hierbei die Interaktion mit natürlichen Personen. Die konkreten Transparenzpflichten für Anbieter und Betreiber, die sich daraus ergeben, sind in der Übersicht aller Pflichten je Risikoklasse zusammengefasst.

Im vierten – freiwilligen – Prüfschritt kann bewertet werden, ob ein geringes Risiko vorliegt. Dabei orientiert man sich an Leitlinien, die Unternehmen auf freiwilliger Basis einhalten können. Konkrete Vorgaben hierzu wurden bislang noch nicht veröffentlicht.

Für KI-Modelle mit allgemeinem Verwendungszweck gilt ein eigener Prüfpfad, der sich auf systemisches Risiko und geringes Risiko konzentriert.

Handelt es sich um ein KI-Modell mit allgemeinem Verwendungszweck, sind zwei Risikoklassen zu berücksichtigen: Systemisches Risiko und Geringes Risiko.

Im ersten Prüfschritt ist zu klären, ob ein systemisches Risiko vorliegt. Die Risikoklassifizierung solcher KI-Modelle hängt davon ab, ob das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt. Der bisher maßgebliche Indikator für diese Einschätzung ist die kumulierte Rechenleistung, die beim Training des Modells verwendet wurde, gemessen in Gleitkommaoperationen (FLOPs).

Liegt die Rechenleistung über 10²⁵ FLOPs, wird das Modell als systemisches Risiko eingestuft.

Zusätzliche Kriterien sind in Anhang XIII der KI-Verordnung festgelegt. Ein weiteres Indiz für einen hohen Wirkungsgrad ist, wenn das Modell in der EU von mehr als 10.000 gewerblichen Nutzern verwendet wird.

Wichtig: Die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck richten sich ausschließlich an die Anbieter dieser Modelle.

Angesichts der rechtlichen Auswirkungen der Risikoklassifizierung von KI-Systemen sollte der Prüfprozess sorgfältig und umfassend dokumentiert werden – insbesondere bei der Frage, ob es sich um eine Hochrisiko-KI handelt oder nicht.

Es empfiehlt sich, ein KI-Register zu führen, das unter anderem folgende Informationen enthält:

• Zweckbestimmung der KI-Anwendung
• Beschreibung der Funktionsweise der KI-Anwendung
• Interne Verantwortlichkeiten für Entwicklung, Betrieb und Überwachung
• KI-Asset-Beschreibung

Darüber hinaus sollten Sie für jede Risikoklassifizierung nachvollziehbar dokumentieren, wie die Einstufung vorgenommen wurde. Diese Nachweise sollten bei Bedarf auch extern – etwa gegenüber Aufsichtsbehörden – vorgelegt werden können.

Ein rechtliches Gutachten, das alle potenziellen Risikokategorien berücksichtigt, kann hierbei eine wertvolle Unterstützung sein, um den Klassifizierungsprozess rechtssicher zu gestalten.

Die Risikoklassifizierung Ihrer KI-Anwendung ist keine statische Aufgabe – sie kann sich im Laufe der Zeit aufgrund interner und externer Faktoren verändern. Daher sollte die Klassifizierung als kontinuierlicher Prozess verstanden und regelmäßig überprüft werden.

1. Änderungen der Zweckbestimmung
   KI-Systeme sind, ähnlich wie klassische Software, dynamisch und entwickeln sich stetig weiter. Neue Anwendungsbereiche oder Funktionserweiterungen können die ursprüngliche Zweckbestimmung verändern. Dies kann eine Neuklassifizierung erforderlich machen, da sich die Risikoeinstufung an der jeweiligen Nutzung orientiert.
2. Neue rechtliche Entwicklungen
   Auch rechtliche Rahmenbedingungen sind im Wandel. Die EU-Kommission und benannte Stellen werden in den kommenden Monaten und Jahren voraussichtlich neue Leitlinien zur Einstufung von KI-Systemen veröffentlichen – insbesondere für Hochrisiko-KI. Zudem können die in Anhang I und III definierten Bereiche laufend angepasst werden, was Auswirkungen auf die Risikoklassifizierung haben kann.

Dasselbe gilt für die anderen Risikoklassen: Die KI-Verordnung räumt der EU bewusst einen rechtlichen Gestaltungsspielraum für zukünftige technologische Entwicklungen ein, um flexibel auf Innovationen reagieren zu können.

Die KI-Risikoklassifizierung ist eine rechtliche Pflicht mit direkten Konsequenzen: Falschklassifizierungen können Bußgelder nach sich ziehen und Compliance-Lücken erzeugen. Um rechtliche Sicherheit zu gewährleisten, empfiehlt es sich, die Klassifizierung als wiederkehrenden Prozess zu etablieren und strukturiert zu dokumentieren. So können Unternehmen zeitnah auf Änderungen in der Zweckbestimmung oder im regulatorischen Umfeld reagieren. 

caralegal unterstützt Unternehmen dabei, KI-Assets zu erfassen, strukturiert zu klassifizieren und die Ergebnisse revisionssicher zu dokumentieren. Einen Überblick über alle Betreiberpflichten für Hochrisiko-KI bietet der Artikel zu den 17 Pflichten für Betreiber von Hochrisiko-KI. Wer den Prozess zur Identifikation von KI-Assets noch nicht abgeschlossen hat, sollte dort beginnen.