Prozess für die KI-Risikoklassifizierung

von Dennis Kurpierz, Co-Founder & COO

10. Februar 2025

7 Minuten

Prozess für die KI-Risikoklassifizierung nach der KI-Verordnung

Die KI-Verordnung folgt einem risikobasierten Ansatz: Die technischen und organisatorischen Compliance-Anforderungen richten sich nach der Risikoeinstufung des jeweiligen KI-Systems. Eine präzise Klassifizierung ist daher entscheidend, um regulatorische Vorgaben sicher und effizient zu erfüllen.

Kategorie:

KI-Compliance

Welche Risikoklassen gibt es in der KI-Verordnung?

Aus der KI-Verordnung (KI-VO) lassen sich 5 Risikoklassen ableiten.

Verbotene Praktiken (Art. 5 KI-VO)

Die KI-Verordnung definiert zunächst eine Reihe von Praktiken im Bereich der künstlichen Intelligenz, die aufgrund ihres unvertretbaren Risikos für die Grundrechte und Werte der EU vollständig verboten sind.

Dazu zählen KI-Systeme, die eine oder mehrere der folgenden Praktiken anwenden:

Unterschwellige Beeinflussung

Ausnutzung von Schwächen

Social Scoring

Vorhersage von Straftaten

Erstellung von Gesichtserkennungsdatenbanken

Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen

Biometrische Kategorisierung

Biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen zu Strafverfolgungszwecken

Hochrisiko-KI (Art. 6 ff. KI-VO)

Hochrisiko-KI-Systeme bergen ein erhebliches Risiko für die Gesundheit, Sicherheit und Grundrechte von EU-Bürger:innen. Entsprechend sind die Compliance-Anforderungen für diese Risikoklasse besonders streng und umfassend.

Für die Einstufung als Hochrisiko-KI gibt es grundsätzlich zwei Ansätze:

Embedded AI

Ein KI-System gilt dann als Hochrisiko-KI, wenn es entweder eigenständig oder als Sicherheitsbauteil eines anderen Produkts aufgrund bestehender EU-Harmonisierungsvorschriften einer Konformitätsbewertung unterliegt. Die entsprechenden Harmonisierungsvorschriften sind in Anhang I der KI-Verordnung aufgeführt.

Vereinfacht gesagt betrifft dies bestimmte KI-Anwendungen, die in physische Produkte integriert sind, wie beispielsweise Maschinen oder Kraftfahrzeuge.

Die gesamte Liste aus Anhang I finden Sie im Online-Portal der EU

Stand-Alone AI mit Einsatz in besonders sensiblen Bereichen

Darüber hinaus listet die KI-Verordnung in Anhang III Anwendungsbereiche auf, die ebenfalls zur Einstufung als Hochrisiko-KI führen. Dazu gehören unter anderem folgende Bereiche:

Biometrische Identifikation

Kritische Infrastruktur (z. B. Straßenverkehr, Wasser, Gas, Strom)

Zugang zu Bildung und staatlichen Leistungen

Bewertung von Prüfungen oder Arbeitsleistungen

Einstellung und Entlassung von Beschäftigten

Zugang zu wichtigen privaten und öffentlichen Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, Risikobewertung und Preisbildung von Lebens- und Krankenversicherungen)

Strafverfolgung und Migration

Rechtspflege und demokratische Prozesse (z. B. Wahlbeeinflussung)

Annex III der KI-VO finden Sie ebenfalls im Online-Portal der EU.

Mittleres Risiko (Art. 50 KI-VO)

KI-Systeme mit mittlerem Risiko umfassen Anwendungen, die in direkter Interaktion mit Menschen stehen. Die KI-Verordnung legt für Anbieter und Betreiber solcher „bestimmter KI-Systeme“ spezifische Transparenzpflichten fest. In der Praxis betrifft dies vor allem Chatbots sowie KI-Anwendungen, die in der Lage sind, Medieninhalte zu erstellen.

KI-Systeme mit mittlerem Risiko erfüllen eines der folgenden Kriterien:

Direkte Interaktion mit Menschen

Erzeugung synthetischer Inhalte (Audio-, Bild-, Video- oder Textinhalte)

Emotionserkennung oder biometrische Kategorisierung

Erstellung von Deepfakes

KI-Modelle mit systemischem Risiko (Art. 55 KI-VO)

KI-Modelle mit allgemeinem Verwendungszweck bilden eine eigene Kategorie in der KI-Verordnung. Anders als bei den anderen Risikokategorien liegt der Fokus hier nicht auf den spezifischen Anwendungsfällen, sondern auf den zugrunde liegenden Modellen selbst.

KI-Modelle mit allgemeinem Verwendungszweck, die eine besonders hohe Leistungsfähigkeit aufweisen, werden als KI-Modelle mit systemischem Risiko eingestuft. Diese Einstufung basiert auf technischen Merkmalen, die von der EU-Kommission noch konkret festgelegt werden. Ein systemisches Risiko wird jedoch bereits dann vermutet, wenn die Rechenleistung, mit der das Modell trainiert wurde, 10²⁵ FLOPs (Gleitkommaoperationen) übersteigt.

Einen Überblick über veröffentlichte KI-Modelle und deren Rechenleistung bietet Ihnen die Website des Forschungsinstituts Epoch AI (verfügbar in englischer Sprache).

Geringes Risiko

Selbst wenn ein KI-System als gering risikobehaftet eingestuft wird, bleiben Anbieter und Betreiber in der Pflicht: Der AI Act verlangt, dass Mitarbeitende und beauftragte Personen über ausreichende KI-Kompetenzen („AI Literacy“) verfügen. Zusätzlich unterstützt die EU gemäß Art. 95 AI Act die Entwicklung von Verhaltenskodizes und Governance-Mechanismen durch die Branche, um den verantwortungsvollen Einsatz von KI sicherzustellen.

Wichtig:

Die Risikoklassen im AI Act gelten kumulativ, was bedeutet, dass eine KI-Anwendung mehreren Risikokategorien gleichzeitig zugeordnet werden kann.

Wer ist für die Risikoklassifizierung von KI verantwortlich?

Für die Verantwortlichkeit der Risikoklassifizierung von KI gibt es keine spezifische gesetzliche Vorgabe, sodass Unternehmen eigenständig Zuständigkeiten definieren und geeignete Prozesse zur Bewertung und Einstufung ihrer KI-Systeme entwickeln müssen.

In der Praxis werden die Verantwortlichkeiten in einer internen KI-Richtlinie geregelt.
Da die Risikoklassifizierung die Compliance-Anforderungen eines KI-Systems bzw. KI-Modells bestimmt und bei Falschklassifizierung Bußgelder drohen, sollten fachkundige ExpertInnen diesen Prozess leiten.

Die Einbeziehung verschiedener Abteilungen ist sinnvoll, u. a.

AI-Officer

Rechtsabteilung / General Counsel

ggfs. Datenschutzbeauftragte/r

IT-Abteilung (z. B. IT Asset Manager)

Fachabteilungen, die die jeweilige KI einsetzen: Aufgrund der Wichtigkeit der Zweckbestimmung

Risikoklassifizierung als strukturierter Prozess

Wie bereits erwähnt, können die Risikoklassen kumulativ gelten. In der Praxis bedeutet das, dass jede KI-Anwendung bzw. jedes KI-Modell auf alle möglichen Risikokategorien geprüft werden sollte. Um den Prüfprozess effizienter zu gestalten, ist es sinnvoll, zwischen der KI-Anwendung und dem zugrunde liegenden KI-Modell zu unterscheiden.

Wie klassifiziere ich KI-Anwendungen strukturiert?

Handelt es sich um eine KI-Anwendung (auch KI-System genannt) müssen folgende Risikoklassen in Betracht gezogen werden:

Verbotene KI-Praktiken

Hochrisiko-KI

Mittleres Risiko

Geringes Risiko

Im ersten Schritt wird überprüft, ob die KI-Anwendung eine der verbotenen Praktiken gemäß Art. 5 der KI-Verordnung anwendet.

Im zweiten Schritt folgt die Bewertung, ob die KI-Anwendung in den Bereich der Hochrisiko-KI fällt. Dabei sind folgende Fragen zu klären:

Handelt es sich bei der KI-Anwendung um ein Produkt oder einen sicherheitsrelevanten Bestandteil eines Produkts, das gemäß den Harmonisierungsvorschriften der EU (Annex I der KI-VO) einer Konformitätsbewertung unterzogen werden muss?

Fällt die Anwendung in eines der in Annex III der KI-Verordnung definierten Einsatzfelder?

Wichtig:

Für die in Annex III genannten Einsatzfelder gelten spezifische Ausnahmen und Rückausnahmen. Wenn die KI-Anwendung im Einzelfall keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung hat, kann eine Ausnahme greifen. Wird jedoch Profiling durchgeführt, greift eine Rückausnahme, und die Anwendung ist in jedem Fall als hochriskant einzustufen.

Im dritten Schritt wird geprüft, ob die KI-Anwendung unter die Bestimmungen von Art. 50 der KI-Verordnung fällt und somit als mittleres Risiko eingestuft wird. Entscheidend ist hierbei die Interaktion mit natürlichen Personen. Transparenzpflichten ergeben sich in diesem Zusammenhang je KI-System für Anbieter oder Betreiber.

Transparenzpflichten für Betreiber gelten für KI-Systeme, die Deepfakes erstellen oder Emotionserkennung sowie biometrische Kategorisierung durchführen.

Transparenzpflichten für Anbieter greifen bei KI-Systemen, die in direkter Interaktion mit natürlichen Personen stehen oder synthetische Inhalte erzeugen.

Im vierten – freiwilligen – Prüfschritt kann bewertet werden, ob ein geringes Risiko vorliegt. Dabei orientiert man sich an Leitlinien, die Unternehmen auf freiwilliger Basis einhalten können. Konkrete Vorgaben hierzu wurden bislang noch nicht veröffentlicht.

Wie klassifiziere ich KI-Modelle strukturiert?

Handelt es sich um ein KI-Modell mit allgemeinem Verwendungszweck, sind zwei Risikoklassen zu berücksichtigen:

Systemisches Risiko

Geringes Risiko

Im ersten Prüfschritt ist zu klären, ob ein systemisches Risiko vorliegt. Die Risikoklassifizierung solcher KI-Modelle hängt davon ab, ob das Modell über Fähigkeiten mit hohem Wirkungsgrad verfügt. Der bisher maßgebliche Indikator für diese Einschätzung ist die kumulierte Rechenleistung, die beim Training des Modells verwendet wurde, gemessen in Gleitkommaoperationen (FLOPs).

Liegt die Rechenleistung über 10²⁵ FLOPs, wird das Modell als systemisches Risiko eingestuft.

Zusätzliche Kriterien sind in Anhang XIII der KI-Verordnung festgelegt. Ein weiteres Indiz für einen hohen Wirkungsgrad ist, wenn das Modell in der EU von mehr als 10.000 gewerblichen Nutzern verwendet wird.

Wichtig:

Die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck richten sich ausschließlich an die Anbieter dieser Modelle.

Wie sollte ich die KI-Risikoklassifizierung dokumentieren?

Angesichts der rechtlichen Auswirkungen der Risikoklassifizierung von KI-Systemen sollte der Prüfprozess sorgfältig und umfassend dokumentiert werden – insbesondere bei der Frage, ob es sich um eine Hochrisiko-KI handelt oder nicht.

Es empfiehlt sich, ein KI-Register zu führen, das unter anderem folgende Informationen enthält:

Zweckbestimmung der KI-Anwendung

Beschreibung der Funktionsweise der KI-Anwendung

Interne Verantwortlichkeiten für Entwicklung, Betrieb und Überwachung

KI-Asset-Beschreibung

Darüber hinaus sollten Sie für jede Risikoklassifizierung nachvollziehbar dokumentieren, wie die Einstufung vorgenommen wurde. Diese Nachweise sollten bei Bedarf auch extern – etwa gegenüber Aufsichtsbehörden – vorgelegt werden können.

Ein rechtliches Gutachten, das alle potenziellen Risikokategorien berücksichtigt, kann hierbei eine wertvolle Unterstützung sein, um den Klassifizierungsprozess rechtssicher zu gestalten.

Wieso ist KI-Risikoklassifizierung keine einmalige Aufgabe?

Die Risikoklassifizierung Ihrer KI-Anwendung ist keine statische Aufgabe – sie kann sich im Laufe der Zeit aufgrund interner und externer Faktoren verändern. Daher sollte die Klassifizierung als kontinuierlicher Prozess verstanden und regelmäßig überprüft werden.

1. Änderungen der Zweckbestimmung
KI-Systeme sind, ähnlich wie klassische Software, dynamisch und entwickeln sich stetig weiter. Neue Anwendungsbereiche oder Funktionserweiterungen können die ursprüngliche Zweckbestimmung verändern. Dies kann eine Neuklassifizierung erforderlich machen, da sich die Risikoeinstufung an der jeweiligen Nutzung orientiert.

2. Neue rechtliche Entwicklungen
Auch rechtliche Rahmenbedingungen sind im Wandel. Die EU-Kommission und benannte Stellen werden in den kommenden Monaten und Jahren voraussichtlich neue Leitlinien zur Einstufung von KI-Systemen veröffentlichen – insbesondere für Hochrisiko-KI. Zudem können die in Anhang I und III definierten Bereiche laufend angepasst werden, was Auswirkungen auf die Risikoklassifizierung haben kann.

Dasselbe gilt für die anderen Risikoklassen: Die KI-Verordnung räumt der EU bewusst einen rechtlichen Gestaltungsspielraum für zukünftige technologische Entwicklungen ein, um flexibel auf Innovationen reagieren zu können.

Fazit:

Um rechtliche Sicherheit zu gewährleisten und Compliance-Risiken zu minimieren, empfiehlt es sich, die Risikoklassifizierung als wiederkehrenden Prozess zu etablieren. So können Unternehmen zeitnah auf Änderungen in der Zweckbestimmung oder im regulatorischen Umfeld reagieren.

Auf dieser Seite

Primary Item (H2)

Prozess für die KI-Risikoklassifizierung

Welche Risikoklassen gibt es in der KI-Verordnung?

Wer ist für die Risikoklassifizierung von KI verantwortlich?

Risikoklassifizierung als strukturierter Prozess

Wie klassifiziere ich KI-Anwendungen strukturiert?

Wie klassifiziere ich KI-Modelle strukturiert?

Wie sollte ich die KI-Risikoklassifizierung dokumentieren?

Wieso ist KI-Risikoklassifizierung keine einmalige Aufgabe?

Fazit:

Diesen Beitrag teilen

Ähnliche Beiträge

KI Richtlinie - Guide und Vorlage

Übersicht der Pflichten der KI-VO je Risikoklasse

KI-VO-Wörterbuch in 10 Sprachen

Dafür fehlt mir
die Zeit caralegal

Prozess für die KI-Risikoklassifizierung

Welche Risikoklassen gibt es in der KI-Verordnung?

Wer ist für die Risikoklassifizierung von KI verantwortlich?

Risikoklassifizierung als strukturierter Prozess

Wie klassifiziere ich KI-Anwendungen strukturiert?

Wie klassifiziere ich KI-Modelle strukturiert?

Wie sollte ich die KI-Risikoklassifizierung dokumentieren?

Wieso ist KI-Risikoklassifizierung keine einmalige Aufgabe?

Fazit:

Diesen Beitrag teilen

Ähnliche Beiträge

KI Richtlinie - Guide und Vorlage

Übersicht der Pflichten der KI-VO je Risikoklasse

KI-VO-Wörterbuch in 10 Sprachen

Dafür fehlt mirdie Zeit caralegal

Dafür fehlt mir
die Zeit caralegal