Menschliche Aufsicht nach der KI-Verordnung

Hochrisiko-KI-Systeme greifen tief in die Lebensrealitäten von Menschen ein. Sie beeinflussen zum Beispiel, wer eingestellt wird, wer einen Kredit erhält, welche medizinische Behandlung empfohlen wird oder wie staatliche Entscheidungen vorbereitet werden.

Genau deshalb stuft die KI-VO bestimmte Anwendungen nach Artikel 6. KI-VO als hochriskant ein. Der Gesetzgeber geht davon aus, dass hier erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte entstehen können.

Menschliche Aufsicht ist in diesem Kontext keine technische Zusatzfunktion und kein formales Compliance-Häkchen. Sie ist eine ethische und rechtliche Leitplanke.

Die zentrale Idee dahinter ist einfach: Technik kann keine Verantwortung für Entscheidungen übernehmen. Diese Verantwortung verbleibt beim Menschen und damit letztlich beim Unternehmen, welches das KI-System betreibt. Automatisierung kann Prozesse entlasten und sogar verbessern. Sie ersetzt jedoch nicht die Pflicht, die Ausgabe von Hochrisiko-KI-Systemen zu hinterfragen, Risiken zu erkennen und im Zweifel einzugreifen.

Die Pflicht zur menschlichen Aufsicht ist in der KI-VO klar geregelt und verteilt sich bewusst entlang der Wertschöpfungskette.

Anbieter werden nach Art. 14 KI-VO verpflichtet, Hochrisiko-KI so zu gestalten, dass menschliche Aufsicht überhaupt möglich ist und das sowohl durch das Systemdesign als auch durch klare Vorgaben für den Betreiber.

Betreiber wiederum sind nach Art. 26 Abs. 2 KI-VO dafür verantwortlich, diese menschliche Aufsicht organisatorisch und praktisch umzusetzen. Entscheidend ist dabei nicht die formale Zuständigkeit, sondern die tatsächliche Umsetzbarkeit im Arbeitsalltag.

Die KI-Verordnung gibt in Art. 14 Abs. 2 darauf eine klare Antwort, nämlich die Verhinderung bzw. Minimierung der Risiken für Gesundheit, Sicherheit und Grundrechte. Daraus lässt sich schließen, dass die Ausgestaltung der menschlichen Aufsicht folgende Aspekte berücksichtigen muss:

• Wirksamkeit
• Kontextabhängigkeit (bezogen auf die Zweckbestimmung des Systems) 
• Risikoadäquanz
• Realistische Umsetzbarkeit 

Daher kann es keine One-Size-Fits-All Lösung für die menschliche Aufsicht geben. Im Gegenteil: Jeder Hochrisiko-KI-Anwendungsfall muss individuell betrachtet werden.

Die KI-VO verteilt Pflichten ganz bewusst entlang der Wertschöpfungskette. Wie bereits beschrieben, betreffen die Pflichten zur menschlichen Aufsicht sowohl Anbieter als auch Betreiber des KI-Systems.

Anbieter müssen Hochrisiko-KI so gestalten, dass menschliche Aufsicht überhaupt möglich ist. Art. 14 Abs. 4 KI-VO verpflichtet sie unter anderem dazu, das Hochrisiko-KI-System Betreibern so zur Verfügung zu stellen, dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, in der Lage sind:

• das System zu verstehen und zu überwachen
• Anomalien und Fehlfunktionen zu erkennen, 
• sich dem Automation-Bias bewusst zu bleiben, 
• Ausgaben richtig zu interpretieren, 
• zu beschließen, das KI-System nicht zu verwenden
• zu beschließen, die Ausgaben des KI-Systems zu ignorieren, außer Kraft zu setzen oder rückgängig zu machen
• den Systembetrieb mit einer “Stopptaste” zu unterbrechen.

Diese Anforderungen schlagen sich insbesondere im Systemdesign nieder und müssen in der Betriebsanleitung nach Art. 13 KI-VO festgehalten werden.

Praxistipp für Betreiber: Betreiber sollten sicherstellen, dass die Informationen in der Betriebsanleitung des Anbieters ausreichend sind, um ihren Pflichten der menschlichen Aufsicht nachkommen zu können.

Betreiber wiederum sind für die Organisation und Durchführung der menschlichen Aufsicht verantwortlich nach 26 Abs. 2 KI-VO. Dazu gehört:

• die Benennung geeigneter Personen, 
• deren Schulung und Befugnis, 
• ausreichende Zeit und Ressourcen, 
• sowie die tatsächliche Nutzung der vorgesehenen Aufsichtsfunktionen.

Nach Art. 26 Abs. 3 AI Act hat der Betreiber die Freiheit bei der Organisation der eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht.

Art. 14 Abs. 4 KI-VO macht deutlich: Menschliche Aufsicht ist mehr als die bloße Anwesenheit von Menschen. Aufsichtspersonen müssen in der Lage sein,

• das KI-System und seine Grenzen zu verstehen,
• Anomalien und Fehlfunktionen zu erkennen,
• Automatisierungs-Bias zu identifizieren,
• Ergebnisse korrekt zu interpretieren,
• die Ausgabe des Hochrisiko-Systems nicht zu verwenden, zu ignorieren, zu korrigieren oder zu übersteuern,
• und das System im Zweifel zu stoppen.

Ein Mensch, der die Ausgabe eines KI-Systems lediglich abzeichnet oder bestätigt, erfüllt diese Anforderungen nicht. 

Der „Human in the Loop“ klickt also nicht einfach nur auf einen Button. Er trifft verantwortungsvolle Entscheidungen.

Menschliche Aufsicht über KI ist nicht nur eine rechtliche Anforderung der KI-Verordnung, sondern vor allem eine Antwort auf zentrale ethische Herausforderungen, die mit dem Einsatz von KI einhergehen. Sie soll sicherstellen, dass die Ausgaben von KI-Systemen nicht automatisiert übernommen, sondern kritisch geprüft, verantwortet und eingeordnet werden können.

Eine der größten ethischen Herausforderungen ist der Automatisierungs-Bias. Menschen neigen dazu, KI-Ergebnisse unkritisch zu übernehmen, weil sie objektiv oder überlegen erscheinen. Ohne menschliche Aufsicht verfällt man schnell dem Trugschluss, dass KI eine Entscheidungsinstanz sei. 

Ein Computer kann aber keine Entscheidung treffen, da dies u. a. Bewusstsein und die Fähigkeit, Verantwortung zu übernehmen, voraussetzt. Ohne hier zu tief in die teils abenteuerlichen Debatten um Science-Fiction-artige Superintelligenz einsteigen zu wollen: 

Die Fähigkeit, eine Entscheidung zu treffen, bleibt daher ausschließlich dem Menschen vorbehalten. 

Eine weitere ethische Herausforderung ist der große Themenkomplex um Bias und Diskriminierung. KI-Systeme lernen aus bestehenden Daten und können gesellschaftliche Ungleichheiten reproduzieren oder verstärken. Das erhöht das Risiko unfairer Entscheidungen, etwa im Recruiting oder bei der Bewertung von Personen.

Viele KI-Systeme sind zudem intransparent. Von außen betrachtet wirken sie oft wie eine „Black Box“, bei der oft nicht nachvollziehbar ist, wie genau eine bestimmte Ausgabe zustande kommt. Wenn sich menschliche Entscheidungen blind auf KI-Ausgaben verlassen, wird die Entscheidung schwer erklärbar, Fehler schwer erkennbar und in der Praxis fällt es oft schwer, Verantwortlichkeiten zu benennen. Gleichzeitig können sich Fehler so massiv skalieren, denn ein einzelner Fehler kann tausendfach reproduziert werden.

Letztlich ergeben sich auch Probleme in Bezug auf Datenschutz und Überwachung. Die umfangreiche Nutzung personenbezogener Daten birgt Missbrauchsrisiken und kann zu dauerhaften Kontrollstrukturen führen. 

Zusätzlich besteht die Gefahr der Zweckentfremdung von personenbezogenen Daten, wenn KI-Systeme in sensibleren Kontexten eingesetzt werden, als ursprünglich vorgesehen.

Die menschliche Aufsicht darf in der Praxis nicht falsch interpretiert werden.

Typische Fallstricke sind:

• Zeitdruck, der echte Aufsicht unmöglich macht
• intransparente Systeme, die niemand versteht
• Aufsichtspersonen ohne Kompetenz oder Entscheidungsbefugnis
• faktische Haftungsverschiebung auf operatives Personal
• menschliche Aufsicht als bloßes Compliance-Feigenblatt

Solche Konstruktionen bergen erhebliche Risiken. Sie können zu Verstößen gegen Art. 26 Abs. 2 KI-VO führen und im Ernstfall auch zu aufsichts- oder zivilrechtlichen Konsequenzen.

„Menschliche Aufsicht im Sinne der KI-VO ist keine Person, sondern ein System aus Rollen, Rechten, Zeit, Wissen und Technik.”

Die KI-VO verlangt keine bestimmte Organisationsform. Art. 26 Abs. 3 KI-VO räumt Betreibern ausdrücklich Freiheit bei der Ausgestaltung ein.

Diese Freiheit endet jedoch dort, wo Aufsicht nicht mehr wirksam ist.

In der Praxis bewährt sich ein Rollensystem, das typischerweise die folgenden Akteure umfasst:

• Geschäftsführung: Trägt die Gesamtverantwortung für den KI-Einsatz.
• AI Compliance Officer: Koordiniert KI-VO-Pflichten, überwacht Prozesse und fungiert als Schnittstelle zwischen einzelnen Fachbereichen und als Ansprechperson für Aufsichtsbehörden.
• Fachbereiche: Verantwortlich für die sachgerechte Nutzung im jeweiligen Kontext.
• Operative KI-Nutzer: Üben menschliche Aufsicht im Einzelfall aus.

Je nach Größe der Organisation und Umfang des Einsatzes von Hochrisiko-KI-Systemen kann sich die gesamte AI Governance Organisation unterscheiden. Eine zentrale Rolle in der AI Governance Struktur sollte dabei – insbesondere beim Einsatz von Hochrisiko-KI – der AI Compliance Officer einnehmen, der als zentrale Schnittstelle im Unternehmen alle Fachbereiche in Bezug auf ihren KI-Einsatz überwacht und etwa ein Schulungskonzept entwickelt und gleichzeitig direkt an die Geschäftsführung berichtet.

Dabei muss es sich nicht notwendig um eine konkrete Person oder eine neu zu schaffende Stelle handeln, sondern es kann sich – je nach Unternehmensgröße – auch anbieten, diese Funktionen in der Rechtsabteilung zu bündeln, mit externen Dienstleistern zusammenzuarbeiten oder – wie in manchen Konerzenen üblich – gleich eine eigene „AI & Trust” Abteilung mit Schnittstellen zu anderen Compliance-Funktionen zu etablieren.

Weniger entscheidend als die konkreten Titel und Abteilungsbezeichnungen sind dabei die Ausstattung der menschlichen Aufsicht mit Kompetenz, Befugnissen und Rückendeckung.

Wirksame menschliche Aufsicht setzt Kompetenz voraus. Die KI-VO schreibt zwar keine formalen Zertifikate vor, impliziert aber klar, dass Aufsicht nur durch qualifizierte Personen erfolgen kann (Art. 26 Abs. 2 KI-VO). Standardisierte Schulungen reichen dafür nicht aus.

Erforderlich sind Schulungen, die:

• Use-Case-spezifisch sind, 
• typische Fehler und Bias adressieren, 
• Red Flags und Schwellenwerte vermitteln, 
• Eskalationswege klar machen, 
• und die Fähigkeit zur Begründung und Dokumentation von Entscheidungen stärken.

Schulungen sollten dokumentiert und regelmäßig aktualisiert werden und sind damit Teil einer belastbaren Governance-Struktur.

Die menschliche Aufsicht im Sinne der KI-VO ist keine einzelne Person und kein technisches Feature. Sie ist ein System aus klaren Rollen, echten Befugnissen, fachlichem Wissen, ausreichend Zeit und funktionierenden Eingriffsmöglichkeiten.

Betreiber von Hochrisiko-KI sind daher gut beraten, frühzeitig ein klares Zielbild für menschliche Aufsicht zu entwickeln – abgestimmt auf Anzahl, Art und Kritikalität der eingesetzten KI-Systeme.