Hochrisiko-KI-Systeme: Vollständige Anforderungen unter der EU-KI-Verordnung

Hochrisiko-KI-Systeme stehen im Mittelpunkt des Regulierungsrahmens der EU-KI-Verordnung. Während die Verordnung vier Risikostufen festlegt, ist es die Hochrisiko-Kategorie, die den detailliertesten und anspruchsvollsten Katalog an Compliance-Anforderungen mit sich bringt. Die Artikel 8 bis 15 der Verordnung 2024/1689 legen einen umfassenden Satz von Pflichten fest, die Anbieter erfüllen müssen, bevor sie ein Hochrisiko-KI-System in Verkehr bringen oder in Betrieb nehmen.

Dieser Artikel bietet eine detaillierte Untersuchung jeder Anforderung mit praktischen Hinweisen, wie Compliance in der Praxis aussieht.

Die Anforderungen der Artikel 8-15 gelten für Anbieter von Hochrisiko-KI-Systemen. Betreiber haben separate Pflichten gemäß Artikel 26, die jedoch stark von der Dokumentation und den Designentscheidungen der Anbieter abhängen. Beide Rollen sollten diese Anforderungen gründlich verstehen.

Artikel 8: Einhaltung der Anforderungen

Artikel 8 legt das übergreifende Prinzip fest: Hochrisiko-KI-Systeme müssen die in den Artikeln 9 bis 15 festgelegten Anforderungen unter Berücksichtigung des Verwendungszwecks des Systems sowie des allgemein anerkannten Stands der Technik erfüllen.

Dieser Artikel führt auch das Konzept der Verhältnismäßigkeit ein. Die Anforderungen müssen „unter Berücksichtigung des Verwendungszwecks des Hochrisiko-KI-Systems und des in Artikel 9 genannten Risikomanagementsystems" erfüllt werden. Dies bedeutet, dass Tiefe und Strenge der Compliance-Maßnahmen verhältnismäßig zu den spezifischen Risiken des betreffenden Systems sein sollten.

Der Standard des Stands der Technik

Der Verweis auf den „allgemein anerkannten Stand der Technik" in Artikel 8 Absatz 1 ist bedeutsam. Er bedeutet, dass die Compliance nicht an einem festen technischen Standard gemessen wird, sondern an sich entwickelnden Best Practices. Was heute als angemessenes Risikomanagement oder ausreichende Genauigkeit gilt, reicht morgen möglicherweise nicht mehr aus, wenn sich das Fachgebiet weiterentwickelt. Anbieter müssen auf dem aktuellen Stand der Entwicklungen in den Bereichen KI-Sicherheit, Fairness und Sicherheit bleiben.

Artikel 9: Risikomanagementsystem

Artikel 9 ist wohl die grundlegendste Anforderung. Er schreibt vor, dass ein Risikomanagementsystem für jedes Hochrisiko-KI-System eingerichtet, implementiert, dokumentiert und aufrechterhalten werden muss.

Was das Risikomanagementsystem umfassen muss

Das Risikomanagementsystem ist als kontinuierlicher, iterativer Prozess definiert, der über den gesamten Lebenszyklus des Hochrisiko-KI-Systems läuft. Gemäß Artikel 9 Absatz 2 muss es umfassen:

Identifizierung und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken, die das Hochrisiko-KI-System bei bestimmungsgemäßer Verwendung für Gesundheit, Sicherheit oder Grundrechte darstellen kann.

Abschätzung und Bewertung von Risiken, die entstehen können, wenn das Hochrisiko-KI-System bestimmungsgemäß und unter Bedingungen vernünftigerweise vorhersehbarer Fehlanwendung verwendet wird.

Bewertung von Risiken, die sich aus der Analyse der im Rahmen des Marktüberwachungssystems nach Artikel 72 erhobenen Daten ergeben.

Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen, die darauf ausgelegt sind, die identifizierten Risiken zu beheben.

Ansatz zur Risikominderung

Artikel 9 Absatz 4 verlangt, dass Risikomanagementmaßnahmen die Auswirkungen und möglichen Wechselwirkungen gebührend berücksichtigen, die sich aus der kombinierten Anwendung der Anforderungen ergeben. Sie müssen so beschaffen sein, dass das relevante Restrisiko in Bezug auf jede Gefahr sowie das Gesamtrestrisiko des Hochrisiko-KI-Systems als akzeptabel beurteilt wird.

Die Risikomanagementmaßnahmen müssen den allgemein anerkannten Stand der Technik berücksichtigen, einschließlich der Berücksichtigung einschlägiger harmonisierter Normen oder gemeinsamer Spezifikationen.

Testanforderungen

Artikel 9 Absätze 5-7 behandelt spezifisch das Testen. Hochrisiko-KI-Systeme müssen getestet werden, um die geeignetsten und gezielten Risikomanagementmaßnahmen zu identifizieren. Tests müssen sicherstellen, dass das System für seinen Verwendungszweck konsistent funktioniert und die Anforderungen erfüllt. Testverfahren müssen geeignet sein, den Verwendungszweck des KI-Systems zu erfüllen, und brauchen nicht über das hinausgehen, was zur Erreichung dieses Zwecks notwendig ist.

Tests müssen anhand vorab definierter Metriken und probabilistischer Schwellenwerte durchgeführt werden und die spezifischen Merkmale des Verwendungszwecks berücksichtigen.

Das Risikomanagementsystem ist kein Dokument, das Sie einmal erstellen und ablegen. Artikel 9 Absatz 1 stellt ausdrücklich fest, dass es ein „kontinuierlicher iterativer Prozess sein muss, der über den gesamten Lebenszyklus geplant und durchgeführt wird." Das bedeutet regelmäßige Aktualisierungen, wenn sich das System weiterentwickelt, neue Risiken aus dem Praxiseinsatz entstehen und sich der Stand der Technik weiterentwickelt.

Artikel 10: Daten und Datengovernance

Artikel 10 legt Anforderungen an die Daten fest, die für das Training, die Validierung und das Testen von Hochrisiko-KI-Systemen verwendet werden. Datenqualität wird als Eckpfeiler vertrauenswürdiger KI behandelt.

Trainings-, Validierungs- und Testdaten

Gemäß Artikel 10 Absatz 2 müssen Trainings-, Validierungs- und Testdatensätze Datengovernance- und Managementpraktiken unterliegen, die dem Verwendungszweck des KI-Systems angemessen sind. Diese Praktiken betreffen:

Die relevanten Designentscheidungen
Datenerhebungsprozesse und deren Herkunft sowie im Falle personenbezogener Daten den ursprünglichen Zweck der Datenerhebung
Relevante datenvorbereitende Verarbeitungsvorgänge wie Annotation, Kennzeichnung, Bereinigung, Aktualisierung, Anreicherung und Aggregation
Die Formulierung relevanter Annahmen, insbesondere in Bezug auf die Informationen, die die Daten messen und darstellen sollen
Eine Bewertung der Verfügbarkeit, Menge und Eignung der benötigten Datensätze
Untersuchung hinsichtlich möglicher Verzerrungen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, negative Auswirkungen auf die Grundrechte haben oder zu nach Unionsrecht verbotener Diskriminierung führen könnten, insbesondere wenn Datenausgaben Eingaben für künftige Operationen beeinflussen (Rückkopplungsschleifen)
Geeignete Maßnahmen zur Erkennung, Verhütung und Minderung möglicher Verzerrungen

Datensatzanforderungen

Artikel 10 Absatz 3 legt fest, dass Trainings-, Validierungs- und Testdatensätze relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig im Hinblick auf den Verwendungszweck sein müssen. Sie müssen die geeigneten statistischen Eigenschaften aufweisen, auch in Bezug auf die Personen oder Personengruppen, für die das Hochrisiko-KI-System bestimmt ist.

Besondere Bestimmungen für Verzerrungen

Artikel 10 Absatz 5 gestattet die Verarbeitung besonderer Kategorien personenbezogener Daten (wie in Artikel 9 Absatz 1 DSGVO und Artikel 10 der Richtlinie zur Strafverfolgung definiert), soweit dies für die Erkennung und Korrektur von Verzerrungen unbedingt erforderlich ist. Dies ist eine wichtige Ausnahme, die es Anbietern ermöglicht, sensible Daten speziell zum Zweck der Gewährleistung von Fairness zu verarbeiten.

Artikel 11: Technische Dokumentation

Artikel 11 verlangt von Anbietern, technische Dokumentation zu erstellen, bevor das Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird. Die Dokumentation muss aktuell gehalten werden.

Inhaltliche Anforderungen

Die technische Dokumentation muss so erstellt werden, dass sie die Konformität des Hochrisiko-KI-Systems mit den in den Artikeln 8 bis 15 festgelegten Anforderungen nachweist und den nationalen zuständigen Behörden und Benannten Stellen die notwendigen Informationen zur Bewertung der Konformität des KI-Systems bereitstellt. Sie muss mindestens die in Anhang IV aufgeführten Elemente enthalten.

Anhang IV legt umfangreiche Dokumentationsanforderungen fest, darunter:

Eine allgemeine Beschreibung des KI-Systems, seines Verwendungszwecks und des Anbieters
Eine detaillierte Beschreibung der Elemente des KI-Systems und seines Entwicklungsprozesses
Detaillierte Informationen über Überwachung, Funktionsweise und Kontrolle des KI-Systems
Eine Beschreibung des Risikomanagementsystems
Informationen über die verwendeten Daten (Trainings-, Validierungs-, Testdatensätze)
Eine Beschreibung der Maßnahmen zur menschlichen Aufsicht
Eine Beschreibung der vorab festgelegten Änderungen am System
Eine Liste der angewandten harmonisierten Normen oder gemeinsamen Spezifikationen
Eine Kopie der EU-Konformitätserklärung
Eine detaillierte Beschreibung des Systems zur Bewertung der Leistung des KI-Systems in der Nachmarktphase

Die Europäische Kommission kann Durchführungsrechtsakte erlassen, die eine gemeinsame Vorlage für die technische Dokumentation festlegen (Artikel 11 Absatz 3). Wenn verfügbar, wird die Verwendung dieser Vorlage die Compliance vereinfachen und Konsistenz gewährleisten. Bis dahin sollten Anbieter Anhang IV genau befolgen.

Artikel 12: Aufzeichnungen

Artikel 12 verlangt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie die automatische Aufzeichnung von Ereignissen (Protokollen) während des Betriebs des Systems ermöglichen.

Protokollierungsfähigkeiten

Die Protokollierungsfähigkeiten müssen die Überwachung des Betriebs des Hochrisiko-KI-Systems hinsichtlich des Auftretens von Situationen ermöglichen, die dazu führen können, dass das KI-System ein Risiko darstellt oder eine wesentliche Änderung darstellt, und die in Artikel 72 genannte Marktüberwachung erleichtern.

Gemäß Artikel 12 Absatz 2 müssen die Protokollierungsfähigkeiten mindestens umfassen:

Aufzeichnung des Zeitraums jeder Nutzung des Systems (Startdatum und -uhrzeit, Enddatum und -uhrzeit)
Die Referenzdatenbank, gegen die die Eingabedaten geprüft wurden
Eingabedaten, bei denen die Suche zu einer Übereinstimmung geführt hat
Identifizierung der natürlichen Personen, die an der Überprüfung der Ergebnisse beteiligt sind (wie in Artikel 14 Absatz 5 genannt)

Rückverfolgbarkeit

Der Zweck dieser Protokollierungsanforderungen ist die Rückverfolgbarkeit. Wenn ein Vorfall eintritt oder eine Beschwerde erhoben wird, müssen Protokolle es Behörden und Anbietern ermöglichen, nachzuvollziehen, was das System wann und auf Basis welcher Eingaben getan hat. Dies ist wesentlich für eine effektive Marktüberwachung und für Untersuchungen durch Marktüberwachungsbehörden.

Need auditable AI for compliance?

Ctrl AI provides full execution traces, expert verification, and trust-tagged outputs for every AI decision.

Learn About Ctrl AI

Artikel 13: Transparenz und Bereitstellung von Informationen an Betreiber

Artikel 13 verlangt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, um Betreibern die Interpretation der Ausgaben und deren angemessene Nutzung zu ermöglichen.

Gebrauchsanweisungen

Gemäß Artikel 13 Absatz 3 müssen Anbieter den Betreibern Gebrauchsanweisungen zur Verfügung stellen, die mindestens Folgendes umfassen:

Identität und Kontaktdaten des Anbieters
Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems, einschließlich seines Verwendungszwecks, des Genauigkeits-, Robustheits- und Cybersicherheitsniveaus sowie aller bekannten oder vorhersehbaren Umstände, die zu Risiken für Gesundheit, Sicherheit oder Grundrechte führen können
Vom Anbieter vorab festgelegte Änderungen am System
Maßnahmen zur menschlichen Aufsicht, einschließlich der technischen Maßnahmen, die die Interpretation der KI-Systemausgaben durch Betreiber erleichtern sollen
Benötigte Rechen- und Hardwareressourcen, erwartete Lebensdauer sowie Wartungs- und Pflegemaßnahmen zur Gewährleistung des ordnungsgemäßen Betriebs
Gegebenenfalls eine Beschreibung der Eingabedaten und Maßnahmen zur Sicherstellung einer angemessenen Datenqualität

Interpretierbarkeit

Die Transparenzanforderung geht über bloße Dokumentation hinaus. Artikel 13 Absatz 1 betont, dass KI-Systeme so konzipiert sein müssen, dass Betreiber die Ausgaben tatsächlich interpretieren und angemessen verwenden können. Für Hochrisiko-KI-Systeme, die Entscheidungen über Einzelpersonen treffen oder beeinflussen, bedeutet dies die Bereitstellung von Informationen über die Hauptfaktoren und gegebenenfalls die Hauptparameter, die zu einer bestimmten Ausgabe beitragen.

Artikel 14: Menschliche Aufsicht

Artikel 14 ist eines der markantesten Merkmale der EU-KI-Verordnung. Er verlangt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie während ihres Einsatzzeitraums von natürlichen Personen wirksam beaufsichtigt werden können.

Design für Aufsicht

Die menschliche Aufsicht muss vom Anbieter in das System integriert und vom Betreiber umgesetzt werden. Gemäß Artikel 14 Absatz 3 müssen die Maßnahmen den Risiken, dem Autonomiegrad und dem Nutzungskontext angemessen sein und den Aufsichtspersonen ermöglichen:

(a) Die relevanten Fähigkeiten und Grenzen des Hochrisiko-KI-Systems angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich der Erkennung und Behebung von Anomalien, Fehlfunktionen und unerwarteter Leistung.

(b) Sich der möglichen Tendenz bewusst zu bleiben, sich automatisch auf die vom System erzeugte Ausgabe zu verlassen (Automatisierungsbias), insbesondere bei Hochrisiko-KI-Systemen, die zur Bereitstellung von Informationen oder Empfehlungen für Entscheidungen natürlicher Personen verwendet werden.

(c) Die Ausgabe des Hochrisiko-KI-Systems korrekt interpretieren zu können, unter Berücksichtigung beispielsweise der verfügbaren Interpretationswerkzeuge und -methoden.

(d) In jeder konkreten Situation entscheiden zu können, das Hochrisiko-KI-System nicht zu verwenden oder die Ausgabe des Systems anderweitig zu ignorieren, zu überstimmen oder rückgängig zu machen.

(e) In den Betrieb des Hochrisiko-KI-Systems eingreifen oder das System durch einen „Stopp"-Knopf oder ein ähnliches Verfahren unterbrechen zu können, das es dem System ermöglicht, in einen sicheren Zustand zu gelangen.

Menschliche Aufsicht ist kein Stempel. Artikel 14 Absatz 4 Buchstabe a behandelt ausdrücklich den Automatisierungsbias — die Tendenz von Menschen, automatisierten Ausgaben zu folgen. Anbieter müssen Systeme so gestalten, dass sie dieser Tendenz aktiv entgegenwirken, und Betreiber müssen sicherstellen, dass das Aufsichtspersonal ordnungsgemäß geschult und befugt ist, das System zu überstimmen.

Identifizierung des Aufsichtspersonals

Gemäß Artikel 14 Absatz 5 muss das System bei Hochrisiko-KI-Systemen im Bereich der Biometrie (Anhang III, Punkt 1) so konzipiert sein, dass vom Betreiber keine Maßnahme oder Entscheidung auf der Grundlage der vom System gelieferten Identifizierung getroffen wird, es sei denn, diese wurde von mindestens zwei natürlichen Personen gesondert überprüft und bestätigt.

Artikel 15: Genauigkeit, Robustheit und Cybersicherheit

Artikel 15 legt die technischen Leistungsanforderungen für Hochrisiko-KI-Systeme in drei Dimensionen fest.

Genauigkeit

Artikel 15 Absatz 1 verlangt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in diesen Bereichen über ihren gesamten Lebenszyklus hinweg konsistent arbeiten.

Gemäß Artikel 15 Absatz 2 müssen die Genauigkeitsniveaus und die relevanten Genauigkeitsmetriken in den Gebrauchsanweisungen deklariert werden. Das bedeutet, dass Anbieter die Genauigkeit ihrer Systeme in konkreten, messbaren Begriffen definieren, messen und kommunizieren müssen.

Robustheit

Artikel 15 Absatz 4 behandelt die Robustheit und verlangt, dass Hochrisiko-KI-Systeme so widerstandsfähig wie möglich gegen Fehler, Störungen oder Inkonsistenzen sind, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, auftreten können, insbesondere aufgrund ihrer Interaktion mit natürlichen Personen oder anderen Systemen. Dies umfasst:

Technische Redundanzlösungen, die Backup- oder Ausfallsicherheitspläne umfassen können
Widerstandsfähigkeit gegen Versuche unbefugter Dritter, die Nutzung oder Leistung des Hochrisiko-KI-Systems durch Ausnutzung seiner Schwachstellen zu verändern (Adversarial Robustness)

Cybersicherheit

Artikel 15 Absatz 5 verlangt, dass Hochrisiko-KI-Systeme widerstandsfähig gegen Versuche unbefugter Dritter sind, Schwachstellen des Systems auszunutzen. Die Cybersicherheitsmaßnahmen müssen den relevanten Umständen und Risiken angemessen sein und können Maßnahmen zur Prävention und Kontrolle umfassen gegen:

Angriffe zur Manipulation von Trainingsdatensätzen (Data Poisoning)
Angriffe zur Manipulation vortrainierter Komponenten, die beim Training verwendet werden (Model Poisoning)
Eingaben, die darauf abzielen, das KI-Modell zu Fehlern zu veranlassen (Adversarial Examples oder Model Evasion)
Vertraulichkeitsangriffe
Modellfehler

Über die Artikel 8-15 hinaus: Zusätzliche Anbieterpflichten

Während die Artikel 8-15 die technischen Kern- und Prozessanforderungen definieren, stehen Anbieter von Hochrisiko-KI-Systemen vor mehreren zusätzlichen Pflichten.

Qualitätsmanagementsystem (Artikel 17)

Anbieter müssen ein Qualitätsmanagementsystem implementieren, das die Einhaltung der Verordnung sicherstellt. Das QMS muss umfassen:

Eine Strategie zur Einhaltung der Verordnung, einschließlich Konformitätsbewertungsverfahren und Management von Änderungen
Techniken, Verfahren und systematische Maßnahmen für Design, Designkontrolle und Designüberprüfung
Techniken, Verfahren und Maßnahmen für Entwicklung, Qualitätskontrolle und Qualitätssicherung
Untersuchungs-, Test- und Validierungsverfahren vor, während und nach der Entwicklung sowie deren Häufigkeit
Technische Spezifikationen einschließlich Normen
Systeme und Verfahren für das Datenmanagement
Ein Risikomanagementsystem gemäß Artikel 9
Marktüberwachung nach dem Inverkehrbringen, einschließlich der Pflichten nach Artikel 72
Verfahren für die Vorfallmeldung gemäß Artikel 73
Kommunikation mit zuständigen Behörden, anderen relevanten Akteuren und Betreibern
Systeme und Verfahren für die Aufzeichnung
Ressourcenmanagement einschließlich Versorgungssicherheitsmaßnahmen
Ein Verantwortlichkeitsrahmen

Konformitätsbewertung (Artikel 43)

Bevor ein Hochrisiko-KI-System in Verkehr gebracht werden kann, müssen Anbieter eine Konformitätsbewertung durchführen, um zu überprüfen, dass das System alle geltenden Anforderungen erfüllt. Die Art dieser Bewertung hängt vom Typ des KI-Systems ab:

Für die meisten in Anhang III aufgeführten Hochrisiko-KI-Systeme können Anbieter die Konformitätsbewertung durch interne Kontrolle (Anhang VI) auf Grundlage eines Qualitätsmanagementsystems und einer Bewertung der technischen Dokumentation durchführen.
Für Hochrisiko-KI-Systeme im Bereich der biometrischen Identifizierung (Anhang III, Punkt 1) und für Systeme gemäß Anhang I, bei denen eine Drittbewertung nach sektoraler Gesetzgebung erforderlich ist, muss eine Benannte Stelle einbezogen werden.

EU-Konformitätserklärung (Artikel 47)

Nach einer erfolgreichen Konformitätsbewertung muss der Anbieter eine EU-Konformitätserklärung für jedes KI-System erstellen und diese für 10 Jahre nach dem Inverkehrbringen oder der Inbetriebnahme des Systems aufbewahren.

CE-Kennzeichnung (Artikel 48)

Die CE-Kennzeichnung muss auf dem Hochrisiko-KI-System oder, wenn dies nicht möglich ist, auf dessen Verpackung oder Begleitdokumentation in sichtbarer, lesbarer und dauerhafter Weise angebracht werden.

Registrierung (Artikel 49)

Anbieter müssen ihr Hochrisiko-KI-System in der EU-Datenbank (eingerichtet gemäß Artikel 71) registrieren, bevor es in Verkehr gebracht oder in Betrieb genommen wird.

Marktüberwachung nach dem Inverkehrbringen (Artikel 72)

Anbieter müssen ein Marktüberwachungssystem nach dem Inverkehrbringen einrichten und dokumentieren, das der Art und den Risiken des KI-Systems verhältnismäßig ist. Das System muss aktiv und systematisch relevante Daten über die Leistung des Systems während seiner gesamten Lebensdauer sammeln, dokumentieren und analysieren.

Die Erfüllung dieser Anforderungen ist ein erhebliches Unterfangen, aber auch eine Gelegenheit, robustere, zuverlässigere und vertrauenswürdigere KI-Systeme zu bauen. Organisationen, die diese Praktiken in ihre Entwicklungsprozesse einbetten, werden bessere Produkte produzieren und gleichzeitig die Compliance sicherstellen.

Betreiberpflichten (Artikel 26)

Während sich die Anforderungen der Artikel 8-15 an Anbieter richten, haben Betreiber von Hochrisiko-KI-Systemen eigene Pflichten, die eng mit der Anbieter-Compliance verknüpft sind.

Wesentliche Betreiberanforderungen

Gemäß Artikel 26 müssen Betreiber:

Das System gemäß den Anweisungen verwenden: Betreiber müssen das Hochrisiko-KI-System gemäß den vom Anbieter bereitgestellten Gebrauchsanweisungen verwenden.
Kompetente menschliche Aufsicht zuweisen: Sicherstellen, dass natürliche Personen, die mit der menschlichen Aufsicht betraut sind, kompetent, ordnungsgemäß geschult sind und über die Befugnis und Ressourcen verfügen, ihre Rolle wirksam zu erfüllen.
Den Betrieb überwachen: Soweit der Betreiber Kontrolle über das KI-System ausübt, sicherstellen, dass die Eingabedaten relevant und hinreichend repräsentativ für den Verwendungszweck sind.
Nutzung aussetzen oder einstellen: Wenn der Betreiber Grund zur Annahme hat, dass die Nutzung des KI-Systems gemäß den Anweisungen Risiken verursachen könnte, muss er das System aussetzen und den Anbieter oder Händler informieren.
Protokolle aufbewahren: Die vom Hochrisiko-KI-System automatisch generierten Protokolle für einen Zeitraum von mindestens sechs Monaten aufbewahren (sofern nicht durch geltendes Unions- oder nationales Recht anders geregelt).
Grundrechte-Folgenabschätzung durchführen: Gemäß Artikel 27 müssen Betreiber, die Einrichtungen des öffentlichen Rechts sind oder private Einrichtungen, die öffentliche Dienstleistungen erbringen, vor dem Einsatz eines Hochrisiko-KI-Systems eine Grundrechte-Folgenabschätzung durchführen.
Arbeitnehmer informieren: Gemäß Artikel 26 Absatz 7 müssen Betreiber die Arbeitnehmervertreter und betroffenen Arbeitnehmer darüber informieren, dass sie der Nutzung eines Hochrisiko-KI-Systems unterliegen werden.

Aufbau eines Compliance-Programms

Die Erfüllung dieser Anforderungen erfordert ein strukturiertes Compliance-Programm. Hier ein praktischer Ansatz.

Phase 1: Bewertung

Inventarisieren Sie Ihre KI-Systeme, klassifizieren Sie sie im Risikorahmenwerk und identifizieren Sie, welche Systeme hochriskant sind. Führen Sie für jedes Hochrisikosystem eine Lückenanalyse anhand der Artikel 8-15 und der zusätzlichen Pflichten durch.

Phase 2: Umsetzung

Beheben Sie identifizierte Lücken systematisch. Richten Sie das Risikomanagementsystem ein, implementieren Sie Datengovernance-Praktiken, erstellen Sie technische Dokumentation, bauen Sie Protokollierungsfähigkeiten auf, gestalten Sie Mechanismen zur menschlichen Aufsicht und stellen Sie angemessene Genauigkeit, Robustheit und Cybersicherheit sicher.

Phase 3: Überprüfung

Führen Sie die Konformitätsbewertung durch, erstellen Sie die EU-Konformitätserklärung, bringen Sie die CE-Kennzeichnung an und registrieren Sie das System in der EU-Datenbank.

Phase 4: Laufende Compliance

Pflegen Sie das Marktüberwachungssystem nach dem Inverkehrbringen, aktualisieren Sie die Dokumentation bei Weiterentwicklung des Systems, melden Sie Vorfälle und überprüfen Sie regelmäßig das Risikomanagementsystem.

Fazit

Die Anforderungen an Hochrisiko-KI-Systeme unter der EU-KI-Verordnung sind umfassend und anspruchsvoll. Sie decken den gesamten Lebenszyklus eines KI-Systems ab, von der ersten Konzeption über den Einsatz bis darüber hinaus. Die Artikel 8 bis 15 schaffen einen Rahmen, der bei ordnungsgemäßer Umsetzung sicherstellt, dass Hochrisiko-KI-Systeme sicher, transparent, verantwortlich und grundrechtskonform sind.

Der Schlüssel zur Compliance liegt in der Erkenntnis, dass diese Anforderungen miteinander verknüpft sind. Das Risikomanagementsystem beeinflusst Datengovernance-Entscheidungen, die die technische Dokumentation prägen, die die Transparenz untermauert, die die menschliche Aufsicht ermöglicht. Diese Anforderungen als isolierte Checklisten zu behandeln, führt zu fragmentierter Compliance. Sie als kohärentes System zu behandeln, wird sowohl Compliance als auch bessere KI hervorbringen.

Organisationen sollten ihre Compliance-Arbeit jetzt beginnen, unter Verwendung des oben skizzierten gestaffelten Ansatzes. Die Frist August 2026 für Anhang-III-Systeme und die Frist August 2027 für Anhang-I-Systeme mögen fern erscheinen, aber die Tiefe dieser Anforderungen bedeutet, dass die Vorbereitung nicht aufgeschoben werden kann.