Verbotene KI-Praktiken unter der EU-KI-Verordnung

Artikel 5 der EU-KI-Verordnung (Verordnung 2024/1689) zieht eine harte Grenze. Bestimmte Einsatzformen Künstlicher Intelligenz werden als so grundlegend unvereinbar mit den EU-Werten — Menschenwürde, Nichtdiskriminierung, Demokratie und Rechtsstaatlichkeit — angesehen, dass sie vollständig verboten sind, unabhängig von Schutzmaßnahmen, die ein Anbieter oder Betreiber einführen könnte.

Diese Verbote traten am 2. Februar 2025 in Kraft und waren damit die ersten durchsetzbaren Bestimmungen der Verordnung. Verstöße werden mit der höchsten Strafstufe geahndet: bis zu 35 Millionen EUR oder 7 % des weltweiten Jahresumsatzes.

Unacceptable Risk

Dieser Artikel untersucht jede verbotene Praktik im Detail, erläutert die Gründe für das Verbot und identifiziert die engen Ausnahmen, sofern sie bestehen.

1. Manipulative und täuschende KI-Techniken

Artikel 5 Absatz 1 Buchstabe a verbietet das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen, die unterschwellige Techniken jenseits des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzen, mit dem Ziel oder der Wirkung, das Verhalten einer Person wesentlich zu verzerren und erheblichen Schaden zu verursachen oder wahrscheinlich zu verursachen.

Was dies umfasst

Dieses Verbot zielt auf KI-Systeme ab, die darauf ausgelegt sind, menschliche Entscheidungsfindung auf eine Weise zu manipulieren, die Menschen nicht wahrnehmen oder der sie nicht widerstehen können. Beispiele sind:

• KI-gesteuerte Interfaces, die durch Personalisierungsalgorithmen verstärkte Dark Patterns nutzen, um Kaufentscheidungen auf schädigende Weise zu manipulieren
• Systeme, die unterschwellige Audio- oder visuelle Reize einsetzen, um Verhalten ohne Bewusstsein der Person zu beeinflussen
• Deepfake-gestützte Überzeugungssysteme, die Menschen zu Handlungen gegen ihre Interessen verleiten
• KI-Systeme, die kognitive Verzerrungen systematisch und personalisiert ausnutzen, um Verhalten zu verzerren

Wichtige Nuancen

Das Verbot setzt voraus, dass die Manipulation erheblichen Schaden verursacht oder wahrscheinlich verursacht — physisch, psychisch oder finanziell. Standardwerbung, Empfehlungsalgorithmen und überzeugendes Design sind nicht automatisch verboten. Die Schwelle ist Manipulation, die über legitime Beeinflussung hinausgeht und in den Bereich der Ausbeutung oder Täuschung vordringt.

2. Ausnutzung von Schwachstellen

Artikel 5 Absatz 1 Buchstabe b verbietet KI-Systeme, die Schwachstellen einer Person oder einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, mit dem Ziel oder der Wirkung, deren Verhalten wesentlich zu verzerren und erheblichen Schaden zu verursachen.

Was dies umfasst

Dies geht über das allgemeine Manipulationsverbot hinaus und schützt speziell Gruppen, die möglicherweise weniger in der Lage sind, KI-gesteuerte Beeinflussung zu erkennen oder ihr zu widerstehen:

• KI-Systeme, die ältere Menschen mit irreführenden Finanzprodukten ansprechen, die ihre geringere digitale Kompetenz ausnutzen
• Spiel- oder App-Systeme, die die Anfälligkeit von Kindern für Suchtmechanismen ausnutzen
• Räuberische Kreditvergabealgorithmen, die gezielt Menschen in finanzieller Notlage ansprechen
• KI-gestützte Betrugssysteme, die Personen auf der Grundlage von Indikatoren für kognitiven Abbau profilieren und gezielt ansprechen

Beziehung zum Manipulationsverbot

Während Artikel 5 Absatz 1 Buchstabe a für die Allgemeinbevölkerung gilt, greift diese Bestimmung auch dann, wenn die Manipulationsschwelle niedriger sein könnte. Die Verletzlichkeit der betroffenen Gruppe bedeutet, dass weniger aggressive Techniken die Grenze zum verbotenen Bereich überschreiten können.

3. Social Scoring durch Behörden

Artikel 5 Absatz 1 Buchstabe c verbietet KI-Systeme, die von Behörden (oder in deren Auftrag) zur Bewertung oder Klassifizierung natürlicher Personen über einen bestimmten Zeitraum auf der Grundlage ihres Sozialverhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Merkmale eingesetzt werden, wenn der resultierende soziale Score zu einer:

• Nachteiligen oder ungünstigen Behandlung von Personen in sozialen Kontexten führt, die keinen Bezug zu den Kontexten haben, in denen die Daten ursprünglich erhoben wurden, oder
• Nachteiligen oder ungünstigen Behandlung, die im Verhältnis zu ihrem Sozialverhalten oder dessen Schwere ungerechtfertigt oder unverhältnismäßig ist

Was dies umfasst

Dies ist das Verbot eines „Sozialkreditsystems nach chinesischem Vorbild". Es hindert Behörden daran:

• Daten aus mehreren Lebensbereichen einer Person (Finanzverhalten, Social-Media-Aktivität, Reisemuster) zu einem einzigen Verhaltens-Score zusammenzufassen, der den Zugang zu öffentlichen Dienstleistungen bestimmt
• KI zur Erstellung von Vertrauenswürdigkeitsbewertungen von Bürgern zu verwenden, die Rechte oder Ansprüche beeinflussen
• Prädiktive Polizeisysteme einzusetzen, die Personen auf der Grundlage von Sozialverhalten Risikobewertungen zuweisen und diese zur Rechtfertigung präventiver Einschränkungen nutzen

Was nicht erfasst wird

Das Verbot richtet sich speziell an Behörden. Privatwirtschaftliche Kreditbewertung, Versicherungsrisikobewertung und ähnliche Praktiken sind unter dieser Bestimmung nicht verboten — sie können jedoch gemäß Anhang III als hochriskant eingestuft und strengen Anforderungen unterworfen werden.

Darüber hinaus erfordert das Verbot, dass die nachteilige Behandlung entweder (a) in einem nicht zusammenhängenden Kontext erfolgt oder (b) unverhältnismäßig ist. Eine Behörde, die KI zur Bewertung relevanten Verhaltens im selben Kontext einsetzt (z. B. Steuer-Compliance-Daten zur Bewertung des Steuerrisikos), fällt nicht automatisch unter dieses Verbot.

4. Individuelle prädiktive Polizeiarbeit

Artikel 5 Absatz 1 Buchstabe d verbietet KI-Systeme, die Risikobewertungen natürlicher Personen vornehmen, um das Risiko einer Person, eine Straftat zu begehen, zu bewerten oder vorherzusagen, und zwar ausschließlich auf der Grundlage des Profilings einer Person oder der Bewertung ihrer Persönlichkeitsmerkmale.

Was dies umfasst

Dies verbietet rein profilingbasierte prädiktive Polizeiarbeit — Systeme, die Personen auf der Grundlage dessen, wer sie sind, und nicht dessen, was sie getan haben, als wahrscheinliche Straftäter kennzeichnen:

• KI-Systeme, die die Wahrscheinlichkeit einer Person vorhersagen, eine Straftat zu begehen, basierend auf demografischen Daten, Persönlichkeitsbewertungen oder sozialen Merkmalen
• Risikobewertungsinstrumente, die die Kriminalitätsneigung ausschließlich auf der Grundlage von Wohngebiet, Familiengeschichte oder sozioökonomischen Indikatoren bewerten

Die entscheidende Ausnahme

Das Verbot gilt nicht für KI-Systeme, die die menschliche Bewertung der Beteiligung an kriminellen Aktivitäten auf der Grundlage objektiver und überprüfbarer Fakten unterstützen, die direkt mit kriminellen Aktivitäten in Verbindung stehen. Mit anderen Worten: KI, die bei der Analyse von Beweisen tatsächlicher krimineller Handlungen hilft, ist erlaubt; KI, die künftige Kriminalität allein auf der Grundlage persönlicher Merkmale vorhersagt, ist es nicht.

5. Ungezieltes Scraping für Gesichtserkennungsdatenbanken

Artikel 5 Absatz 1 Buchstabe e verbietet KI-Systeme, die Gesichtserkennungsdatenbanken durch ungezieltes Scraping von Gesichtsbildern aus dem Internet oder von Überwachungskameras erstellen oder erweitern.

Was dies umfasst

Diese Bestimmung zielt direkt auf Praktiken wie die von Clearview AI ab, das eine Gesichtserkennungsdatenbank durch Scraping von Milliarden von Bildern aus sozialen Medien und dem öffentlichen Internet aufbaute:

• Durchsuchen von Social-Media-Plattformen, Nachrichtenseiten oder öffentlichen Websites zur Sammlung von Gesichtsbildern für den Aufbau biometrischer Datenbanken
• Abgreifen von Überwachungsaufnahmen zum Aufbau von Identifizierungsdatenbanken ohne Wissen oder Zustimmung der erfassten Personen
• Jede systematische, nicht gezielte Sammlung von Gesichtsbildern zum Training oder zur Befüllung von Gesichtserkennungssystemen

Was nicht erfasst wird

Das Verbot betrifft ungezieltes Scraping. Gesichtserkennungsdatenbanken, die aus Bildern mit ordnungsgemäßer Rechtsgrundlage aufgebaut werden — beispielsweise von Strafverfolgungsbehörden unter spezifischer gesetzlicher Ermächtigung geführte Lichtbild-Datenbanken oder Datenbanken aus Bildern, die mit informierter Einwilligung bereitgestellt wurden — sind unter dieser Bestimmung nicht verboten. Sie können jedoch DSGVO-Anforderungen und anderen Pflichten der KI-Verordnung unterliegen.

6. Emotionserkennung am Arbeitsplatz und in der Bildung

Artikel 5 Absatz 1 Buchstabe f verbietet KI-Systeme, die die Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildung erkennen, es sei denn, das KI-System dient medizinischen oder sicherheitsbezogenen Zwecken.

Was dies umfasst

Dies verbietet den Einsatz von Emotionserkennungs-KI in zwei spezifischen Kontexten:

• Arbeitsplätze: KI-Systeme, die Mimik, Stimmlage oder physiologische Signale von Mitarbeitern überwachen, um deren emotionalen Zustand zu bewerten — für Leistungsbewertung, Engagement-Tracking oder Managementzwecke
• Bildungseinrichtungen: Systeme, die Emotionen von Schülern und Studierenden während des Unterrichts oder bei Prüfungen erfassen — sei es zur Aufmerksamkeitsüberwachung, Engagement-Bewertung oder Verhaltensbewertung

Die medizinische und sicherheitsbezogene Ausnahme

Emotionserkennung ist am Arbeitsplatz und in Bildungseinrichtungen erlaubt, wenn sie folgenden Zwecken dient:

• Medizinische Zwecke: Systeme, die Anzeichen von Stress, Müdigkeit oder medizinischen Zuständen erkennen (z. B. Überwachung der Wachsamkeit von LKW-Fahrern oder Erkennung von Anzeichen eines medizinischen Notfalls bei Studierenden)
• Sicherheitsgründe: Systeme zur Gewährleistung der physischen Sicherheit (z. B. Erkennung von Schläfrigkeit bei Bedienern schwerer Maschinen)

7. Biometrische Kategorisierung nach sensiblen Merkmalen

Artikel 5 Absatz 1 Buchstabe g verbietet KI-Systeme, die natürliche Personen auf der Grundlage ihrer biometrischen Daten kategorisieren, um sensible Merkmale abzuleiten, insbesondere:

• Rasse oder ethnische Herkunft
• Politische Meinungen
• Gewerkschaftszugehörigkeit
• Religiöse oder weltanschauliche Überzeugungen
• Sexualleben oder sexuelle Orientierung

Was dies umfasst

Dies verbietet KI-Systeme, die Gesichtszüge, Gang, Stimmmuster oder andere biometrische Daten analysieren, um Personen nach geschützten Merkmalen zu klassifizieren:

• Gesichtsanalysesysteme, die behaupten, die Ethnie, Religion oder sexuelle Orientierung einer Person bestimmen zu können
• Stimmanalysewerkzeuge, die versuchen, politische Einstellungen abzuleiten
• Ganganalysesysteme, die Personen nach Rasse kategorisieren

Was nicht erfasst wird

Das Verbot gilt für biometrische Kategorisierung — systematische Klassifizierung von Personen. Es verbietet nicht jede Verarbeitung biometrischer Daten. Beispielsweise fällt die Verarbeitung biometrischer Daten zu Zwecken der Identitätsverifizierung (wie Fingerabdruck- oder Gesichtserkennung zur Authentifizierung) nicht unter diese Bestimmung, unterliegt jedoch weiterhin der DSGVO und potenziell den Anforderungen an Hochrisiko-KI-Systeme.

Die Verordnung sieht außerdem eine Ausnahme für die Kennzeichnung oder Filterung rechtmäßig erhobener biometrischer Datensätze im Bereich der Strafverfolgung vor — beispielsweise das Filtern von Bildern nach Haarfarbe zur Eingrenzung einer Suche bei strafrechtlichen Ermittlungen.

8. Biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen

Artikel 5 Absatz 1 Buchstabe h verbietet den Einsatz von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung, vorbehaltlich bestimmter Ausnahmen.

Was dies umfasst

Dies ist das am meisten diskutierte Verbot der Verordnung. Es verbietet die Echtzeit-Gesichtserkennung und andere biometrische Echtzeitidentifizierung in öffentlichen Räumen durch oder für die Strafverfolgung:

• Live-Überwachungssysteme, die Personen automatisch identifizieren, indem sie ihre Gesichter mit einer Beobachtungsliste abgleichen
• Echtzeit-Fußgängerverfolgung mittels Gangerkennung oder anderer biometrischer Identifikatoren
• Mobile biometrische Identifizierungsgeräte, die von der Polizei zur Echtzeitidentifizierung von Personen in der Öffentlichkeit eingesetzt werden

Die engen Ausnahmen

Im Gegensatz zu anderen Verboten kommt dieses mit sorgfältig definierten Ausnahmen. Biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen durch die Strafverfolgung ist nur zulässig für:

1. Gezielte Suche nach Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie Suche nach vermissten Personen
2. Abwehr einer konkreten, erheblichen und unmittelbaren Bedrohung des Lebens oder der körperlichen Unversehrtheit von Personen oder einer tatsächlichen und gegenwärtigen oder absehbaren Bedrohung durch einen Terroranschlag
3. Identifizierung eines Verdächtigen einer Straftat, die mit einer Freiheitsstrafe von mindestens vier Jahren bedroht ist (für bestimmte in der Verordnung aufgeführte Straftaten)

Schutzmaßnahmen für Ausnahmen

Auch wenn diese Ausnahmen greifen, legt Artikel 5 Absatz 2 strenge Bedingungen fest:

• Jede Nutzung muss von einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde genehmigt werden (mit nachträglicher gerichtlicher Überprüfung innerhalb von 24 Stunden in dringenden Fällen)
• Die Nutzung muss notwendig und verhältnismäßig sein — die Behörde muss eine Grundrechte-Folgenabschätzung durchführen
• Die Nutzung muss zeitlich, räumlich und hinsichtlich der Zahl der Zielpersonen begrenzt sein
• Jede Nutzung muss der zuständigen Marktüberwachungsbehörde und Datenschutzbehörde gemeldet werden
• Jede Nutzung muss in der EU-Datenbank für Hochrisiko-KI-Systeme registriert werden

Wie verbotene Praktiken mit der Risikoklassifizierung interagieren

Das risikobasierte Rahmenwerk der EU-KI-Verordnung platziert verbotene Praktiken an der Spitze:

Unacceptable Risk Vollständig verboten — kein Compliance-Aufwand kann diese rechtmäßig machen.

High Risk Strengen Anforderungen unterworfen, aber mit Schutzmaßnahmen erlaubt.

Limited Risk Primär Transparenzpflichten unterworfen.

Minimal Risk Keine spezifischen Pflichten (freiwillige Verhaltenskodizes empfohlen).

Die entscheidende Unterscheidung ist, dass Hochrisikosysteme durch technische und organisatorische Maßnahmen konform werden können. Verbotene Praktiken können das nicht. Wenn Ihr KI-System unter Artikel 5 fällt, ist die einzige konforme Handlungsoption, es nicht einzusetzen — oder es grundlegend umzugestalten, damit es nicht mehr den Verbotskriterien entspricht.

Was Organisationen jetzt tun sollten

Die Verbote sind seit dem 2. Februar 2025 durchsetzbar. Organisationen sollten sofort handeln:

1. Prüfen Sie Ihr KI-Portfolio

Überprüfen Sie jedes KI-System, das Sie entwickeln, einsetzen oder vertreiben. Bewerten Sie für jedes System, ob ein Aspekt seiner Funktionalität unter die Verbote nach Artikel 5 fallen könnte. Achten Sie besonders auf:

• Systeme, die biometrische Datenverarbeitung umfassen
• Systeme, die Inhalte oder Empfehlungen auf eine Weise personalisieren, die als manipulativ betrachtet werden könnte
• Systeme, die im Personalwesen, in der Bildung oder bei Entscheidungen des öffentlichen Sektors eingesetzt werden
• Systeme, die Personen profilieren oder kategorisieren

2. Dokumentieren Sie Ihre Analyse

Dokumentieren Sie für jedes System, das in einem an ein Verbot angrenzenden Bereich operiert (z. B. ein Empfehlungssystem, ein HR-Analytics-Tool oder ein biometrisches Authentifizierungssystem), Ihre Analyse, warum es nicht in die verbotenen Kategorien fällt. Diese Dokumentation wird von unschätzbarem Wert sein, wenn Ihre Klassifizierung jemals von einer Aufsichtsbehörde hinterfragt wird.

3. Implementieren Sie technische Schutzmaßnahmen

Wenn ein System theoretisch für einen verbotenen Einsatz umfunktioniert werden könnte, implementieren Sie technische Kontrollen, die eine solche Umfunktionierung verhindern. Wenn Sie beispielsweise Gesichtserkennungstechnologie für die Identitätsverifizierung bereitstellen, stellen Sie sicher, dass Ihre Systemarchitektur deren Nutzung für ungezieltes Scraping oder biometrische Kategorisierung sensibler Merkmale verhindert.

4. Schulen Sie Ihre Teams

Stellen Sie sicher, dass Produktmanager, Ingenieure, Datenwissenschaftler und Beschaffungsteams die verbotenen Praktiken verstehen und potenzielle Probleme früh im Entwicklungs- oder Beschaffungszyklus erkennen können.

Fazit

Die verbotenen Praktiken der EU-KI-Verordnung stellen die klarste Grundsatzerklärung der Verordnung dar: Einige Anwendungen von KI sind in einer demokratischen Gesellschaft schlicht inakzeptabel. Von Social Scoring über manipulative unterschwellige Techniken, von ungezieltem Gesichtserkennungs-Scraping bis zur Emotionsüberwachung in Schulen und am Arbeitsplatz — diese Verbote definieren die äußeren Grenzen des rechtmäßigen KI-Einsatzes in Europa.

Da die Durchsetzung bereits aktiv ist und Strafen bis zu 7 % des weltweiten Umsatzes betragen, ist das Verständnis dieser Verbote nicht optional. Jede Organisation, die mit KI auf dem EU-Markt arbeitet, muss genau wissen, wo die roten Linien verlaufen — und sicherstellen, dass sie auf der richtigen Seite steht.