Pratiques d'IA interdites au titre du Reglement sur l'IA de l'UE

L'article 5 du Reglement sur l'IA de l'UE (Reglement 2024/1689) trace une ligne nette. Certaines utilisations de l'intelligence artificielle sont considerees comme si fondamentalement incompatibles avec les valeurs de l'UE -- la dignite humaine, la non-discrimination, la democratie et l'etat de droit -- qu'elles sont interdites purement et simplement, quelles que soient les garanties qu'un fournisseur ou un deployer pourrait mettre en place.

Ces interdictions ont pris effet le 2 fevrier 2025, ce qui en fait les premieres dispositions du reglement a devenir applicables. Les violations sont passibles des sanctions les plus elevees : jusqu'a 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial.

Unacceptable Risk

Cet article examine chaque pratique interdite en detail, explique le raisonnement derriere l'interdiction et identifie les exceptions limitees la ou elles existent.

1. Techniques d'IA manipulatrices et trompeuses

L'article 5, paragraphe 1, point a) interdit la mise sur le marche, la mise en service ou l'utilisation de systemes d'IA qui deploient des techniques subliminales au-dela de la conscience d'une personne, ou des techniques intentionnellement manipulatrices ou trompeuses, dans le but ou avec l'effet de fausser de maniere substantielle le comportement d'une personne d'une maniere qui cause ou est raisonnablement susceptible de causer un prejudice significatif.

Ce que cela couvre

Cette interdiction cible les systemes d'IA concus pour manipuler la prise de decision humaine de manieres que les gens ne peuvent percevoir ou auxquelles ils ne peuvent resister. Par exemple :

• Des interfaces pilotees par l'IA qui utilisent des schemas trompeurs renforces par des algorithmes de personnalisation pour manipuler les decisions d'achat d'une maniere qui cause un prejudice financier
• Des systemes qui deploient des stimuli audio ou visuels subliminaux pour influencer le comportement sans que la personne en ait conscience
• Des systemes de persuasion bases sur l'hypertrucage concus pour tromper les gens et les amener a agir contre leurs interets
• Des systemes d'IA qui exploitent les biais cognitifs de maniere systematique et personnalisee pour fausser le comportement

Nuances importantes

L'interdiction exige que la manipulation cause ou soit raisonnablement susceptible de causer un prejudice significatif -- physique, psychologique ou financier. La publicite standard, les algorithmes de recommandation et la conception persuasive ne sont pas automatiquement interdits. Le seuil est la manipulation qui va au-dela de l'influence legitime et entre dans le territoire de l'exploitation ou de la tromperie.

2. Exploitation des vulnerabilites

L'article 5, paragraphe 1, point b) interdit les systemes d'IA qui exploitent les vulnerabilites d'une personne ou d'un groupe de personnes specifique en raison de leur age, de leur handicap ou de leur situation sociale ou economique specifique, dans le but ou avec l'effet de fausser de maniere substantielle leur comportement d'une maniere qui cause ou est raisonnablement susceptible de causer un prejudice significatif.

Ce que cela couvre

Cela va au-dela de l'interdiction generale de la manipulation pour proteger specifiquement les groupes qui peuvent etre moins aptes a identifier ou a resister a l'influence pilotee par l'IA :

• Des systemes d'IA ciblant les personnes agees avec des produits financiers trompeurs concus pour exploiter leur culture numerique reduite
• Des systemes de jeux ou d'applications concus pour exploiter la susceptibilite des enfants aux mecanismes addictifs
• Des algorithmes de pret predateurs qui ciblent specifiquement les personnes en difficulte financiere
• Des systemes d'arnaque alimentes par l'IA qui profilent et ciblent les personnes sur la base d'indicateurs de declin cognitif

Relation avec l'interdiction de la manipulation

Alors que l'article 5, paragraphe 1, point a), s'applique a la population generale, cette disposition s'applique meme lorsque le seuil de manipulation pourrait etre plus bas. La vulnerabilite du groupe concerne signifie que des techniques moins agressives peuvent encore franchir la limite du territoire interdit.

3. Notation sociale par les autorites publiques

L'article 5, paragraphe 1, point c) interdit les systemes d'IA utilises par les autorites publiques (ou en leur nom) pour evaluer ou classer des personnes physiques sur une certaine periode sur la base de leur comportement social ou de leurs caracteristiques personnelles connues, deduites ou prevues, lorsque le score social qui en resulte entraine :

• Un traitement prejudiciable ou defavorable de personnes dans des contextes sociaux sans rapport avec les contextes dans lesquels les donnees ont ete generees ou collectees a l'origine, ou
• Un traitement prejudiciable ou defavorable qui est injustifie ou disproportionne par rapport a leur comportement social ou a sa gravite

Ce que cela couvre

Il s'agit de l'interdiction du « systeme de credit social a la chinoise ». Elle empeche les autorites publiques de :

• Agreger des donnees provenant de multiples domaines de la vie d'une personne (comportement financier, activite sur les reseaux sociaux, habitudes de deplacement) en un score comportemental unique qui determine l'acces aux services publics
• Utiliser l'IA pour creer des notations de fiabilite des citoyens qui affectent les droits ou les prestations
• Deployer des systemes de police predictive qui attribuent des scores de risque aux individus sur la base de leur comportement social et utilisent ces scores pour justifier des restrictions preventives

Ce que cela ne couvre pas

L'interdiction vise specifiquement les autorites publiques. La notation de credit du secteur prive, l'evaluation des risques d'assurance et les pratiques similaires ne sont pas interdites par cette disposition -- bien qu'elles puissent etre classees comme a haut risque au titre de l'annexe III et soumises a des exigences strictes.

De plus, l'interdiction exige que le traitement prejudiciable soit soit (a) dans un contexte sans rapport, soit (b) disproportionne. Une autorite publique utilisant l'IA pour evaluer un comportement pertinent dans le meme contexte (par exemple, des donnees de conformite fiscale pour evaluer le risque fiscal) ne tomberait pas automatiquement sous le coup de cette interdiction.

4. Police predictive individuelle

L'article 5, paragraphe 1, point d) interdit les systemes d'IA qui effectuent des evaluations de risque de personnes physiques pour evaluer ou predire le risque qu'une personne commette une infraction penale, fondes uniquement sur le profilage d'une personne ou sur l'evaluation de ses traits de personnalite et de ses caracteristiques.

Ce que cela couvre

Cela interdit la police predictive fondee uniquement sur le profilage -- des systemes qui signalent des individus comme des criminels probables sur la base de qui ils sont plutot que de ce qu'ils ont fait :

• Des systemes d'IA qui predisent la probabilite qu'un individu commette un crime sur la base de donnees demographiques, d'evaluations de la personnalite ou de caracteristiques sociales
• Des outils de notation du risque qui evaluent la propension criminelle sur la base du quartier, de l'historique familial ou d'indicateurs socio-economiques seuls

L'exception critique

L'interdiction ne s'applique pas aux systemes d'IA qui soutiennent l'evaluation humaine de l'implication dans une activite criminelle fondee sur des faits objectifs et verifiables directement lies a une activite criminelle. En d'autres termes, l'IA qui aide a analyser les preuves d'un comportement criminel reel est autorisee ; l'IA qui predit la criminalite future sur la base des seules caracteristiques personnelles ne l'est pas.

5. Extraction non ciblee pour les bases de donnees de reconnaissance faciale

L'article 5, paragraphe 1, point e) interdit les systemes d'IA qui creent ou elargissent des bases de donnees de reconnaissance faciale par l'extraction non ciblee d'images faciales a partir d'internet ou de la videosurveillance.

Ce que cela couvre

Cette disposition cible directement des pratiques telles que celles de Clearview AI, qui a constitue une base de donnees de reconnaissance faciale en extrayant des milliards d'images des reseaux sociaux et de l'internet public :

• L'exploration de plateformes de medias sociaux, de sites d'information ou de sites web publics pour collecter des images faciales aux fins de constitution de bases de donnees biometriques
• L'exploitation de la videosurveillance pour constituer des bases de donnees d'identification sans la connaissance ou le consentement des personnes capturees
• Toute collecte systematique et non ciblee d'images faciales pour entrainer ou alimenter des systemes de reconnaissance faciale

Ce que cela ne couvre pas

L'interdiction porte sur l'extraction non ciblee. Les bases de donnees de reconnaissance faciale constituees a partir d'images collectees avec une base juridique appropriee -- par exemple, les bases de donnees de photos d'identite judiciaire maintenues par les forces de l'ordre en vertu d'une autorite legale specifique, ou les bases de donnees constituees a partir d'images fournies avec un consentement eclaire -- ne sont pas interdites par cette disposition. Toutefois, elles peuvent etre soumises aux exigences du RGPD et a d'autres obligations du Reglement sur l'IA.

6. Reconnaissance des emotions sur le lieu de travail et dans l'education

L'article 5, paragraphe 1, point f) interdit les systemes d'IA qui inferent les emotions d'une personne physique dans les domaines du lieu de travail et de l'education, sauf lorsque le systeme d'IA est destine a etre mis en place ou utilise pour des raisons medicales ou de securite.

Ce que cela couvre

Cela interdit l'utilisation de l'IA de reconnaissance des emotions dans deux contextes specifiques :

• Lieux de travail : Systemes d'IA qui surveillent les expressions faciales, le ton de la voix ou les signaux physiologiques des employes pour evaluer leur etat emotionnel -- aux fins d'evaluation des performances, de suivi de l'engagement ou de gestion
• Etablissements d'enseignement : Systemes qui suivent les emotions des etudiants pendant les cours ou les examens -- que ce soit pour la surveillance de l'attention, la notation de l'engagement ou l'evaluation comportementale

L'exception medicale et de securite

La reconnaissance des emotions est autorisee sur le lieu de travail et dans les etablissements d'enseignement lorsqu'elle est utilisee pour :

• Des fins medicales : Systemes qui detectent des signes de detresse, de fatigue ou d'etats medicaux (comme la surveillance de la vigilance d'un chauffeur de camion ou la detection de signes d'urgence medicale chez un etudiant)
• Des raisons de securite : Systemes concus pour assurer la securite physique (comme la detection de la somnolence chez les operateurs de machines lourdes)

7. Categorisation biometrique pour les attributs sensibles

L'article 5, paragraphe 1, point g) interdit les systemes d'IA qui categorisent des personnes physiques sur la base de leurs donnees biometriques pour deduire ou inferer des caracteristiques sensibles, en particulier :

• La race ou l'origine ethnique
• Les opinions politiques
• L'appartenance syndicale
• Les convictions religieuses ou philosophiques
• La vie sexuelle ou l'orientation sexuelle

Ce que cela couvre

Cela interdit les systemes d'IA qui analysent les traits du visage, la demarche, les modeles vocaux ou d'autres donnees biometriques pour classer les personnes dans des categories fondees sur des caracteristiques protegees :

• Des systemes d'analyse faciale qui pretendent determiner l'ethnicite, la religion ou l'orientation sexuelle d'une personne
• Des outils d'analyse vocale qui tentent d'inferer les tendances politiques
• Des systemes d'analyse de la demarche qui categorisent les personnes par race

Ce que cela ne couvre pas

L'interdiction s'applique a la categorisation biometrique -- la classification systematique des individus. Elle n'interdit pas tout traitement de donnees biometriques. Par exemple, le traitement de donnees biometriques a des fins de verification d'identite (comme la reconnaissance d'empreintes digitales ou faciale pour l'authentification) ne releve pas de cette disposition, bien qu'il reste soumis au RGPD et potentiellement aux exigences relatives aux systemes d'IA a haut risque.

Le reglement prevoit egalement une exception pour l'etiquetage ou le filtrage de jeux de donnees biometriques legalement acquis dans le domaine des forces de l'ordre -- par exemple, le filtrage d'images par couleur de cheveux pour affiner une recherche dans le cadre d'une enquete criminelle.

8. Identification biometrique a distance en temps reel dans les espaces publics

L'article 5, paragraphe 1, point h) interdit l'utilisation de systemes d'identification biometrique a distance en temps reel dans les espaces accessibles au public a des fins de repression, sous reserve d'exceptions specifiques.

Ce que cela couvre

Il s'agit de l'interdiction la plus debattue du reglement. Elle interdit la reconnaissance faciale en direct et d'autres formes d'identification biometrique en temps reel dans les espaces publics par ou pour les forces de l'ordre :

• Des systemes de videosurveillance en direct qui identifient automatiquement des individus en comparant leurs visages avec une liste de surveillance
• Le suivi en temps reel des pietons par reconnaissance de la demarche ou d'autres identifiants biometriques
• Des dispositifs d'identification biometrique mobiles utilises par la police pour identifier des personnes en public en temps reel

Les exceptions limitees

Contrairement aux autres interdictions, celle-ci s'accompagne d'exceptions soigneusement definies. L'identification biometrique a distance en temps reel dans les espaces publics par les forces de l'ordre n'est autorisee que pour :

1. La recherche ciblee de victimes d'enlevement, de traite ou d'exploitation sexuelle, et la recherche de personnes disparues
2. La prevention d'une menace specifique, substantielle et imminente pour la vie ou la securite physique des personnes, ou d'une menace reelle et actuelle ou previsible d'attaque terroriste
3. L'identification d'un suspect d'une infraction penale passible d'une peine privative de liberte d'au moins quatre ans (pour des infractions specifiques enumerees dans le reglement)

Garanties pour les exceptions

Meme lorsque ces exceptions s'appliquent, l'article 5, paragraphe 2, impose des conditions strictes :

• Chaque utilisation doit etre autorisee par une autorite judiciaire ou une autorite administrative independante (avec un controle judiciaire ex post dans les 24 heures en cas d'urgence)
• L'utilisation doit etre necessaire et proportionnee -- l'autorite doit realiser une evaluation d'impact sur les droits fondamentaux
• L'utilisation doit etre limitee dans le temps, dans le champ geographique et dans le nombre de personnes ciblees
• Chaque utilisation doit etre notifiee a l'autorite de surveillance du marche et a l'autorite de protection des donnees competentes
• Chaque utilisation doit etre enregistree dans la base de donnees de l'UE pour les systemes d'IA a haut risque

Comment les pratiques interdites interagissent avec la classification des risques

Le cadre fonde sur les risques du Reglement sur l'IA de l'UE place les pratiques interdites au sommet :

Unacceptable Risk Interdites purement et simplement -- aucune mesure de conformite ne peut les rendre licites.

High Risk Soumises a des exigences strictes mais autorisees avec des garanties.

Limited Risk Principalement soumises a des obligations de transparence.

Minimal Risk Aucune obligation specifique (codes de conduite volontaires encourages).

La distinction fondamentale est que les systemes a haut risque peuvent devenir conformes grace a des mesures techniques et organisationnelles. Les pratiques interdites ne le peuvent pas. Si votre systeme d'IA releve de l'article 5, la seule voie conforme est de ne pas le deployer -- ou de le reconcevoir fondamentalement afin qu'il ne reponde plus aux criteres d'interdiction.

Ce que les organisations doivent faire maintenant

Les interdictions sont applicables depuis le 2 fevrier 2025. Les organisations doivent prendre des mesures immediates :

1. Auditez votre portefeuille d'IA

Examinez chaque systeme d'IA que vous developpez, deployez ou distribuez. Pour chaque systeme, evaluez si un aspect de sa fonctionnalite pourrait relever des interdictions de l'article 5. Portez une attention particuliere aux :

• Systemes impliquant le traitement de donnees biometriques
• Systemes qui personnalisent le contenu ou les recommandations de manieres pouvant etre considerees comme manipulatrices
• Systemes utilises dans les RH, l'education ou la prise de decision dans le secteur public
• Systemes qui profilent ou categorisent des individus

2. Documentez votre analyse

Pour tout systeme qui opere dans un domaine adjacent a une interdiction (par exemple, un systeme de recommandation, un outil d'analyse RH ou un systeme d'authentification biometrique), documentez votre analyse de la raison pour laquelle il ne releve pas des categories interdites. Cette documentation sera inestimable si votre classification est un jour remise en question par un regulateur.

3. Mettez en oeuvre des garanties techniques

Lorsqu'un systeme pourrait theoriquement etre reaffecte a un usage interdit, mettez en oeuvre des controles techniques qui empechent une telle reaffectation. Par exemple, si vous fournissez une technologie de reconnaissance faciale pour la verification d'identite, assurez-vous que l'architecture de votre systeme empeche son utilisation pour l'extraction non ciblee ou la categorisation biometrique d'attributs sensibles.

4. Formez vos equipes

Assurez-vous que les chefs de produit, les ingenieurs, les data scientists et les equipes d'approvisionnement comprennent les pratiques interdites et peuvent identifier les problemes potentiels tot dans le cycle de developpement ou d'approvisionnement.

Conclusion

Les pratiques interdites du Reglement sur l'IA de l'UE representent la declaration de principe la plus claire du reglement : certaines utilisations de l'IA sont tout simplement inacceptables dans une societe democratique. De la notation sociale aux techniques subliminales manipulatrices, de l'extraction non ciblee de reconnaissance faciale a la surveillance des emotions dans les ecoles et sur les lieux de travail, ces interdictions definissent les limites exterieures de l'utilisation licite de l'IA en Europe.

Avec une application deja active et des sanctions pouvant atteindre 7 % du chiffre d'affaires mondial, comprendre ces interdictions n'est pas optionnel. Chaque organisation touchant a l'IA sur le marche de l'UE doit savoir exactement ou se trouvent les lignes rouges -- et s'assurer qu'elle se trouve du bon cote de celles-ci.