L'IA peut avoir de nombreux effets positifs, notamment en matière de renforcement de la sécurité des produits et des procédés, mais aussi des effets négatifs. Elle peut être préjudiciable tant sur le plan matériel (en matière de sécurité et de santé des personnes: pertes humaines, dommages aux biens) qu'immatériel (atteinte à la vie privée, restrictions du droit à la liberté d'expression, dignité humaine, discrimination à l’embauche par exemple), et impliquer des risques de types très divers. L’objectif d’un éventuel cadre réglementaire devrait consister à définir des moyens de réduire au minimum les divers risques de préjudice pouvant se présenter, notamment les plus sérieux.

Les principaux risques liés à l’utilisation de l’IA concernent l’application des règles visant à protéger les droits fondamentaux (notamment la protection des données à caractère personnel, le respect de la vie privée et la non-discrimination), ainsi que les questions liées à la sécurité³² et à la responsabilité.

Risques pour les droits fondamentaux, notamment la protection des données à caractère personnel, le respect de la vie privée, et la non-discrimination

Le recours à l'IA peut porter atteinte aux valeurs sur lesquelles l’UE est fondée et entraîner des violations des droits fondamentaux³³, tels que les droits à la liberté d'expression et de réunion, la dignité humaine, l'absence de discrimination fondée sur le sexe, l’origine raciale ou ethnique, la religion ou les convictions, le handicap, l’âge ou l’orientation sexuelle, selon le cas, la protection des données à caractère personnel, le respect de la vie privée³⁴ ou le droit à un recours juridictionnel effectif et à un procès équitable, ainsi que la protection des consommateurs. Ces risques peuvent résulter de failles dans la conception globale des systèmes d’IA (y compris en ce qui concerne le contrôle humain) ou de l’utilisation de données sans correction de biais éventuels (par exemple, un système entraîné uniquement ou principalement avec des données tirées de profils masculins fournit de moins bons résultats en ce qui concerne les femmes).

Certains algorithmes d’IA peuvent, lorsqu’ils sont utilisés pour prédire la récidive d'actes délictueux, présenter des biais de nature sexiste et raciale et fournissent des prédictions de la probabilité de récidive différentes selon qu’il s’agit de femmes ou d’hommes ou de ressortissants nationaux ou d’étrangers. Source: Tolan S., Miron M., Gomez E. and Castillo C., "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment for Juvenile Justice in Catalonia", Best Paper Award, International Conference on AI and Law, 2019.

Certains programmes d'IA pour l'analyse faciale sont entachés de biais de nature sexiste ou raciale, qui se traduisent par un faible taux d'erreur dans la détermination du sexe des hommes à peau claire mais un taux d'erreur élevé dans la détermination du sexe des femmes à peau foncée. Source: Joy Buolamwini, Timnit Gebru; Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77-91, 2018.

L'IA peut remplir de nombreuses fonctions précédemment réservées aux seuls êtres humains. Par conséquent, les particuliers et les entités juridiques feront de plus en plus l’objet d’actions et de décisions prises par ou à l’aide de systèmes d’IA, qui peuvent parfois être difficiles à comprendre ou à contester efficacement si nécessaire. De plus, l'IA accroît les possibilités de suivre et d’analyser les habitudes quotidiennes des individus. Par exemple, il existe un risque potentiel que l’IA puisse être utilisée, en violation des règles de l’UE en matière de protection des données et d’autres règles, par des autorités publiques ou d’autres entités à des fins de surveillance de masse et par des employeurs pour observer le comportement de leurs employés. Dans la mesure où elle permet d'analyser de grandes quantités de données et de repérer les corrélations entre celles-ci, l'IA peut également être utilisée pour retracer et désanonymiser les données concernant certaines personnes, créant ainsi de nouveaux risques pour la protection des données à caractère personnel, même au départ d'ensembles de données qui ne contiennent pas a priori de telles données. Certains intermédiaires en ligne ont aussi recours à l’IA pour hiérarchiser certaines informations à fournir à leurs utilisateurs et pour modérer les contenus. Les données traitées, la manière dont les applications sont conçues et les possibilités d’intervention humaine peuvent porter atteinte aux droits à la liberté d’expression, à la protection des données à caractère personnel, au respect de la vie privée et aux libertés politiques.

Les biais et la discrimination sont des risques inhérents à toute activité sociétale ou économique. Les décisions prises par des humains ne sont pas à l’abri d'erreurs et de biais. Cependant, s'ils entachent l'IA, les mêmes biais pourraient avoir un effet bien plus important, entraînant des conséquences et créant des discriminations pour beaucoup de personnes en l'absence des mécanismes de contrôle social qui régissent le comportement humain³⁵. Ces biais peuvent également prendre naissance lorsque le système «apprend» pendant qu’il fonctionne. Dans les cas où il aurait été impossible d'empêcher ou de prévoir l’émergence de ces biais lors de la phase de conception, les risques ne découleront pas d’une erreur dans la conception initiale du système mais seront plutôt la conséquence pratique des corrélations ou des structures repérées par le système dans un grand ensemble de données.

Les particularités qui caractérisent de nombreuses technologies de l'IA, notamment l'opacité («effet de boîte noire»), la complexité, l'imprévisibilité et le comportement partiellement autonome, peuvent rendre difficile la vérification de la conformité aux règles du droit de l’UE en vigueur destinées à protéger les droits fondamentaux et peuvent entraver le contrôle de l’application de celles-ci. Les autorités répressives et les personnes concernées ne disposent pas nécessairement de moyens suffisants pour vérifier comment une décision donnée, résultant de l’utilisation de l’IA, a été prise et, par conséquent, pour déterminer si les règles applicables ont été respectées. Les particuliers et les entités juridiques peuvent se heurter à des difficultés en ce qui concerne l’accès effectif à la justice lorsque ces décisions sont susceptibles d’avoir des effets négatifs pour eux.

Risques pour la sécurité et le bon fonctionnement du régime de responsabilité

Les technologies de l'IA peuvent présenter de nouveaux risques pour la sécurité des utilisateurs lorsqu’elles sont intégrées dans des produits et des services. Par exemple, à la suite d’une faille dans la technologie de reconnaissance des objets, une voiture autonome peut se tromper en identifiant un objet sur la route et causer un accident entraînant des lésions corporelles et des dommages matériels. Comme dans le cas des droits fondamentaux, ces risques peuvent être dus à des défauts de conception de la technologie d’IA, à des problèmes liés à la disponibilité et à la qualité des données ou à d'autres problèmes découlant de l’apprentissage automatique. Si certains de ces risques ne se limitent pas aux produits et services reposant sur l'IA, l'utilisation de celle-ci peut les accroître ou les aggraver.

L'absence de règles claires en matière de sécurité pour faire face à ces risques peut, outre les risques pour les individus concernés, créer une insécurité juridique pour les entreprises qui commercialisent leurs produits reposant sur l’IA dans l’UE. Les autorités de surveillance du marché et les autorités répressives peuvent se trouver dans une situation où elles ne savent pas si elles peuvent intervenir, parce qu’elles n'y sont peut-être pas habilitées et/ou ne disposent pas des capacités techniques appropriées pour inspecter les systèmes³⁶. L’insécurité juridique risque donc de faire baisser les niveaux de sécurité globaux et de nuire à la compétitivité des entreprises européennes.

La directive sur la responsabilité du fait des produits prévoit qu'un fabricant est responsable des dommages causés par un produit défectueux. Or, avec un système fondé sur l'IA tel que la voiture autonome, il peut être difficile de prouver la défectuosité du produit le dommage survenu et le lien de cause à effet entre les deux. De plus, il peut être malaisé de déterminer de quelle manière et dans quelle mesure la directive sur la responsabilité du fait des produits s'applique à certains types de défauts, notamment s'ils résultent de faiblesses dans la cybersécurité du produit.

Si les risques pour la sécurité devaient se matérialiser, l'imprécision des exigences applicables et les caractéristiques précitées des technologies de l'IA rendraient difficile toute tentative de reconstituer l'historique des décisions potentiellement problématiques résultant de l’utilisation de systèmes d'IA. De ce fait, il serait ensuite difficile pour les personnes ayant subi un préjudice d'obtenir réparation au titre de la législation actuelle de l'UE et des États membres en matière de responsabilité³⁷.

Par conséquent, la difficulté de reconstituer l’historique des décisions potentiellement problématiques prises par des systèmes d’IA, évoquée plus haut à propos des droits fondamentaux, concerne également les questions liées à la sécurité et à la responsabilité. Les personnes ayant subi un préjudice peuvent ne pas disposer d’un accès effectif aux éléments de preuve nécessaires pour entreprendre une action en justice, par exemple, et leurs possibilités de recours peuvent se révéler moins efficaces que dans les cas où les dommages sont causés par des technologies traditionnelles. Ces risques augmenteront avec la généralisation du recours à l’IA.

En matière de sécurité et de responsabilité des produits, il existe dans l’UE un vaste corpus législatif³⁸ comprenant des règles sectorielles, complété par les législations nationales, qui est pertinent et potentiellement applicable à un certain nombre d’applications d’IA qui apparaissent.

En ce qui concerne la protection des droits fondamentaux et des droits des consommateurs, le cadre législatif de l’UE comprend des dispositions législatives telles que la directive sur l’égalité de traitement entre les personnes sans distinction de race ou d'origine ethnique³⁹, la directive sur l’égalité de traitement en matière d’emploi et de travail⁴⁰, les directives sur l’égalité de traitement entre hommes et femmes en matière d’emploi et de travail et dans l’accès à des biens et services⁴¹, ainsi qu’un certain nombre de règles relatives à la protection des consommateurs⁴² et à la protection des données à caractère personnel et au respect de la vie privée, notamment le règlement général sur la protection des données et d’autres règles sectorielles applicables à la protection des données à caractère personnel telles que la directive relative à la protection des personnes physiques à l'égard du traitement des données à caractère personnel⁴³. En outre, les règles relatives aux exigences en matière d’accessibilité applicables aux produits et services définies dans l’acte législatif européen sur l’accessibilité entreront en vigueur à partir de 2025⁴⁴. Par ailleurs, le respect des droits fondamentaux est impératif lors de la mise en œuvre d’autres actes législatifs de l’UE, notamment dans le domaine des services financiers, de la migration ou de la responsabilité des intermédiaires en ligne.

Si la législation de l’UE reste, en principe, pleinement applicable qu’il y ait ou non recours à l’IA, il importe de déterminer si son application peut suffire à faire face aux risques créés par les systèmes d’IA ou s’il est nécessaire d’adapter certains instruments juridiques spécifiques.

Par exemple, les acteurs économiques demeurent pleinement responsables de la garantie de la conformité de l’IA aux règles en vigueur en matière de protection des consommateurs. Toute exploitation algorithmique du comportement des consommateurs en infraction avec les dispositions existantes est interdite et les violations seront sanctionnées en conséquence.

La Commission estime que le cadre législatif pourrait être amélioré pour faire face aux risques et situations suivants:

• Application effective et contrôle du respect de la législation existante de l’UE et des États membres: les spécificités de l’IA créent des difficultés pour l’application correcte des législations européenne et nationale et le contrôle de leur respect. En raison du manque de transparence (opacité de l’IA), il est difficile de déceler et de prouver d’éventuelles infractions à la législation, notamment aux dispositions juridiques qui protègent les droits fondamentaux, mais aussi d'imputer la responsabilité et de remplir les conditions requises pour prétendre à une indemnisation. Par conséquent, afin de garantir une application et un contrôle du respect de la législation efficaces, il peut être nécessaire d’adapter ou de clarifier les dispositions législatives existantes dans certains domaines, par exemple en ce qui concerne la responsabilité, comme le précise le rapport qui accompagne le présent Livre blanc.
• Limitations du champ d’application de la législation existante de l’UE: la mise sur le marché des produits occupe une place centrale dans la législation de l’UE en matière de sécurité des produits. Si, dans la législation de l’UE relative à la sécurité des produits, le logiciel doit, lorsqu’il est intégré au produit final, être conforme aux règles applicables en matière de sécurité des produits, il reste à savoir si, en dehors de certains secteurs auxquels des règles explicites sont applicables⁴⁵, un logiciel autonome est couvert par la législation de l’UE en matière de sécurité des produits. La législation générale de l’UE en matière de sécurité actuellement en vigueur s’applique aux produits et non aux services, et donc pas non plus, en principe, aux services fondés sur la technologie de l’IA (par exemple, les services de santé, les services financiers ou les services de transport).
• Fonctionnalités modifiées par des systèmes d’IA: l’intégration de logiciels, notamment d’IA, dans certains produits et systèmes peut modifier le fonctionnement de ces derniers au cours de leur cycle de vie. C’est le cas, en particulier, pour les systèmes qui nécessitent de fréquentes mises à jour logicielles ou qui dépendent de l’apprentissage automatique. Ces caractéristiques peuvent créer de nouveaux risques qui n’étaient pas présents lorsque le système a été mis sur le marché. La législation existante, principalement axée sur les risques pour la sécurité présents au moment de la mise sur le marché, ne prend pas suffisamment en compte ces risques.
• Incertitude concernant la répartition des responsabilités entre différents opérateurs économiques de la chaîne d’approvisionnement: d’une manière générale, la législation de l’UE relative à la sécurité des produits impute la responsabilité au producteur du produit mis sur le marché et de l’ensemble de ses composants, tels que les systèmes d’IA. Mais si l’IA est ajoutée, après la mise sur le marché du produit, par une partie qui n’est pas le producteur, les règles manquent de clarté. En outre, la législation de l’UE en matière de responsabilité du fait des produits prévoit des dispositions en matière de responsabilité des producteurs et renvoie aux règles nationales en matière de responsabilité pour ce qui est de la responsabilité des autres acteurs de la chaîne d’approvisionnement.
• Modifications du concept de sécurité: l’utilisation de l’IA dans les produits et services peut donner naissance à des risques que la législation actuelle de l’UE n’aborde pas explicitement. Il peut s’agir de risques liés aux menaces informatiques, de risques pour la sécurité des personnes (liés, par exemple, aux nouvelles applications d’IA dans le domaine des appareils domestiques), de risques résultant de la perte de connectivité, etc. Ces risques peuvent être présents au moment de la mise sur le marché des produits ou résulter de mises à jour logicielles ou de l’auto-apprentissage en cours d’utilisation du produit. L’UE devrait tirer le meilleur parti possible des outils dont elle dispose pour améliorer sa base de connaissances sur les risques potentiels liés aux applications d’IA, notamment en s'appuyant sur l'expérience de l’Agence de l’Union européenne pour la cybersécurité (ENISA) en matière d’évaluation des menaces dans le domaine de l’IA.

Comme il est précisé plus haut, plusieurs États membres étudient déjà les possibilités de légiférer au niveau national pour relever les défis posés par l’IA, ce qui accroît le risque de fragmentation du marché. Des règles nationales divergentes sont des sources d'entraves potentielles pour les entreprises qui souhaitent vendre et exploiter des systèmes d’IA dans le marché unique. L'établissement d'une approche commune au niveau de l’UE permettrait aux entreprises européennes de bénéficier d’un accès fluide au marché et favoriserait leur compétitivité sur les marchés mondiaux.

Au vu des développements qui précèdent, la Commission conclut qu'en plus des adaptations éventuelles de la législation en vigueur, il peut s'avérer nécessaire de prévoir de nouvelles mesures législatives spécifiquement consacrées à l'IA afin de garantir l'adéquation du cadre juridique de l’UE avec les réalités commerciales et technologiques actuelles et prévues.

Un aspect essentiel du futur réglementaire spécifique relatif à l’IA consiste à déterminer son champ d'application. L’hypothèse de travail est que le cadre réglementaire s’appliquerait aux produits et services qui dépendent de l’IA. Il importe, dès lors, de définir clairement l'IA aux fins du présent Livre blanc ainsi que de toute initiative future d'élaboration de politiques.

Dans sa communication sur l’IA pour l’Europe, la Commission a proposé une première définition de l’IA⁴⁶, qui a ensuite été affinée par le groupe d’experts de haut niveau⁴⁷.

Dans tout nouvel instrument juridique, la définition de l’IA devra être suffisamment souple pour tenir compte des progrès techniques tout en étant suffisamment précise pour garantir la sécurité juridique nécessaire.

Dans le cas de la conduite autonome, par exemple, l'algorithme exploite en temps réel les données fournies par le véhicule (vitesse, consommation du moteur, amortisseurs, etc.) et les capteurs balayant intégralement l'environnement de la voiture (route, signalisation, autres véhicules, piétons, etc.) pour décider de la direction, de l'accélération et de la vitesse à adopter par la voiture pour atteindre une destination donnée. En fonction des données observées, l'algorithme s'adapte à la situation routière et aux conditions extérieures, y compris le comportement des autres conducteurs, pour choisir les modalités de conduite les plus confortables et les plus sûres.

Aux fins du présent Livre blanc ainsi que des débats qui pourront avoir lieu sur d'autres initiatives éventuelles, il semble important de préciser les principaux éléments dont se compose l'IA, à savoir les «données» et les «algorithmes». L'IA peut être intégrée dans des dispositifs matériels. Dans le cas des techniques d'apprentissage automatique, qui constituent l'une des branches de l'IA, les algorithmes sont entraînés à reconnaître des structures à partir d'un ensemble de données afin de déterminer les actions à prendre pour atteindre un objectif donné. Les algorithmes peuvent continuer leur apprentissage en cours d'utilisation. Si les produits d'IA peuvent agir de manière autonome en percevant leur environnement et sans suivre un ensemble d'instructions préétabli, leur comportement est dans une large mesure défini et circonscrit par leurs développeurs. L'humain détermine et programme les objectifs auxquels doit répondre l'optimisation d’un système d'IA.

L’UE s'est dotée d'un cadre juridique strict pour assurer notamment la protection des consommateurs, lutter contre les pratiques commerciales déloyales et protéger les données à caractère personnel et la vie privée. L'acquis comprend en outre des règles spécifiques pour certains secteurs (par exemple, les soins de santé, les transports). Ces dispositions existantes du droit de l’UE continueront de s’appliquer à l’égard de l’IA, mais ce cadre pourrait nécessiter certains aménagements pour tenir compte de la transformation numérique et du recours à l'IA (voir la section B). Par conséquent, les aspects déjà couverts par la législation horizontale ou sectorielle existante (par exemple, en matière de dispositifs médicaux⁴⁸, de systèmes de transport) demeureront régis par cette législation.

En principe, le nouveau cadre réglementaire pour l’IA devrait atteindre ses objectifs avec efficacité sans être excessivement normatif, au risque de créer une charge disproportionnée, en particulier pour les PME. Pour réaliser cet équilibre, la Commission estime devoir suivre une approche fondée sur les risques.

Si une telle approche est importante pour garantir la proportionnalité de l'intervention réglementaire, elle requiert néanmoins des critères précis pour différencier les diverses applications de l’IA, et notamment pour déterminer si elles sont ou non «à haut risque»⁴⁹. Les éléments permettant d'établir qu'une application d'IA est à haut risque devraient être clairs, faciles à comprendre et applicables à toutes les parties concernées. Cela étant, même si une application d’IA n’est pas classée à haut risque, elle reste entièrement soumise aux règles de l’UE en vigueur.

Selon la Commission, une application d'IA devrait généralement être considérée comme étant à haut risque en fonction de ce qui est en jeu, en examinant si des risques importants sont associés à la fois au secteur et à l'utilisation envisagée, notamment du point de vue de la protection de la sécurité, des droits des consommateurs et des droits fondamentaux. En particulier, une application d’IA devrait être considérée comme étant à haut risque si elle remplit cumulativement les deux critères suivants:

• premièrement, l'application d’IA est employée dans un secteur où, compte tenu des caractéristiques des activités normalement menées, des risques importants sont à prévoir. Ce premier critère garantit que l’intervention réglementaire cible les domaines dans lesquels, d'une manière générale, les risques sont réputés les plus probables. Le nouveau cadre réglementaire devrait comprendre une liste précise et complète des secteurs concernés. Par exemple, les soins de santé; les transports; l'énergie et certains pans du secteur public⁵⁰. La liste devrait être réexaminée à intervalles réguliers et modifiée, le cas échéant, en fonction des réalités;
• deuxièmement, l'application d'IA dans le secteur en question est, de surcroît, utilisée de façon telle que des risques importants sont susceptibles d'apparaître. Ce second critère prend en considération le fait que toutes les utilisations de l’IA dans les secteurs sélectionnés n’impliquent pas nécessairement des risques importants. Par exemple, si les soins de santé peuvent, d'une manière générale, faire partie des secteurs concernés, une défaillance du système de planification des rendez-vous dans un hôpital ne présentera normalement pas de risques tels qu'ils justifient une intervention législative. L'appréciation du niveau de risque d’une utilisation donnée pourrait reposer sur ses conséquences pour les parties concernées. Par exemple, les utilisations d'applications d'IA qui produisent des effets juridiques sur les droits d’une personne physique ou d’une entreprise, ou l’affectent de manière significative de façon similaire; qui occasionnent un risque de blessure, de décès ou de dommage matériel ou immatériel important; dont les effets ne peuvent être évités par les personnes physiques ou morales.

Grâce à l'application cumulative des deux critères, la portée du cadre réglementaire serait circonscrite avec précision et garantirait la sécurité juridique. Les exigences obligatoires contenues dans le nouveau cadre réglementaire sur l’IA (voir la section D) ne s'appliqueraient en principe qu’aux applications désignées comme étant à haut risque selon ces deux critères cumulatifs.

Nonobstant les considérations qui précèdent, il peut également exister des cas exceptionnels dans lesquels, compte tenu des risques, l'utilisation d'applications d'IA à certaines fins devrait être considérée comme étant à haut risque en soi, c'est-à-dire indépendamment du secteur concerné, et resterait soumise aux exigences ci-dessous⁵¹. À titre d'illustration, il pourrait notamment pourrait s'agir notamment des applications suivantes:

• compte tenu de son importance pour les particuliers et de l’acquis de l’UE sur l’égalité en matière d’emploi, l’utilisation d’applications d’IA dans les procédures de recrutement et dans des situations ayant une incidence sur les droits des travailleurs serait toujours considérée comme étant «à haut risque», et les exigences ci-dessous s’appliqueraient dès lors à tout moment. D’autres applications spécifiques ayant une incidence sur les droits des consommateurs pourraient être envisagées;
• l’utilisation d’applications d’IA à des fins d’identification biométrique à distance⁵² et pour d’autres technologies de surveillance intrusive serait toujours considérée comme étant «à haut risque», et les exigences ci-dessous s’appliqueraient dès lors à tout moment.

Lors de l’élaboration du futur cadre réglementaire pour l’IA, il faudra déterminer les types d’exigences légales obligatoires auxquelles seront soumis les acteurs concernés. Ces exigences peuvent être davantage précisées par des normes. Comme indiqué à la section C, outre la législation déjà existante, ces exigences ne vaudraient que pour les applications d’IA à haut risque, ce qui garantirait le caractère ciblé et proportionné de toute intervention réglementaire.

Compte tenu des lignes directrices élaborées par le groupe d’experts de haut niveau et des éléments exposés ci-dessus, les exigences imposées aux applications d’IA à haut risque pourraient porter sur les éléments essentiels suivants, détaillés dans les points ci-dessous:

• données d’entraînement;
• conservation des données et des dossiers;
• informations à fournir;
• robustesse et précision;
• contrôle humain;
• exigences spécifiques pour les applications d’IA utilisées à des fins données, telles que l’identification biométrique à distance.

Afin de garantir la sécurité juridique, ces exigences seront davantage clarifiées pour que tous les acteurs qui doivent les respecter s’y retrouvent facilement.

a) Données d’entraînement

Il est plus important que jamais de promouvoir, de renforcer et de défendre les valeurs et les règles de l’UE, et en particulier les droits que les citoyens tirent du droit de l’Union. Ces efforts s’étendent, sans aucun doute, également aux applications d’IA à haut risque qui sont commercialisées et utilisées dans l’UE, et qui font l’objet du présent Livre blanc.

Comme expliqué ci-dessus, l’IA ne peut exister sans données. Le fonctionnement de nombreux systèmes d’IA, ainsi que les actions et décisions qu’ils sont susceptibles d’entraîner, dépendent en grande partie de l’ensemble de données qui a été utilisé pour entraîner ces systèmes. Il convient donc, lorsqu’il s’agit des données utilisées pour entraîner les systèmes d’IA, de prendre les mesures nécessaires pour garantir le respect des valeurs et des règles de l’UE, notamment en ce qui concerne la sécurité et les règles législatives en vigueur en matière de protection des droits fondamentaux. Il pourrait être envisagé d’appliquer les exigences suivantes à l’ensemble de données utilisé pour entraîner les systèmes d’IA:

• Des exigences visant à fournir des assurances raisonnables que l’utilisation ultérieure des produits ou des services reposant sur le système d’IA est sûre, en ce qu’elle répond aux normes fixées par les règles de sécurité applicables dans l’UE (qu’elles soient existantes ou envisagées en complément). Il peut s’agir, par exemple, d’exigences garantissant que les systèmes d’IA sont entraînés par des ensembles de données suffisamment larges et qu’ils couvrent tous les scénarios pertinents nécessaires pour éviter des situations dangereuses.
• Des exigences garantissant que des mesures raisonnables sont prises pour veiller à ce que toute utilisation ultérieure des systèmes d’IA ne donne pas lieu à des cas de discrimination interdite. En particulier, ces exigences pourraient comporter des obligations d’utiliser des ensembles de données suffisamment représentatifs, notamment pour garantir la prise en compte, dans ces ensembles de données, de tous les aspects pertinents du genre, de l’appartenance ethnique et d’autres motifs possibles de discrimination interdite.
• Des exigences visant à garantir une protection adéquate de la vie privée et des données à caractère personnel lors de l’utilisation des produits et services reposant sur l’IA. Le règlement général sur la protection des données et la directive en matière de protection des données dans le domaine répressif réglementent ces questions lorsqu’elles relèvent de leur champ d’application.

b) Conservation des dossiers et des données

Compte tenu d’éléments tels que la complexité et l’opacité de nombreux systèmes d’IA et des difficultés qu’il peut y avoir à vérifier effectivement la conformité aux règles applicables et leur exécution, il convient d’établir des exigences relatives à la conservation des dossiers de programmation de l’algorithme et des données utilisées pour entraîner les systèmes d’IA à haut risque et, dans certains cas, à la conservation des données elles-mêmes. Ces exigences visent essentiellement à permettre de reconstituer l’historique des actions ou décisions potentiellement problématiques prises par les systèmes d’IA et de les vérifier. Outre que cela devrait faciliter la surveillance et l’exécution, cela pourrait également inciter les opérateurs économiques concernés à tenir compte, à un stade précoce, de la nécessité de respecter ces règles.

À cette fin, le cadre réglementaire pourrait prévoir l’obligation de conserver les éléments suivants:

• des archives précises concernant l’ensemble de données utilisé pour entraîner et tester les systèmes d’IA, y compris une description des principales caractéristiques et de la manière dont l’ensemble de données a été sélectionné;
• dans certains cas justifiés, les données elles-mêmes;
• la documentation relative aux méthodes, procédures et techniques de programmation⁵³et d’entraînement utilisées pour concevoir, tester et valider les systèmes d’IA, y compris, le cas échéant, celle relative à la sécurité et à l’évitement de biais pouvant donner lieu à des discriminations interdites.

Les archives, la documentation et, le cas échéant, les ensembles de données devraient être conservés pendant une période limitée et raisonnable afin de garantir l’exécution effective de la législation applicable. Des mesures devraient être prises pour ces éléments soient mis à disposition sur demande, afin notamment de permettre aux autorités compétentes de les tester ou de les inspecter. Le cas échéant, des dispositions devraient être prises pour garantir la protection des informations confidentielles, telles que celles relatives aux secrets d’affaires.

c) Fourniture d’informations

La transparence ne doit pas concerner que les exigences en matière de conservation examinées au point b). Afin d’atteindre les objectifs poursuivis – en particulier promouvoir une utilisation responsable de l’IA, renforcer la confiance et, si nécessaire, faciliter les voies de recours – il importe de fournir, de manière proactive, des informations adéquates sur l’utilisation des systèmes d’IA à haut risque.

Ainsi, les exigences suivantes pourraient être envisagées.

• Veiller à ce que des informations claires soient fournies en ce qui concerne les capacités et les limites du système d’IA, en particulier l’objectif qu’il poursuit, les conditions dans lesquelles il devrait fonctionner comme prévu et le niveau de précision attendu dans la réalisation de l’objectif spécifié. Ces informations sont particulièrement importantes pour les déployeurs des systèmes, mais elles peuvent également être pertinentes pour les autorités compétentes et les parties concernées.
• Par ailleurs, des informations devraient être clairement fournies aux citoyens lorsqu’ils interagissent avec un système d’IA et non avec un être humain. Bien que la législation de l’UE sur la protection des données contienne déjà certaines règles en la matière⁵⁴, il pourrait s’avérer nécessaire de prévoir des exigences supplémentaires pour atteindre les objectifs susmentionnés. Dans cette hypothèse, il conviendrait d’éviter la création de charges inutiles. Ainsi, aucune information de ce type ne devrait être fournie, par exemple, dans des situations où il est d’emblée évident pour les citoyens qu’ils interagissent avec un système d’IA. Il importe en outre que les informations fournies soient objectives, concises et facilement compréhensibles. La manière de fournir ces informations devrait être adaptée à chaque contexte particulier.

d) Robustesse et précision

Pour pouvoir être dignes de confiance, les systèmes d’IA – et certainement les applications d’IA à haut risque – doivent être robustes et précis sur le plan technique. Ces systèmes doivent donc être développés de manière responsable, en tenant dûment et correctement compte, au préalable, des risques qu’ils sont susceptibles de générer. Les systèmes d’IA doivent être développés et fonctionner de façon à garantir la fiabilité de leur comportement, tel que prévu initialement. Il convient de prendre toutes les mesures raisonnables pour réduire autant que possible le risque de préjudice.

Ainsi, les exigences suivantes pourraient être envisagées.

• Des exigences garantissant la robustesse et la précision des systèmes d’IA ou, du moins, la bonne correspondance à leur niveau de précision, dans toutes les phases de leur cycle de vie.
• Des exigences garantissant la reproductibilité des résultats.
• Des exigences garantissant que les systèmes d’IA peuvent gérer de manière adéquate les erreurs ou les incohérences dans toutes les phases de leur cycle de vie.
• Des exigences garantissant, d’une part, que les systèmes d’IA peuvent résister à la fois aux attaques directes et aux tentatives plus subtiles de manipulation des données ou des algorithmes proprement dits, et, d’autre part, que des mesures d’atténuation sont prises en pareils cas.

e) Contrôle humain

Le contrôle humain contribue à éviter qu’un système d’IA ne mette en péril l’autonomie humaine ou ne provoque d’autres effets néfastes. Une IA digne de confiance, éthique et axée sur le facteur humain n’est possible que si une participation adéquate de l’être humain est garantie lorsqu’il s’agit d’applications à haut risque.

Bien que les applications d’IA examinées dans le présent Livre blanc afin de faire l’objet d’un cadre réglementaire spécifique soient toutes considérées comme étant à haut risque, le type et le niveau appropriés de contrôle humain peuvent varier selon le cas. Le contrôle humain devra dépendre notamment de l’utilisation prévue des systèmes et de ses incidences potentielles sur les citoyens et les personnes morales concernées. Il devra également être sans préjudice des droits légaux établis par le RGPD lorsque le système d’IA traite des données à caractère personnel. À titre non exhaustif, voici quelques exemples de situations dans lesquelles un contrôle humain pourrait être exercé:

• les résultats du système d’IA ne deviennent effectifs que s’ils ont été préalablement réexaminés et validés par un être humain (ex.: la décision de rejeter une demande de prestations de sécurité sociale ne peut être prise que par un être humain);
• les résultats du système d’IA deviennent immédiatement effectifs, mais un être humain intervient par la suite (ex.: une demande de carte de crédit peut être rejetée par un système d’IA, mais cette décision doit pouvoir être réexaminée ensuite par un être humain);
• la possibilité de suivre le système d’IA pendant son fonctionnement et la capacité d’intervenir en temps réel et de le désactiver (ex.: dans une voiture autonome, un bouton ou une procédure d’arrêt peut être activée par un être humain lorsqu’il estime que la conduite de la voiture n’est pas sûre);
• pendant la phase de conception, en imposant des contraintes opérationnelles au système d’IA (ex.: une voiture autonome doit cesser de fonctionner dans certaines conditions de faible visibilité qui diminuent la fiabilité des capteurs, ou maintenir, dans une quelconque condition donnée, une certaine distance par rapport au véhicule qui précède).

f) Exigences spécifiques pour l’identification biométrique à distance

La collecte et l’utilisation de données biométriques⁵⁵ à des fins d’identification à distance⁵⁶, au moyen, par exemple, du déploiement de la reconnaissance faciale dans des lieux publics, comportent des risques particuliers en termes de droits fondamentaux⁵⁷. L’utilisation de systèmes d’IA pour l’identification biométrique à distance a des incidences sur les droits fondamentaux qui peuvent considérablement varier selon sa finalité, son contexte et sa portée.

Les règles de l’UE en matière de protection des données interdisent en principe le traitement de données biométriques aux fins d’identifier une personne physique de manière unique, sauf dans des conditions précises⁵⁸. Plus particulièrement, en vertu du RGPD, un tel traitement ne peut avoir lieu qu’au titre d’un nombre limité de motifs, et notamment lorsqu’il est nécessaire pour des raisons d’intérêt public important. Dans ce cas, il doit avoir lieu sur la base du droit de l’Union ou du droit d’un État membre, sous réserve des exigences en matière de proportionnalité, de respect du contenu essentiel du droit à la protection des données et de garanties adéquates. En vertu de la directive en matière de protection des données dans le domaine répressif, le traitement doit être strictement nécessaire, il doit être en principe autorisé par le droit de l’Union ou le droit d’un État membre et être assorti de garanties adéquates. Étant donné que tout traitement de données biométriques aux fins d’identifier une personne physique de manière unique constituerait une exception à une interdiction prévue par le droit de l’Union, il serait soumis à la charte des droits fondamentaux de l’UE.

Il s’ensuit, conformément aux règles de l’Union en vigueur en matière de protection des données et à la charte des droits fondamentaux de l’UE, que l’IA ne peut être utilisée à des fins d’identification biométrique à distance que lorsque cette utilisation est dûment justifiée, proportionnée et assortie de garanties adéquates.

Afin de répondre aux éventuelles inquiétudes, du point de vue de la société, quant à l’utilisation de l’IA à de telles fins dans les lieux publics et d’éviter toute fragmentation du marché intérieur, la Commission lancera un vaste débat européen sur les circonstances particulières, le cas échéant, qui pourraient justifier une telle utilisation, ainsi que sur les garanties communes à mettre en place.

En ce qui concerne les destinataires des exigences légales qui vaudraient pour les applications d’IA à haut risque susmentionnées, il convient d’examiner deux questions principales.

La première question concerne la répartition des obligations entre les opérateurs économiques impliqués. De nombreux acteurs sont impliqués dans le cycle de vie d’un système d’IA. Parmi ces acteurs figurent notamment le développeur, le déployeur (l’intervenant qui utilise un produit ou service à base d’IA) et potentiellement d’autres intervenants (le producteur, le distributeur ou l’importateur, le prestataire de services, et l’utilisateur professionnel ou privé).

La Commission estime que, dans un futur cadre réglementaire, chaque obligation devrait s’appliquer à l’acteur ou aux acteurs qui sont le mieux placés pour éliminer tout risque potentiel. À titre d’exemple, bien que les développeurs de l’IA soient probablement le mieux placés pour éliminer les risques liés à la phase de développement, il se peut que leur capacité à maîtriser les risques au cours de la phase d’utilisation soit plus limitée. Dans ce cas, le déployeur devrait être soumis à l’obligation correspondante. Cela est sans préjudice de la question de savoir quelle est la partie qui devrait être réputée responsable de tout dommage causé, afin de déterminer les responsabilités à l’égard des utilisateurs finals ou de toute autre partie subissant un préjudice et de garantir l’accès effectif à la justice. En vertu de la législation de l’UE en matière de responsabilité du fait des produits, la responsabilité du fait des produits défectueux est imputée au producteur, sans préjudice des législations nationales qui peuvent aussi autoriser les demandes de réparation auprès d’autres parties.

La deuxième question est celle de la portée géographique de l’intervention législative. De l’avis de la Commission, il est indispensable que les exigences soient applicables à tous les opérateurs économiques concernés qui fournissent des produits ou des services reposant sur l’IA dans l’UE, qu’ils soient ou non établis dans l’UE. Dans le cas contraire, les objectifs de l’intervention législative susmentionnés ne pourraient pas être pleinement atteints.

Afin de garantir une IA digne de confiance, sûre et respectueuse des règles et valeurs européennes, les exigences légales applicables doivent être respectées dans la pratique et leur exécution effective doit être assurée tant par les autorités nationales et européennes compétentes que par les parties concernées. Les autorités compétentes devraient être en mesure d’enquêter sur des cas individuels, mais aussi d’évaluer l’incidence sur la société.

Compte tenu du risque élevé que posent certaines applications d’IA pour les citoyens et notre société (voir la section A), la Commission considère à ce stade qu’il serait nécessaire de réaliser une évaluation de la conformité objective et préalable pour vérifier et garantir le respect de certaines des exigences obligatoires susmentionnées pour les applications à haut risque (voir la section D). L’évaluation préalable de la conformité pourrait inclure des procédures d’essai, d’inspection ou de certification⁵⁹. Elle pourrait prévoir une vérification des algorithmes et des ensembles de données utilisés lors de la phase de développement.

Les évaluations de la conformité des applications d’IA à haut risque devraient être intégrées dans les mécanismes d’évaluation de la conformité qui existent déjà pour un grand nombre de produits et de services mis sur le marché intérieur de l’UE. S’ils n’existent pas, il peut s’avérer nécessaire d’établir des mécanismes similaires, sur la base des meilleures pratiques et des contributions éventuelles des parties prenantes et des organisations européennes de normalisation. Tout nouveau mécanisme devrait être proportionné et non discriminatoire et se fonder sur des critères transparents et objectifs en conformité avec les obligations internationales.

Lors de la conception et de la mise en œuvre d’un système reposant sur des évaluations préalables de la conformité, il convient de tenir particulièrement compte des éléments suivants.

• L’évaluation préalable de la conformité ne permettra peut-être pas de vérifier toutes les exigences énoncées ci-dessus. Par exemple, l’exigence relative aux informations devant être fournies ne se prête généralement pas bien à une vérification au moyen d’une telle évaluation.
• La possibilité que certains systèmes d’IA évoluent et apprennent par expérience, ce qui peut nécessiter de refaire des évaluations pendant toute la durée de vie des systèmes d’IA concernés.
• La nécessité de vérifier les données utilisées pour l’entraînement, ainsi que les méthodes, procédures et techniques de programmation et d’entraînement utilisées pour concevoir, tester et valider les systèmes d’IA.
• Si l’évaluation de la conformité révèle qu’un système d’IA ne satisfait pas aux exigences relatives, par exemple, aux données utilisées pour l’entraîner, il conviendra de remédier aux lacunes constatées, par exemple en entraînant à nouveau le système dans l’UE de manière à garantir le respect de toutes les exigences applicables.

Les évaluations de la conformité seraient obligatoires pour tous les opérateurs économiques visés par les exigences, quel que soit leur lieu d’établissement⁶⁰. Afin de limiter la charge qui pèse sur les PME, une structure de soutien pourrait être envisagée, y compris par l’intermédiaire des pôles d’innovation numérique. La conformité pourrait en outre être facilitée par le recours à des normes et à des outils en ligne dédiés.

Toute évaluation préalable de la conformité devrait s’entendre sans fléchissement du contrôle de la conformité et de l’exécution ex post par les autorités nationales compétentes. Cela vaut pour les applications d’IA à haut risque, mais également pour d’autres applications d’IA soumises à des exigences légales, bien que le caractère à haut risque des applications en cause puisse justifier que les autorités nationales compétentes leur accordent une attention particulière. Les contrôles ex post devraient être facilités par une documentation appropriée de l’application d’IA concernée (voir la section E) et, le cas échéant, la possibilité pour des tiers, tels que les autorités compétentes, de tester ces applications, notamment lorsque surviennent des risques pour les droits fondamentaux, qui dépendent du contexte. Ce contrôle de la conformité devrait s’inscrire dans le cadre d’un système continu de surveillance du marché. Les aspects liés à la gouvernance sont examinés plus en détail à la section H.

En outre, que ce soit pour les applications d’IA à haut risque ou pour les autres applications d’IA, il convient de veiller à ce que les parties sur lesquelles des systèmes d’IA ont eu des effets négatifs disposent de voies de recours juridictionnel effectif. Les questions relatives à la responsabilité sont examinées plus en détail dans le rapport sur le cadre en matière de sécurité et de responsabilité qui accompagne le présent Livre blanc.

Pour les applications d’IA qui ne sont pas considérées comme étant «à haut risque» (voir la section C) et qui ne sont donc pas soumises aux exigences obligatoires examinées ci-dessus (voir les sections D, E et F), il pourrait être envisagé, outre la législation applicable, de mettre en place un système de label non obligatoire.

Dans le cadre de ce système, les opérateurs économiques intéressés auxquels les exigences obligatoires ne s’appliquent pas pourraient décider de se soumettre, sur une base volontaire, à ces exigences ou à un ensemble spécifique d’exigences similaires spécialement établies aux fins du système non obligatoire. Les opérateurs économiques concernés recevraient alors un label de qualité pour leurs applications d’IA.

Le label non obligatoire permettrait aux opérateurs économiques concernés de signaler que leurs produits et services reposant sur l’IA sont dignes de confiance, et aux utilisateurs de facilement savoir que les produits et services concernés sont conformes à certains critères objectifs et normalisés à l’échelle de l’UE allant au-delà des obligations légales normalement applicables. Il contribuerait à renforcer la confiance des utilisateurs dans les systèmes d’IA et à promouvoir l’adoption de cette technologie.

Cette option impliquerait la création d’un nouvel instrument juridique établissant le cadre du système de label non obligatoire pour les développeurs et/ou les déployeurs de systèmes d’IA qui ne sont pas considérés comme étant à haut risque. La participation au système de label serait facultative mais, une fois que le développeur ou le déployeur aurait choisi d’utiliser le label, les exigences deviendraient contraignantes. La combinaison de contrôles ex ante et ex post devrait garantir le respect de toutes les exigences.

Il est nécessaire de mettre en place une structure de gouvernance européenne sur l’IA, qui prendrait la forme d’un cadre pour la coopération des autorités nationales compétentes, pour éviter une fragmentation des responsabilités, renforcer les capacités dans les États membres et faire en sorte que l’Europe se dote progressivement des capacités nécessaires pour tester et certifier les produits et services reposant sur l’IA. Dans ce contexte, il serait utile d’aider les autorités nationales compétentes à s’acquitter de leur mandat lorsque l’IA est utilisée.

Les travaux de la structure de gouvernance européenne pourraient être variés et consister notamment à offrir une enceinte propice à l’échange régulier d’informations et de bonnes pratiques, à recenser les tendances émergentes, et à donner des conseils en matière d’activités de normalisation et de certification. La structure de gouvernance devrait également jouer un rôle clé afin de faciliter la mise en œuvre du cadre réglementaire, notamment en publiant des orientations, des avis et des connaissances spécialisées. À cet effet, elle devrait s’appuyer sur un réseau d’autorités nationales, ainsi que sur des réseaux sectoriels et des autorités de réglementation, tant au niveau national qu’au niveau de l’UE. Un comité d’experts pourrait par ailleurs fournir une assistance à la Commission.

La structure de gouvernance devrait garantir une participation maximale des parties prenantes. Les parties prenantes – organisations de consommateurs, partenaires sociaux, entreprises, chercheurs et organisations de la société civile – devraient être consultées sur la mise en œuvre du cadre et son développement ultérieur.

Compte tenu des structures déjà existantes, dans les domaines notamment de la finance, des médicaments, de l’aviation, des dispositifs médicaux, de la protection des consommateurs et de la protection des données, la structure de gouvernance proposée ne devrait pas faire double emploi avec des fonctions existantes. Elle devrait plutôt permettre d’établir des liens étroits avec d’autres autorités compétentes de l’UE et des États membres dans les différents secteurs concernés afin de compléter l’expertise existante et d’aider les autorités en place à assurer le suivi et le contrôle des activités des opérateurs économiques faisant intervenir des systèmes d’IA et des produits et services reposant sur l’IA.

Enfin, si cette option était retenue, la réalisation des évaluations de la conformité pourrait être confiée aux organismes notifiés désignés par les États membres. Les centres d’essai devraient faire en sorte que les systèmes d’IA puissent faire l’objet d’une vérification et d’une évaluation indépendantes conformément aux exigences énoncées ci-dessus. Une évaluation indépendante renforcera la confiance et garantira l’objectivité. Elle pourrait également faciliter le travail des autorités compétentes concernées.

L’UE possède d’excellents centres d’essai et d’évaluation, et devrait développer ses capacités dans le domaine de l’IA également. Les opérateurs économiques établis dans des pays tiers et souhaitant accéder au marché intérieur pourraient soit faire appel à des organismes désignés établis dans l’UE soit, sous réserve d’accords de reconnaissance mutuelle avec des pays tiers, faire appel à des organismes de pays tiers désignés pour effectuer cette évaluation.

La structure de gouvernance relative à l’IA et les éventuelles évaluations de la conformité dont il est question ici ne modifieraient en rien les compétences et les responsabilités des autorités compétentes, visées par le droit de l’UE en vigueur, que ce soit dans des secteurs spécifiques ou concernant des questions bien précises (finance, médicaments, aviation, dispositifs médicaux, protection des consommateurs, protection des données, etc.).