L'IA peut avoir de nombreux effets positifs, notamment en matière de renforcement de la sécurité des produits et des procédés, mais aussi des effets négatifs. Elle peut être préjudiciable tant sur le plan matériel (en matière de sécurité et de santé des personnes: pertes humaines, dommages aux biens) qu'immatériel (atteinte à la vie privée, restrictions du droit à la liberté d'expression, dignité humaine, discrimination à l’embauche par exemple), et impliquer des risques de types très divers. L’objectif d’un éventuel cadre réglementaire devrait consister à définir des moyens de réduire au minimum les divers risques de préjudice pouvant se présenter, notamment les plus sérieux.

Les principaux risques liés à l’utilisation de l’IA concernent l’application des règles visant à protéger les droits fondamentaux (notamment la protection des données à caractère personnel, le respect de la vie privée et la non-discrimination), ainsi que les questions liées à la sécurité³² et à la responsabilité.

Risques pour les droits fondamentaux, notamment la protection des données à caractère personnel, le respect de la vie privée, et la non-discrimination

Le recours à l'IA peut porter atteinte aux valeurs sur lesquelles l’UE est fondée et entraîner des violations des droits fondamentaux³³, tels que les droits à la liberté d'expression et de réunion, la dignité humaine, l'absence de discrimination fondée sur le sexe, l’origine raciale ou ethnique, la religion ou les convictions, le handicap, l’âge ou l’orientation sexuelle, selon le cas, la protection des données à caractère personnel, le respect de la vie privée³⁴ ou le droit à un recours juridictionnel effectif et à un procès équitable, ainsi que la protection des consommateurs. Ces risques peuvent résulter de failles dans la conception globale des systèmes d’IA (y compris en ce qui concerne le contrôle humain) ou de l’utilisation de données sans correction de biais éventuels (par exemple, un système entraîné uniquement ou principalement avec des données tirées de profils masculins fournit de moins bons résultats en ce qui concerne les femmes).

Certains algorithmes d’IA peuvent, lorsqu’ils sont utilisés pour prédire la récidive d'actes délictueux, présenter des biais de nature sexiste et raciale et fournissent des prédictions de la probabilité de récidive différentes selon qu’il s’agit de femmes ou d’hommes ou de ressortissants nationaux ou d’étrangers. Source: Tolan S., Miron M., Gomez E. and Castillo C., "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment for Juvenile Justice in Catalonia", Best Paper Award, International Conference on AI and Law, 2019.

Certains programmes d'IA pour l'analyse faciale sont entachés de biais de nature sexiste ou raciale, qui se traduisent par un faible taux d'erreur dans la détermination du sexe des hommes à peau claire mais un taux d'erreur élevé dans la détermination du sexe des femmes à peau foncée. Source: Joy Buolamwini, Timnit Gebru; Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77-91, 2018.

L'IA peut remplir de nombreuses fonctions précédemment réservées aux seuls êtres humains. Par conséquent, les particuliers et les entités juridiques feront de plus en plus l’objet d’actions et de décisions prises par ou à l’aide de systèmes d’IA, qui peuvent parfois être difficiles à comprendre ou à contester efficacement si nécessaire. De plus, l'IA accroît les possibilités de suivre et d’analyser les habitudes quotidiennes des individus. Par exemple, il existe un risque potentiel que l’IA puisse être utilisée, en violation des règles de l’UE en matière de protection des données et d’autres règles, par des autorités publiques ou d’autres entités à des fins de surveillance de masse et par des employeurs pour observer le comportement de leurs employés. Dans la mesure où elle permet d'analyser de grandes quantités de données et de repérer les corrélations entre celles-ci, l'IA peut également être utilisée pour retracer et désanonymiser les données concernant certaines personnes, créant ainsi de nouveaux risques pour la protection des données à caractère personnel, même au départ d'ensembles de données qui ne contiennent pas a priori de telles données. Certains intermédiaires en ligne ont aussi recours à l’IA pour hiérarchiser certaines informations à fournir à leurs utilisateurs et pour modérer les contenus. Les données traitées, la manière dont les applications sont conçues et les possibilités d’intervention humaine peuvent porter atteinte aux droits à la liberté d’expression, à la protection des données à caractère personnel, au respect de la vie privée et aux libertés politiques.

Les biais et la discrimination sont des risques inhérents à toute activité sociétale ou économique. Les décisions prises par des humains ne sont pas à l’abri d'erreurs et de biais. Cependant, s'ils entachent l'IA, les mêmes biais pourraient avoir un effet bien plus important, entraînant des conséquences et créant des discriminations pour beaucoup de personnes en l'absence des mécanismes de contrôle social qui régissent le comportement humain³⁵. Ces biais peuvent également prendre naissance lorsque le système «apprend» pendant qu’il fonctionne. Dans les cas où il aurait été impossible d'empêcher ou de prévoir l’émergence de ces biais lors de la phase de conception, les risques ne découleront pas d’une erreur dans la conception initiale du système mais seront plutôt la conséquence pratique des corrélations ou des structures repérées par le système dans un grand ensemble de données.

Les particularités qui caractérisent de nombreuses technologies de l'IA, notamment l'opacité («effet de boîte noire»), la complexité, l'imprévisibilité et le comportement partiellement autonome, peuvent rendre difficile la vérification de la conformité aux règles du droit de l’UE en vigueur destinées à protéger les droits fondamentaux et peuvent entraver le contrôle de l’application de celles-ci. Les autorités répressives et les personnes concernées ne disposent pas nécessairement de moyens suffisants pour vérifier comment une décision donnée, résultant de l’utilisation de l’IA, a été prise et, par conséquent, pour déterminer si les règles applicables ont été respectées. Les particuliers et les entités juridiques peuvent se heurter à des difficultés en ce qui concerne l’accès effectif à la justice lorsque ces décisions sont susceptibles d’avoir des effets négatifs pour eux.

Risques pour la sécurité et le bon fonctionnement du régime de responsabilité

Les technologies de l'IA peuvent présenter de nouveaux risques pour la sécurité des utilisateurs lorsqu’elles sont intégrées dans des produits et des services. Par exemple, à la suite d’une faille dans la technologie de reconnaissance des objets, une voiture autonome peut se tromper en identifiant un objet sur la route et causer un accident entraînant des lésions corporelles et des dommages matériels. Comme dans le cas des droits fondamentaux, ces risques peuvent être dus à des défauts de conception de la technologie d’IA, à des problèmes liés à la disponibilité et à la qualité des données ou à d'autres problèmes découlant de l’apprentissage automatique. Si certains de ces risques ne se limitent pas aux produits et services reposant sur l'IA, l'utilisation de celle-ci peut les accroître ou les aggraver.

L'absence de règles claires en matière de sécurité pour faire face à ces risques peut, outre les risques pour les individus concernés, créer une insécurité juridique pour les entreprises qui commercialisent leurs produits reposant sur l’IA dans l’UE. Les autorités de surveillance du marché et les autorités répressives peuvent se trouver dans une situation où elles ne savent pas si elles peuvent intervenir, parce qu’elles n'y sont peut-être pas habilitées et/ou ne disposent pas des capacités techniques appropriées pour inspecter les systèmes³⁶. L’insécurité juridique risque donc de faire baisser les niveaux de sécurité globaux et de nuire à la compétitivité des entreprises européennes.

La directive sur la responsabilité du fait des produits prévoit qu'un fabricant est responsable des dommages causés par un produit défectueux. Or, avec un système fondé sur l'IA tel que la voiture autonome, il peut être difficile de prouver la défectuosité du produit le dommage survenu et le lien de cause à effet entre les deux. De plus, il peut être malaisé de déterminer de quelle manière et dans quelle mesure la directive sur la responsabilité du fait des produits s'applique à certains types de défauts, notamment s'ils résultent de faiblesses dans la cybersécurité du produit.

Si les risques pour la sécurité devaient se matérialiser, l'imprécision des exigences applicables et les caractéristiques précitées des technologies de l'IA rendraient difficile toute tentative de reconstituer l'historique des décisions potentiellement problématiques résultant de l’utilisation de systèmes d'IA. De ce fait, il serait ensuite difficile pour les personnes ayant subi un préjudice d'obtenir réparation au titre de la législation actuelle de l'UE et des États membres en matière de responsabilité³⁷.

Par conséquent, la difficulté de reconstituer l’historique des décisions potentiellement problématiques prises par des systèmes d’IA, évoquée plus haut à propos des droits fondamentaux, concerne également les questions liées à la sécurité et à la responsabilité. Les personnes ayant subi un préjudice peuvent ne pas disposer d’un accès effectif aux éléments de preuve nécessaires pour entreprendre une action en justice, par exemple, et leurs possibilités de recours peuvent se révéler moins efficaces que dans les cas où les dommages sont causés par des technologies traditionnelles. Ces risques augmenteront avec la généralisation du recours à l’IA.