Lors de l’élaboration du futur cadre réglementaire pour l’IA, il faudra déterminer les types d’exigences légales obligatoires auxquelles seront soumis les acteurs concernés. Ces exigences peuvent être davantage précisées par des normes. Comme indiqué à la section C, outre la législation déjà existante, ces exigences ne vaudraient que pour les applications d’IA à haut risque, ce qui garantirait le caractère ciblé et proportionné de toute intervention réglementaire.

Compte tenu des lignes directrices élaborées par le groupe d’experts de haut niveau et des éléments exposés ci-dessus, les exigences imposées aux applications d’IA à haut risque pourraient porter sur les éléments essentiels suivants, détaillés dans les points ci-dessous:

• données d’entraînement;
• conservation des données et des dossiers;
• informations à fournir;
• robustesse et précision;
• contrôle humain;
• exigences spécifiques pour les applications d’IA utilisées à des fins données, telles que l’identification biométrique à distance.

Afin de garantir la sécurité juridique, ces exigences seront davantage clarifiées pour que tous les acteurs qui doivent les respecter s’y retrouvent facilement.

a) Données d’entraînement

Il est plus important que jamais de promouvoir, de renforcer et de défendre les valeurs et les règles de l’UE, et en particulier les droits que les citoyens tirent du droit de l’Union. Ces efforts s’étendent, sans aucun doute, également aux applications d’IA à haut risque qui sont commercialisées et utilisées dans l’UE, et qui font l’objet du présent Livre blanc.

Comme expliqué ci-dessus, l’IA ne peut exister sans données. Le fonctionnement de nombreux systèmes d’IA, ainsi que les actions et décisions qu’ils sont susceptibles d’entraîner, dépendent en grande partie de l’ensemble de données qui a été utilisé pour entraîner ces systèmes. Il convient donc, lorsqu’il s’agit des données utilisées pour entraîner les systèmes d’IA, de prendre les mesures nécessaires pour garantir le respect des valeurs et des règles de l’UE, notamment en ce qui concerne la sécurité et les règles législatives en vigueur en matière de protection des droits fondamentaux. Il pourrait être envisagé d’appliquer les exigences suivantes à l’ensemble de données utilisé pour entraîner les systèmes d’IA:

• Des exigences visant à fournir des assurances raisonnables que l’utilisation ultérieure des produits ou des services reposant sur le système d’IA est sûre, en ce qu’elle répond aux normes fixées par les règles de sécurité applicables dans l’UE (qu’elles soient existantes ou envisagées en complément). Il peut s’agir, par exemple, d’exigences garantissant que les systèmes d’IA sont entraînés par des ensembles de données suffisamment larges et qu’ils couvrent tous les scénarios pertinents nécessaires pour éviter des situations dangereuses.
• Des exigences garantissant que des mesures raisonnables sont prises pour veiller à ce que toute utilisation ultérieure des systèmes d’IA ne donne pas lieu à des cas de discrimination interdite. En particulier, ces exigences pourraient comporter des obligations d’utiliser des ensembles de données suffisamment représentatifs, notamment pour garantir la prise en compte, dans ces ensembles de données, de tous les aspects pertinents du genre, de l’appartenance ethnique et d’autres motifs possibles de discrimination interdite.
• Des exigences visant à garantir une protection adéquate de la vie privée et des données à caractère personnel lors de l’utilisation des produits et services reposant sur l’IA. Le règlement général sur la protection des données et la directive en matière de protection des données dans le domaine répressif réglementent ces questions lorsqu’elles relèvent de leur champ d’application.

b) Conservation des dossiers et des données

Compte tenu d’éléments tels que la complexité et l’opacité de nombreux systèmes d’IA et des difficultés qu’il peut y avoir à vérifier effectivement la conformité aux règles applicables et leur exécution, il convient d’établir des exigences relatives à la conservation des dossiers de programmation de l’algorithme et des données utilisées pour entraîner les systèmes d’IA à haut risque et, dans certains cas, à la conservation des données elles-mêmes. Ces exigences visent essentiellement à permettre de reconstituer l’historique des actions ou décisions potentiellement problématiques prises par les systèmes d’IA et de les vérifier. Outre que cela devrait faciliter la surveillance et l’exécution, cela pourrait également inciter les opérateurs économiques concernés à tenir compte, à un stade précoce, de la nécessité de respecter ces règles.

À cette fin, le cadre réglementaire pourrait prévoir l’obligation de conserver les éléments suivants:

• des archives précises concernant l’ensemble de données utilisé pour entraîner et tester les systèmes d’IA, y compris une description des principales caractéristiques et de la manière dont l’ensemble de données a été sélectionné;
• dans certains cas justifiés, les données elles-mêmes;
• la documentation relative aux méthodes, procédures et techniques de programmation⁵³et d’entraînement utilisées pour concevoir, tester et valider les systèmes d’IA, y compris, le cas échéant, celle relative à la sécurité et à l’évitement de biais pouvant donner lieu à des discriminations interdites.

Les archives, la documentation et, le cas échéant, les ensembles de données devraient être conservés pendant une période limitée et raisonnable afin de garantir l’exécution effective de la législation applicable. Des mesures devraient être prises pour ces éléments soient mis à disposition sur demande, afin notamment de permettre aux autorités compétentes de les tester ou de les inspecter. Le cas échéant, des dispositions devraient être prises pour garantir la protection des informations confidentielles, telles que celles relatives aux secrets d’affaires.

c) Fourniture d’informations

La transparence ne doit pas concerner que les exigences en matière de conservation examinées au point b). Afin d’atteindre les objectifs poursuivis – en particulier promouvoir une utilisation responsable de l’IA, renforcer la confiance et, si nécessaire, faciliter les voies de recours – il importe de fournir, de manière proactive, des informations adéquates sur l’utilisation des systèmes d’IA à haut risque.

Ainsi, les exigences suivantes pourraient être envisagées.

• Veiller à ce que des informations claires soient fournies en ce qui concerne les capacités et les limites du système d’IA, en particulier l’objectif qu’il poursuit, les conditions dans lesquelles il devrait fonctionner comme prévu et le niveau de précision attendu dans la réalisation de l’objectif spécifié. Ces informations sont particulièrement importantes pour les déployeurs des systèmes, mais elles peuvent également être pertinentes pour les autorités compétentes et les parties concernées.
• Par ailleurs, des informations devraient être clairement fournies aux citoyens lorsqu’ils interagissent avec un système d’IA et non avec un être humain. Bien que la législation de l’UE sur la protection des données contienne déjà certaines règles en la matière⁵⁴, il pourrait s’avérer nécessaire de prévoir des exigences supplémentaires pour atteindre les objectifs susmentionnés. Dans cette hypothèse, il conviendrait d’éviter la création de charges inutiles. Ainsi, aucune information de ce type ne devrait être fournie, par exemple, dans des situations où il est d’emblée évident pour les citoyens qu’ils interagissent avec un système d’IA. Il importe en outre que les informations fournies soient objectives, concises et facilement compréhensibles. La manière de fournir ces informations devrait être adaptée à chaque contexte particulier.

d) Robustesse et précision

Pour pouvoir être dignes de confiance, les systèmes d’IA – et certainement les applications d’IA à haut risque – doivent être robustes et précis sur le plan technique. Ces systèmes doivent donc être développés de manière responsable, en tenant dûment et correctement compte, au préalable, des risques qu’ils sont susceptibles de générer. Les systèmes d’IA doivent être développés et fonctionner de façon à garantir la fiabilité de leur comportement, tel que prévu initialement. Il convient de prendre toutes les mesures raisonnables pour réduire autant que possible le risque de préjudice.

Ainsi, les exigences suivantes pourraient être envisagées.

• Des exigences garantissant la robustesse et la précision des systèmes d’IA ou, du moins, la bonne correspondance à leur niveau de précision, dans toutes les phases de leur cycle de vie.
• Des exigences garantissant la reproductibilité des résultats.
• Des exigences garantissant que les systèmes d’IA peuvent gérer de manière adéquate les erreurs ou les incohérences dans toutes les phases de leur cycle de vie.
• Des exigences garantissant, d’une part, que les systèmes d’IA peuvent résister à la fois aux attaques directes et aux tentatives plus subtiles de manipulation des données ou des algorithmes proprement dits, et, d’autre part, que des mesures d’atténuation sont prises en pareils cas.

e) Contrôle humain

Le contrôle humain contribue à éviter qu’un système d’IA ne mette en péril l’autonomie humaine ou ne provoque d’autres effets néfastes. Une IA digne de confiance, éthique et axée sur le facteur humain n’est possible que si une participation adéquate de l’être humain est garantie lorsqu’il s’agit d’applications à haut risque.

Bien que les applications d’IA examinées dans le présent Livre blanc afin de faire l’objet d’un cadre réglementaire spécifique soient toutes considérées comme étant à haut risque, le type et le niveau appropriés de contrôle humain peuvent varier selon le cas. Le contrôle humain devra dépendre notamment de l’utilisation prévue des systèmes et de ses incidences potentielles sur les citoyens et les personnes morales concernées. Il devra également être sans préjudice des droits légaux établis par le RGPD lorsque le système d’IA traite des données à caractère personnel. À titre non exhaustif, voici quelques exemples de situations dans lesquelles un contrôle humain pourrait être exercé:

• les résultats du système d’IA ne deviennent effectifs que s’ils ont été préalablement réexaminés et validés par un être humain (ex.: la décision de rejeter une demande de prestations de sécurité sociale ne peut être prise que par un être humain);
• les résultats du système d’IA deviennent immédiatement effectifs, mais un être humain intervient par la suite (ex.: une demande de carte de crédit peut être rejetée par un système d’IA, mais cette décision doit pouvoir être réexaminée ensuite par un être humain);
• la possibilité de suivre le système d’IA pendant son fonctionnement et la capacité d’intervenir en temps réel et de le désactiver (ex.: dans une voiture autonome, un bouton ou une procédure d’arrêt peut être activée par un être humain lorsqu’il estime que la conduite de la voiture n’est pas sûre);
• pendant la phase de conception, en imposant des contraintes opérationnelles au système d’IA (ex.: une voiture autonome doit cesser de fonctionner dans certaines conditions de faible visibilité qui diminuent la fiabilité des capteurs, ou maintenir, dans une quelconque condition donnée, une certaine distance par rapport au véhicule qui précède).

f) Exigences spécifiques pour l’identification biométrique à distance

La collecte et l’utilisation de données biométriques⁵⁵ à des fins d’identification à distance⁵⁶, au moyen, par exemple, du déploiement de la reconnaissance faciale dans des lieux publics, comportent des risques particuliers en termes de droits fondamentaux⁵⁷. L’utilisation de systèmes d’IA pour l’identification biométrique à distance a des incidences sur les droits fondamentaux qui peuvent considérablement varier selon sa finalité, son contexte et sa portée.

Les règles de l’UE en matière de protection des données interdisent en principe le traitement de données biométriques aux fins d’identifier une personne physique de manière unique, sauf dans des conditions précises⁵⁸. Plus particulièrement, en vertu du RGPD, un tel traitement ne peut avoir lieu qu’au titre d’un nombre limité de motifs, et notamment lorsqu’il est nécessaire pour des raisons d’intérêt public important. Dans ce cas, il doit avoir lieu sur la base du droit de l’Union ou du droit d’un État membre, sous réserve des exigences en matière de proportionnalité, de respect du contenu essentiel du droit à la protection des données et de garanties adéquates. En vertu de la directive en matière de protection des données dans le domaine répressif, le traitement doit être strictement nécessaire, il doit être en principe autorisé par le droit de l’Union ou le droit d’un État membre et être assorti de garanties adéquates. Étant donné que tout traitement de données biométriques aux fins d’identifier une personne physique de manière unique constituerait une exception à une interdiction prévue par le droit de l’Union, il serait soumis à la charte des droits fondamentaux de l’UE.

Il s’ensuit, conformément aux règles de l’Union en vigueur en matière de protection des données et à la charte des droits fondamentaux de l’UE, que l’IA ne peut être utilisée à des fins d’identification biométrique à distance que lorsque cette utilisation est dûment justifiée, proportionnée et assortie de garanties adéquates.

Afin de répondre aux éventuelles inquiétudes, du point de vue de la société, quant à l’utilisation de l’IA à de telles fins dans les lieux publics et d’éviter toute fragmentation du marché intérieur, la Commission lancera un vaste débat européen sur les circonstances particulières, le cas échéant, qui pourraient justifier une telle utilisation, ainsi que sur les garanties communes à mettre en place.