Afin de garantir une IA digne de confiance, sûre et respectueuse des règles et valeurs européennes, les exigences légales applicables doivent être respectées dans la pratique et leur exécution effective doit être assurée tant par les autorités nationales et européennes compétentes que par les parties concernées. Les autorités compétentes devraient être en mesure d’enquêter sur des cas individuels, mais aussi d’évaluer l’incidence sur la société.

Compte tenu du risque élevé que posent certaines applications d’IA pour les citoyens et notre société (voir la section A), la Commission considère à ce stade qu’il serait nécessaire de réaliser une évaluation de la conformité objective et préalable pour vérifier et garantir le respect de certaines des exigences obligatoires susmentionnées pour les applications à haut risque (voir la section D). L’évaluation préalable de la conformité pourrait inclure des procédures d’essai, d’inspection ou de certification⁵⁹. Elle pourrait prévoir une vérification des algorithmes et des ensembles de données utilisés lors de la phase de développement.

Les évaluations de la conformité des applications d’IA à haut risque devraient être intégrées dans les mécanismes d’évaluation de la conformité qui existent déjà pour un grand nombre de produits et de services mis sur le marché intérieur de l’UE. S’ils n’existent pas, il peut s’avérer nécessaire d’établir des mécanismes similaires, sur la base des meilleures pratiques et des contributions éventuelles des parties prenantes et des organisations européennes de normalisation. Tout nouveau mécanisme devrait être proportionné et non discriminatoire et se fonder sur des critères transparents et objectifs en conformité avec les obligations internationales.

Lors de la conception et de la mise en œuvre d’un système reposant sur des évaluations préalables de la conformité, il convient de tenir particulièrement compte des éléments suivants.

• L’évaluation préalable de la conformité ne permettra peut-être pas de vérifier toutes les exigences énoncées ci-dessus. Par exemple, l’exigence relative aux informations devant être fournies ne se prête généralement pas bien à une vérification au moyen d’une telle évaluation.
• La possibilité que certains systèmes d’IA évoluent et apprennent par expérience, ce qui peut nécessiter de refaire des évaluations pendant toute la durée de vie des systèmes d’IA concernés.
• La nécessité de vérifier les données utilisées pour l’entraînement, ainsi que les méthodes, procédures et techniques de programmation et d’entraînement utilisées pour concevoir, tester et valider les systèmes d’IA.
• Si l’évaluation de la conformité révèle qu’un système d’IA ne satisfait pas aux exigences relatives, par exemple, aux données utilisées pour l’entraîner, il conviendra de remédier aux lacunes constatées, par exemple en entraînant à nouveau le système dans l’UE de manière à garantir le respect de toutes les exigences applicables.

Les évaluations de la conformité seraient obligatoires pour tous les opérateurs économiques visés par les exigences, quel que soit leur lieu d’établissement⁶⁰. Afin de limiter la charge qui pèse sur les PME, une structure de soutien pourrait être envisagée, y compris par l’intermédiaire des pôles d’innovation numérique. La conformité pourrait en outre être facilitée par le recours à des normes et à des outils en ligne dédiés.

Toute évaluation préalable de la conformité devrait s’entendre sans fléchissement du contrôle de la conformité et de l’exécution ex post par les autorités nationales compétentes. Cela vaut pour les applications d’IA à haut risque, mais également pour d’autres applications d’IA soumises à des exigences légales, bien que le caractère à haut risque des applications en cause puisse justifier que les autorités nationales compétentes leur accordent une attention particulière. Les contrôles ex post devraient être facilités par une documentation appropriée de l’application d’IA concernée (voir la section E) et, le cas échéant, la possibilité pour des tiers, tels que les autorités compétentes, de tester ces applications, notamment lorsque surviennent des risques pour les droits fondamentaux, qui dépendent du contexte. Ce contrôle de la conformité devrait s’inscrire dans le cadre d’un système continu de surveillance du marché. Les aspects liés à la gouvernance sont examinés plus en détail à la section H.

En outre, que ce soit pour les applications d’IA à haut risque ou pour les autres applications d’IA, il convient de veiller à ce que les parties sur lesquelles des systèmes d’IA ont eu des effets négatifs disposent de voies de recours juridictionnel effectif. Les questions relatives à la responsabilité sont examinées plus en détail dans le rapport sur le cadre en matière de sécurité et de responsabilité qui accompagne le présent Livre blanc.