L'article 9 du Règlement (UE) 2024/1689 impose aux fournisseurs de systèmes d'IA à haut risque d'établir, de mettre en œuvre, de documenter et de maintenir un système de gestion des risques tout au long du cycle de vie de ces systèmes. Cette exigence constitue le socle de la conformité des systèmes d'IA à haut risque, puisque c'est par l'analyse des risques que sont déterminées les mesures de conformité appropriées prévues aux articles suivants.

Le système de gestion des risques prévu par l'article 9 doit être compris comme un processus itératif et continu, et non comme une évaluation ponctuelle réalisée une seule fois lors du développement du système. Cette approche dynamique reconnaît que les risques associés à un système d'IA peuvent évoluer au fil du temps, en fonction des modifications apportées au système, de l'évolution de son environnement d'utilisation, et des retours d'expérience collectés lors de son déploiement.

L'article 9 s'inscrit dans une tradition réglementaire européenne bien établie en matière de sécurité des produits, où la gestion des risques occupe une place centrale. Il transpose et adapte au domaine spécifique de l'intelligence artificielle les principes déjà appliqués dans d'autres secteurs régulés, tout en tenant compte des particularités des systèmes d'IA, notamment leur caractère évolutif, leur opacité potentielle et leur sensibilité aux données d'entraînement.

Texte officiel de l'article 9 de l'AI Act

L'article 9 de l'AI Act dispose :

« 1. Un système de gestion des risques est établi, mis en œuvre, documenté et maintenu pour les systèmes d'IA à haut risque.

2. Le système de gestion des risques consiste en un processus itératif continu planifié et exécuté tout au long du cycle de vie d'un système d'IA à haut risque, nécessitant une mise à jour régulière et systématique. Il comporte les étapes suivantes :

a) identification et analyse des risques connus et raisonnablement prévisibles associés à chaque système d'IA à haut risque ;

b) estimation et évaluation des risques pouvant apparaître lorsque le système d'IA à haut risque est utilisé conformément à sa finalité prévue et dans des conditions de mauvaise utilisation raisonnablement prévisibles ;

c) évaluation d'autres risques pouvant apparaître sur la base de l'analyse des données collectées grâce au système de surveillance après commercialisation visé à l'article 72 ;

d) adoption de mesures de gestion des risques appropriées et ciblées conformément aux dispositions des paragraphes 3 et 4.

3. Les mesures de gestion des risques visées au paragraphe 2, point d), tiennent compte des effets et de l'interaction éventuelle résultant de l'application combinée des exigences énoncées dans la présente section 2. Elles sont telles que les risques résiduels pertinents associés à chaque danger ainsi que le risque résiduel global du système d'IA à haut risque soient jugés acceptables, à condition que le système d'IA à haut risque soit utilisé conformément à sa finalité prévue ou dans des conditions de mauvaise utilisation raisonnablement prévisibles. Les fournisseurs veillent à ce que leurs systèmes d'IA à haut risque atteignent, au vu de leur finalité prévue, un niveau approprié de précision, de robustesse et de cybersécurité et qu'ils fonctionnent de manière cohérente à ces égards tout au long de leur cycle de vie.

4. Lors de la mise en œuvre des mesures de gestion des risques visées au paragraphe 2, point d), les fournisseurs tiennent compte :

a) si le système d'IA à haut risque est susceptible d'avoir un effet négatif sur des personnes de moins de 18 ans ou, le cas échéant, d'autres groupes de personnes vulnérables ;

b) si les résultats du système d'IA à haut risque susceptibles d'impliquer une discrimination, en particulier en ce qui concerne les personnes physiques sur la base d'une des caractéristiques mentionnées à l'article 21 de la charte des droits fondamentaux de l'Union européenne, peuvent être techniquement atténués ou éliminés. »

Cet article établit donc un cadre méthodologique complet et structuré pour la gestion des risques des systèmes d'IA à haut risque.

Analyse juridique de l'article 9

Nature et caractéristiques du système de gestion des risques

L'article 9, paragraphe 1, impose l'établissement, la mise en œuvre, la documentation et le maintien d'un système de gestion des risques. Ces quatre actions cumulatives traduisent une exigence complète : il ne suffit pas de concevoir théoriquement un système de gestion des risques (établir), il faut également l'appliquer concrètement (mettre en œuvre), en conserver une trace écrite permettant sa vérification (documenter) et le faire vivre dans le temps (maintenir).

Le paragraphe 2 précise que ce système doit être un « processus itératif continu ». Cette formulation souligne deux caractéristiques essentielles : d'une part, le processus est itératif, ce qui signifie qu'il comporte plusieurs cycles successifs d'analyse, d'évaluation et de mise en œuvre de mesures, chaque cycle tirant les enseignements du précédent ; d'autre part, il est continu, c'est-à-dire qu'il se poursuit tout au long du cycle de vie du système, de sa conception initiale jusqu'à son retrait du marché.

Cette approche dynamique est particulièrement adaptée aux systèmes d'IA, qui peuvent évoluer de manière significative après leur mise sur le marché, notamment lorsqu'ils continuent à apprendre à partir de nouvelles données ou lorsqu'ils sont mis à jour par leur fournisseur. Elle permet également de tenir compte des retours d'expérience issus de l'utilisation réelle du système, qui peuvent révéler des risques non identifiés lors de la phase de développement.

Les quatre étapes du système de gestion des risques

L'article 9, paragraphe 2, structure le système de gestion des risques en quatre étapes successives et complémentaires.

La première étape (point a) consiste à identifier et analyser les risques connus et raisonnablement prévisibles. Cette phase requiert une analyse exhaustive prenant en compte les différentes sources de risques : risques liés aux algorithmes et à leur fonctionnement ; risques liés aux données d'entraînement (biais, lacunes, erreurs) ; risques liés à l'interaction avec les utilisateurs et les personnes affectées ; risques liés à l'environnement technique et organisationnel de déploiement. La notion de risques « raisonnablement prévisibles » introduit un critère de proportionnalité : le fournisseur n'est pas tenu d'anticiper tous les risques théoriquement imaginables, mais ceux qu'un professionnel raisonnablement diligent dans son domaine devrait identifier.

La deuxième étape (point b) consiste à estimer et évaluer les risques identifiés. Cette phase implique une double analyse : d'une part, l'évaluation de la probabilité de survenance de chaque risque ; d'autre part, l'évaluation de la gravité de ses conséquences potentielles. L'estimation doit couvrir à la fois l'utilisation conforme à la finalité prévue et les cas de mauvaise utilisation raisonnablement prévisibles. Cette dernière notion reconnaît que les systèmes d'IA peuvent être utilisés de manière non conforme aux instructions du fournisseur, et que certaines de ces mauvaises utilisations sont suffisamment prévisibles pour devoir être prises en compte dans l'analyse des risques.

La troisième étape (point c) introduit une dimension dynamique en imposant l'évaluation de risques additionnels sur la base des données de surveillance après commercialisation. Cette étape crée un lien direct avec l'article 72, qui organise le système de surveillance des systèmes d'IA à haut risque une fois mis sur le marché. Les incidents, dysfonctionnements et retours d'expérience collectés lors de cette surveillance doivent alimenter le système de gestion des risques, permettant d'identifier des risques qui n'avaient pas été anticipés lors du développement initial.

La quatrième étape (point d) consiste à adopter des mesures de gestion des risques appropriées et ciblées. Ces mesures peuvent prendre différentes formes : modifications du système d'IA lui-même pour éliminer ou réduire les risques ; amélioration des données d'entraînement ; mise en place de mesures de surveillance humaine ; limitations d'usage ; informations et mises en garde dans les instructions d'utilisation. Le choix des mesures doit être proportionné aux risques identifiés et tenir compte de l'ensemble des exigences du règlement.

Acceptabilité des risques résiduels

L'article 9, paragraphe 3, introduit la notion centrale de risque résiduel acceptable. Après la mise en œuvre des mesures de gestion des risques, il subsiste généralement un risque résiduel (risque qui ne peut être entièrement éliminé). Ce risque résiduel doit être jugé acceptable, ce qui implique une évaluation au cas par cas tenant compte de la finalité du système, des bénéfices attendus, de l'état de l'art et des attentes légitimes de sécurité.

Le paragraphe 3 souligne que les mesures de gestion des risques doivent tenir compte de l'interaction entre les différentes exigences de la Section 2. Par exemple, les mesures visant à améliorer la précision du système (article 15) peuvent avoir un impact sur la transparence (article 13) ou sur les besoins en données (article 10). Une approche intégrée est donc nécessaire pour s'assurer que les mesures adoptées n'entrent pas en contradiction et contribuent conjointement à la réduction globale des risques.

Le paragraphe 3 impose également que les systèmes d'IA à haut risque atteignent un niveau approprié de précision, de robustesse et de cybersécurité, et qu'ils maintiennent ce niveau tout au long de leur cycle de vie. Cette exigence de cohérence dans le temps reconnaît que les performances d'un système d'IA peuvent se dégrader (par exemple, en raison de l'évolution des données en entrée) et qu'un suivi continu est nécessaire.

Prise en compte des personnes vulnérables et des discriminations

L'article 9, paragraphe 4, impose deux considérations spécifiques lors de la mise en œuvre des mesures de gestion des risques.

Le point a) exige la prise en compte des effets négatifs potentiels sur les mineurs et autres groupes de personnes vulnérables. Cette disposition reconnaît que certaines catégories de personnes peuvent être particulièrement affectées par les décisions ou les sorties d'un système d'IA, en raison de leur âge, de leur situation de handicap, de leur situation économique ou sociale, ou d'autres facteurs de vulnérabilité. Le système de gestion des risques doit identifier ces groupes et évaluer spécifiquement les risques auxquels ils sont exposés.

Le point b) impose de rechercher si les résultats du système peuvent impliquer une discrimination, particulièrement en ce qui concerne les caractéristiques protégées par l'article 21 de la Charte des droits fondamentaux (sexe, race, origine ethnique, religion, handicap, âge, orientation sexuelle, etc.). Le texte exige que les discriminations pouvant être techniquement atténuées ou éliminées le soient effectivement. Cette formulation impose une obligation de moyens renforcée : si une solution technique existe pour réduire ou éliminer un biais discriminatoire, le fournisseur doit la mettre en œuvre.

Exemples concrets d'application

📋 Exemple concret d'application de l'article 9 de l'AI Act

Cas d'un système d'IA de recrutement :
Une entreprise développe un système d'IA destiné à présélectionner automatiquement les candidatures pour des postes dans différents secteurs d'activité. Ce système relève de l'annexe III (domaine de l'emploi) et constitue donc un système d'IA à haut risque.

Étape 1 : Identification et analyse des risques (article 9, paragraphe 2, point a)
L'entreprise identifie les risques suivants :
- Risque de discrimination fondée sur le sexe, l'origine ethnique, l'âge ou d'autres caractéristiques protégées, en raison de biais présents dans les données d'entraînement ;
- Risque de reproduction de pratiques discriminatoires passées si le système est entraîné sur des données historiques de recrutement ;
- Risque d'exclusion de candidats qualifiés ayant des parcours atypiques non représentés dans les données d'entraînement ;
- Risque d'opacité des critères de sélection, empêchant les candidats de comprendre les raisons de leur non-sélection ;
- Risque de mauvaise utilisation du système si les recruteurs suivent aveuglément ses recommandations sans exercer de jugement critique.

Étape 2 : Estimation et évaluation des risques (article 9, paragraphe 2, point b)
Pour chaque risque identifié, l'entreprise évalue :
- La probabilité de survenance (élevée pour les biais de discrimination compte tenu des études existantes sur ce sujet) ;
- La gravité des conséquences (impact majeur sur les droits fondamentaux des candidats, atteinte au principe d'égalité de traitement) ;
- Les cas de mauvaise utilisation raisonnablement prévisibles (utilisation du système pour des postes pour lesquels il n'a pas été entraîné, absence de révision humaine des décisions).

Étape 3 : Évaluation des risques sur la base de la surveillance après commercialisation (article 9, paragraphe 2, point c)
L'entreprise met en place un système de collecte et d'analyse des incidents et retours d'expérience. Après six mois d'utilisation, la surveillance révèle :
- Un taux de sélection significativement plus faible pour les candidates féminines dans certains secteurs techniques ;
- Des réclamations de candidats concernant l'opacité des critères de sélection ;
- Des cas d'utilisation du système dans des contextes pour lesquels il n'avait pas été validé.

Ces constats conduisent l'entreprise à identifier de nouveaux risques et à réévaluer ceux déjà identifiés.

Étape 4 : Adoption de mesures de gestion des risques (article 9, paragraphe 2, point d)
En application de l'article 9, paragraphe 4, l'entreprise adopte les mesures suivantes :
- Amélioration des données d'entraînement pour assurer une meilleure représentativité des différentes catégories de candidats (article 10) ;
- Mise en œuvre de techniques de détection et d'atténuation des biais discriminatoires (article 9, paragraphe 4, point b) ;
- Limitation de l'utilisation du système aux secteurs et types de postes pour lesquels il a été validé ;
- Renforcement des mesures de surveillance humaine, avec obligation pour les recruteurs de réviser systématiquement les recommandations du système et de documenter leurs décisions (article 14) ;
- Amélioration de la transparence, avec fourniture d'explications sur les critères de sélection retenus par le système (article 13) ;
- Formation obligatoire des recruteurs sur les limites du système et les risques de biais (article 4).

Évaluation de l'acceptabilité du risque résiduel (article 9, paragraphe 3)
Après mise en œuvre de ces mesures, l'entreprise évalue le risque résiduel :
- Les biais discriminatoires, bien qu'atténués, ne peuvent être totalement éliminés compte tenu de l'état de l'art ;
- Le risque résiduel est jugé acceptable car : (i) les mesures mises en œuvre représentent l'état de l'art en matière d'atténuation des biais ; (ii) la surveillance humaine systématique permet de détecter et corriger les biais résiduels ; (iii) les candidats disposent de mécanismes de recours et d'explication.

Le système de gestion des risques est documenté, régulièrement mis à jour en fonction des retours de la surveillance après commercialisation, et réexaminé à chaque modification significative du système.

Articulation avec les autres dispositions de l'AI Act

L'article 9 constitue le socle méthodologique de l'ensemble des exigences applicables aux systèmes d'IA à haut risque. L'article 8, paragraphe 2, précise explicitement que le système de gestion des risques doit être pris en compte lors de l'établissement de la conformité aux autres exigences. Cela signifie que les mesures concrètes à mettre en œuvre au titre des articles 10 à 15 sont déterminées en fonction des résultats de l'analyse des risques.

L'article 9 s'articule directement avec l'article 10 sur la gouvernance des données : la qualité, la représentativité et l'absence de biais des données d'entraînement constituent des mesures essentielles de gestion des risques pour la plupart des systèmes d'IA à haut risque. De même, les exigences de surveillance humaine (article 14), de transparence (article 13), de précision et de robustesse (article 15) doivent être dimensionnées en fonction des risques identifiés.

L'article 9 est également en lien étroit avec l'article 72 sur la surveillance après commercialisation : les données collectées lors de cette surveillance alimentent le système de gestion des risques, qui doit être régulièrement mis à jour en conséquence. Cette boucle de rétroaction garantit que le système de gestion des risques demeure pertinent tout au long du cycle de vie du système d'IA.

Enfin, l'article 9 doit être lu conjointement avec l'article 16, qui détaille les obligations des fournisseurs. Le fournisseur est responsable de l'établissement et du maintien du système de gestion des risques, et doit le mettre à disposition des autorités compétentes et des organismes notifiés dans le cadre des procédures d'évaluation de la conformité.

Implications pratiques pour les organisations

Pour les fournisseurs de systèmes d'IA à haut risque, l'article 9 implique la mise en place d'une démarche structurée et documentée de gestion des risques dès les premières phases de développement du système. Cette démarche doit mobiliser des compétences pluridisciplinaires : expertise technique en IA, connaissance du domaine d'application, compétences juridiques et éthiques.

La documentation du système de gestion des risques constitue un élément essentiel de la conformité. Cette documentation doit comprendre : la description de la méthodologie utilisée ; l'inventaire des risques identifiés ; l'évaluation de leur probabilité et de leur gravité ; les mesures de gestion des risques adoptées ; l'évaluation de l'acceptabilité du risque résiduel ; les résultats de la surveillance après commercialisation et les mises à jour effectuées. Cette documentation sera examinée par les autorités compétentes et les organismes notifiés.

L'approche itérative et continue impose l'allocation de ressources non seulement lors du développement initial, mais tout au long du cycle de vie du système. Les organisations doivent prévoir des processus de révision régulière du système de gestion des risques, déclenchés par des événements prédéfinis (modifications du système, incidents signalés, évolution de l'état de l'art, changement réglementaire) ou selon une périodicité fixe.

L'exigence de prise en compte des personnes vulnérables et des discriminations (paragraphe 4) nécessite souvent le recours à des expertises spécialisées et la réalisation de tests spécifiques. Les fournisseurs doivent développer des méthodes d'évaluation de l'équité de leurs systèmes et mettre en place des mécanismes de détection et d'atténuation des biais, domaine en évolution rapide nécessitant une veille scientifique active.

L'article 9 de l'AI Act établit le système de gestion des risques comme pierre angulaire de la conformité des systèmes d'IA à haut risque. En imposant une approche itérative et continue couvrant l'ensemble du cycle de vie des systèmes, il garantit que les risques sont identifiés, évalués et maîtrisés de manière dynamique, en tenant compte des retours d'expérience et de l'évolution des connaissances.

Les quatre étapes du système de gestion des risques forment un cadre méthodologique complet, allant de l'identification initiale des risques à l'adoption de mesures de gestion appropriées, en passant par leur évaluation et la prise en compte des données de surveillance. L'exigence d'acceptabilité du risque résiduel impose une évaluation rigoureuse et contextualisée, tenant compte de la finalité du système et des attentes légitimes de sécurité.

Pour les organisations, l'article 9 constitue un défi organisationnel et méthodologique important, nécessitant la mobilisation de compétences pluridisciplinaires et l'allocation de ressources tout au long du cycle de vie des systèmes. Sa bonne mise en œuvre conditionne non seulement la conformité réglementaire, mais aussi la confiance des utilisateurs et des personnes affectées dans les systèmes d'IA déployés.