Article 72 de l'AI Act Surveillance après mise sur le marché

Analyse juridique de l'article 72

Obligation d'établir et documenter le système

L'article 72, paragraphe 1, impose que « les fournisseurs de systèmes d'IA à haut risque établissent et documentent un système de surveillance après la mise sur le marché ». Cette obligation comporte deux dimensions : « établir » le système, c'est-à-dire le concevoir, le mettre en place, et le rendre opérationnel, et « documenter » le système, c'est-à-dire rédiger les procédures, les méthodologies, les responsabilités, et les modalités de fonctionnement dans des documents formels accessibles aux autorités compétentes lors de contrôles.

L'obligation s'applique à tous les « fournisseurs de systèmes d'IA à haut risque », sans exception. Quelle que soit la taille du fournisseur (grande entreprise, PME, startup), la nature du système, ou le secteur d'application, un système de surveillance après commercialisation doit être mis en place. Toutefois, le paragraphe 1 précise que ce système doit être établi « d'une manière proportionnée à la nature des technologies d'intelligence artificielle et aux risques du système d'IA à haut risque ».

Le principe de « proportionnalité » reconnaît la diversité des systèmes d'IA à haut risque : un système d'IA de diagnostic médical critique (risque élevé pour la santé) nécessite une surveillance plus intensive qu'un système d'IA de tri de CV (risque de discrimination mais conséquences moins graves). Un système déployé à très grande échelle (millions d'utilisateurs) nécessite une surveillance plus robuste qu'un système déployé à petite échelle. Un système utilisant des technologies d'IA complexes et évolutives (apprentissage continu) nécessite une surveillance plus fréquente qu'un système statique.

Cette proportionnalité permet aux fournisseurs d'adapter l'ampleur et l'intensité de leur surveillance à leurs situations spécifiques, évitant des charges disproportionnées tout en garantissant un niveau de surveillance approprié aux risques. Les autorités compétentes évalueront cette proportionnalité lors de contrôles.

Objectifs et fonctionnement du système

L'article 72, paragraphe 2, précise que « le système de surveillance après la mise sur le marché recueille, documente et analyse activement des données pertinentes fournies par les déployeurs ou recueillies par d'autres sources sur la performance du système d'IA à haut risque tout au long de son cycle de vie ». Cette formulation définit trois activités essentielles du système : « recueillir » des données (via des canaux variés), « documenter » ces données (enregistrement structuré et traçable), et « analyser activement » ces données (traitement permettant d'identifier tendances, anomalies, risques).

Les données proviennent de « déployeurs » (utilisateurs professionnels qui fournissent des retours d'expérience, des statistiques d'utilisation, des signalements de problèmes) et d'« autres sources » (retours directs d'utilisateurs finaux, données de logs automatiques générées par le système, analyses de médias ou de réseaux sociaux signalant des problèmes, études académiques ou rapports d'organismes indépendants, signalements d'autorités compétentes ou d'associations).

Les données portent sur « la performance du système d'IA à haut risque », notion large couvrant l'exactitude et la fiabilité des résultats (le système produit-il les résultats attendus ?), la robustesse face à des situations variées ou inattendues, la présence de biais discriminatoires non détectés lors des tests, les temps de réponse et la disponibilité, et les dysfonctionnements ou erreurs.

La surveillance se fait « tout au long de son cycle de vie », c'est-à-dire depuis la mise sur le marché jusqu'au retrait définitif du système. Cette continuité temporelle garantit que le fournisseur reste vigilant y compris sur des systèmes commercialisés depuis longtemps.

Le système « permet au fournisseur d'évaluer la conformité continue du système d'IA à haut risque aux exigences énoncées au titre III, chapitre 2 ». Le Titre III, Chapitre 2 de l'AI Act (articles 9-15) énonce les exigences essentielles : gestion des risques, qualité des données, documentation technique, transparence, surveillance humaine, exactitude, robustesse, cybersécurité. Le système de surveillance doit permettre de vérifier que le système continue de satisfaire à ces exigences dans les conditions réelles d'utilisation.

Informations à recueillir

L'article 72, paragraphe 3, détaille « des informations pertinentes concernant » trois catégories essentielles :

Point a) Volume et types d'utilisation : « Le volume et les types d'utilisation du système d'IA. » Ces statistiques permettent de comprendre comment le système est réellement utilisé : nombre d'utilisations (transactions, requêtes, analyses effectuées), nombre d'utilisateurs ou de déployeurs, répartition géographique des utilisations, secteurs d'activité des utilisateurs, cas d'usage effectifs (correspondent-ils à la finalité prévue ?), et évolution des utilisations dans le temps. Cette information contextualise les autres données de surveillance : un dysfonctionnement rare sur un système peu utilisé n'a pas la même gravité qu'un dysfonctionnement fréquent sur un système massivement déployé.

Point b) Dysfonctionnements et défaillances : « La fréquence et les types de dysfonctionnements et de défaillances du système d'IA. » Les « dysfonctionnements » sont des comportements anormaux du système ne produisant pas les résultats attendus (erreurs de classification, biais discriminatoires, résultats incohérents, temps de réponse excessifs). Les « défaillances » sont des arrêts ou pannes du système (crashes, indisponibilités, corruptions de données). La collecte de ces informations permet d'identifier les problèmes récurrents nécessitant des corrections, d'évaluer la fiabilité globale du système, de comparer les performances réelles aux performances anticipées, et de détecter des dégradations progressives de performance.

Point c) Risques graves et incidents graves : « Tout risque grave ou incident grave survenant en lien avec le système d'IA. » Les « risques graves » sont des situations où le système présente un danger potentiel pour la santé, la sécurité, ou les droits fondamentaux, même si aucun dommage n'est encore survenu. Les « incidents graves » sont des événements où un dommage effectif s'est produit (atteinte à la santé, violation de droits fondamentaux, discriminations avérées, atteintes à la sécurité). Cette collecte est essentielle car ces situations déclenchent des obligations de signalement aux autorités (article 73) et nécessitent des mesures correctrices immédiates.

Proportionnalité et intégration aux systèmes existants

L'article 72, paragraphe 4, réitère que « le système de surveillance après la mise sur le marché est proportionné à la nature des technologies d'intelligence artificielle et aux risques du système d'IA à haut risque », reprenant le principe énoncé au paragraphe 1. Cette répétition souligne l'importance de la proportionnalité, évitant que l'obligation ne devienne une charge excessive pour certains fournisseurs.

Le paragraphe 4 ajoute que le système de surveillance « peut être intégré aux systèmes de gestion de la qualité existants du fournisseur ». Cette disposition pragmatique reconnaît que de nombreux fournisseurs, notamment dans des secteurs régulés (santé, automobile, aéronautique), disposent déjà de systèmes de gestion de la qualité et de surveillance après commercialisation pour leurs produits. Plutôt que de créer un système parallèle dédié à l'IA, les fournisseurs peuvent intégrer les exigences spécifiques de l'AI Act dans leurs processus existants, à condition que ceux-ci couvrent les éléments requis par l'article 72.

Cette intégration facilite la mise en conformité pour les acteurs matures disposant déjà d'une culture de surveillance continue, et encourage les synergies entre différentes obligations réglementaires (AI Act, règlements sectoriels, normes ISO de qualité).

Lien avec le système de gestion des risques

L'article 72, paragraphe 5, impose que « les informations recueillies dans le cadre de la surveillance après la mise sur le marché sont prises en compte par le fournisseur pour la mise à jour du système de gestion des risques visé à l'article 9 ». Cette disposition crée un lien essentiel entre surveillance et gestion des risques, garantissant que le système de gestion des risques ne reste pas figé mais évolue en fonction des retours d'expérience.

L'article 9 de l'AI Act impose aux fournisseurs de systèmes d'IA à haut risque d'établir et de maintenir un système de gestion des risques identifiant les risques potentiels, évaluant leur probabilité et leur gravité, et définissant des mesures d'atténuation. Les informations de surveillance après commercialisation permettent de valider ou d'infirmer les hypothèses de risques initiales (certains risques anticipés ne se matérialisent pas, d'autres non anticipés apparaissent), d'actualiser les évaluations de probabilité et de gravité en fonction des données réelles, de renforcer les mesures d'atténuation si elles s'avèrent insuffisantes, et d'identifier de nouveaux risques émergents nécessitant une attention.

Cette boucle de rétroaction (surveillance → analyse → mise à jour des risques → amélioration du système) constitue le cœur d'une approche dynamique de gestion des risques, essentielle pour les systèmes d'IA dont les comportements peuvent évoluer dans le temps et dont les risques ne sont pas tous prévisibles ex ante.

Exemples concrets d'application

Articulation avec les autres dispositions de l'AI Act

L'article 72 s'articule étroitement avec l'article 9 sur le système de gestion des risques : les informations de surveillance alimentent la mise à jour des analyses de risques (paragraphe 5), créant une boucle de rétroaction essentielle pour une gestion dynamique des risques. Les deux articles forment ensemble le cœur de l'approche proactive de sécurité de l'AI Act.

L'article 72 s'articule également avec l'article 73 sur le signalement des incidents graves : le système de surveillance après commercialisation constitue le mécanisme permettant de détecter les incidents graves qui doivent être signalés aux autorités. Sans surveillance effective, les fournisseurs ne pourraient pas remplir leur obligation de signalement.

L'article 72 complète les exigences de documentation technique (article 11) : le plan de surveillance après commercialisation fait partie de la documentation technique à fournir, et les données collectées par la surveillance alimentent la mise à jour de cette documentation.

Pour les systèmes d'IA constituant des composants de sûreté de produits régulés (dispositifs médicaux, véhicules, etc.), l'article 72 s'articule avec les obligations de vigilance post-commercialisation prévues par les législations sectorielles. Les fournisseurs peuvent intégrer les deux ensembles d'exigences dans un système de surveillance unifié (paragraphe 4).

Implications pratiques pour les organisations

Pour les fournisseurs de systèmes d'IA à haut risque, l'article 72 impose une obligation structurante : la mise en place d'un système de surveillance après commercialisation représente un investissement en ressources humaines (personnel dédié à la collecte, à l'analyse des données, à la coordination avec les déployeurs), en outils techniques (systèmes de logs, plateformes d'analyse de données, outils de détection d'anomalies), et en processus organisationnels (procédures de collecte, comités de revue, processus de décision sur les mesures correctrices).

Cette obligation ne doit pas être perçue uniquement comme une charge réglementaire, mais comme une opportunité d'amélioration continue : les données de surveillance sont précieuses pour identifier les forces et faiblesses des systèmes, guider les priorités de R&D, renforcer la confiance des clients, et anticiper les problèmes avant qu'ils ne causent des dommages. Les fournisseurs matures intègrent la surveillance après commercialisation dans leur culture produit, en faisant un avantage compétitif.

Pour les PME et les startups disposant de ressources limitées, l'article 72 impose de concevoir des systèmes de surveillance proportionnés mais effectifs. Des solutions pragmatiques existent : automatisation maximale de la collecte de données (logs automatiques), utilisation d'outils open source ou de SaaS pour l'analyse, externalisation de certaines analyses (audits externes périodiques plutôt qu'équipe interne permanente), et mutualisation via des associations professionnelles ou des plateformes sectorielles.

Pour les déployeurs, l'article 72 implique indirectement une obligation de coopération avec les fournisseurs : en fournissant des retours d'expérience, des statistiques d'utilisation, et des signalements de problèmes, les déployeurs contribuent à l'amélioration des systèmes et à la protection collective. Cette coopération devrait être formalisée dans les contrats entre fournisseurs et déployeurs.