Article 10 de l'AI Act Données et gouvernance des données

Analyse juridique de l'article 10

Champ d'application et ensembles de données concernés

L'article 10, paragraphe 1, délimite son champ d'application aux systèmes d'IA à haut risque utilisant des techniques faisant intervenir l'entraînement de modèles avec des données. Cette formulation vise principalement les systèmes d'apprentissage automatique (machine learning), qui constituent aujourd'hui la majorité des systèmes d'IA à haut risque, mais exclut les systèmes d'IA basés sur des règles expertes prédéfinies qui ne nécessitent pas d'apprentissage à partir de données.

L'article distingue trois types d'ensembles de données : les données d'entraînement (utilisées pour l'apprentissage initial du modèle), les données de validation (utilisées pour ajuster les hyperparamètres et éviter le surapprentissage) et les données de test (utilisées pour évaluer les performances finales du modèle sur des données qu'il n'a jamais vues). Cette distinction reflète les bonnes pratiques de l'apprentissage automatique et impose que chacun de ces ensembles satisfasse aux critères de qualité définis dans l'article.

La mention « dans toute la mesure du possible » qui apparaît aux paragraphes 3 et 4 introduit une certaine flexibilité, reconnaissant que l'état de l'art ne permet pas toujours d'obtenir des ensembles de données parfaits. Cette formulation n'exonère toutefois pas les fournisseurs de leur obligation de moyens : ils doivent démontrer qu'ils ont mis en œuvre toutes les mesures raisonnablement possibles pour satisfaire aux exigences de qualité.

Pratiques de gouvernance et de gestion des données

L'article 10, paragraphe 2, énumère sept catégories de pratiques de gouvernance et de gestion des données que les fournisseurs doivent mettre en œuvre. Cette liste, bien que formulée de manière non exhaustive (« en particulier »), couvre l'ensemble du cycle de vie des données.

Le point a) concerne les choix de conception, qui incluent notamment les décisions relatives aux types de données à collecter, aux sources de données à utiliser, à l'architecture des bases de données et aux outils de gestion des données. Ces choix doivent être documentés et justifiés au regard de la finalité du système.

Le point b) impose la traçabilité de la collecte des données, incluant l'identification des processus et des sources. Pour les données à caractère personnel, il faut également documenter les finalités initiales de leur collecte, ce qui permet de vérifier la compatibilité avec leur utilisation pour l'entraînement d'un système d'IA au regard du principe de limitation des finalités du RGPD (article 5, paragraphe 1, point b).

Le point c) vise les opérations de préparation des données, qui constituent souvent l'essentiel du travail dans un projet d'IA. L'annotation et l'étiquetage (labeling) des données doivent être réalisés selon des procédures rigoureuses et documentées, idéalement par plusieurs annotateurs indépendants pour réduire la subjectivité. Le nettoyage, la mise à jour, l'enrichissement et l'agrégation doivent également faire l'objet de procédures tracées.

Le point d) impose la formulation explicite des hypothèses sous-jacentes à l'utilisation des données. Par exemple, si un système d'IA médical est entraîné sur des données collectées dans un certain type d'établissement hospitalier, il faut expliciter l'hypothèse selon laquelle ces données sont représentatives de l'ensemble des contextes d'utilisation prévus.

Le point e) exige une évaluation préalable des besoins en données. Cette évaluation doit identifier la quantité de données nécessaire pour atteindre un niveau de performance satisfaisant (cette quantité varie considérablement selon la complexité du modèle et de la tâche) et vérifier la disponibilité effective de ces données avant d'engager le développement.

Le point f) constitue l'une des exigences les plus importantes : l'examen systématique des biais susceptibles d'affecter la santé, la sécurité ou les droits fondamentaux, ou d'entraîner une discrimination. Cet examen doit être particulièrement approfondi lorsque le système génère des sorties qui influencent les entrées futures (phénomène de boucle de rétroaction ou feedback loop pouvant amplifier les biais initiaux).

Le point g) impose le recensement des lacunes et carences des données, ainsi que l'identification de moyens pour les combler. Il est fréquent que certaines catégories de personnes ou certaines situations soient sous-représentées dans les données disponibles ; le fournisseur doit identifier ces lacunes et, dans la mesure du possible, collecter des données complémentaires ou utiliser des techniques de compensation (surpondération, génération de données synthétiques, etc.).

Critères de qualité des ensembles de données

L'article 10, paragraphe 3, énonce quatre critères de qualité cumulatifs : pertinence, représentativité, exactitude (absence d'erreurs) et complétude.

La pertinence signifie que les données doivent être en rapport avec la finalité prévue du système. Des données non pertinentes, même en grande quantité, ne permettront pas d'entraîner un système performant. Par exemple, pour un système de diagnostic médical d'une pathologie spécifique, les données doivent inclure des cas confirmés de cette pathologie et de pathologies susceptibles d'être confondues avec elle.

La représentativité est un critère essentiel pour éviter les biais et garantir que le système fonctionne correctement pour l'ensemble des personnes et des situations auxquelles il sera appliqué. Un ensemble de données représentatif doit refléter la diversité de la population cible en termes de caractéristiques démographiques, géographiques, socio-économiques et autres variables pertinentes. Le paragraphe 3 précise que cette représentativité peut être atteinte soit au niveau d'un ensemble de données unique, soit par la combinaison de plusieurs ensembles.

L'exactitude (absence d'erreurs) suppose que les données soient correctes et fiables. Cela inclut l'exactitude des données elles-mêmes (par exemple, des mesures correctement calibrées) et l'exactitude des étiquettes ou annotations associées aux données. Des erreurs d'annotation, même en faible proportion, peuvent significativement dégrader les performances d'un système d'IA.

La complétude signifie que les données doivent couvrir l'ensemble des cas d'usage prévus et ne pas présenter de lacunes importantes. Un ensemble de données incomplet peut conduire à un système performant dans certains cas mais défaillant dans d'autres.

Prise en compte du contexte d'utilisation

L'article 10, paragraphe 4, impose que les données tiennent compte des caractéristiques spécifiques au contexte d'utilisation prévu. Cette exigence reconnaît qu'un même type de système d'IA peut nécessiter des données différentes selon le contexte géographique (par exemple, les caractéristiques démographiques varient selon les pays), le contexte comportemental (les comportements des utilisateurs peuvent différer selon les cultures), le contexte fonctionnel (un même outil peut être utilisé différemment selon les secteurs) ou le contexte situationnel (les conditions d'utilisation peuvent varier).

Cette exigence implique que les fournisseurs doivent bien définir le ou les contextes d'utilisation prévus de leur système et s'assurer que les données d'entraînement, de validation et de test reflètent ces contextes. Un système entraîné sur des données collectées dans un contexte spécifique ne doit pas être déployé sans précaution dans un contexte significativement différent.

Traitement de catégories particulières de données personnelles

L'article 10, paragraphe 5, crée un régime dérogatoire permettant, sous conditions strictes, le traitement de catégories particulières de données à caractère personnel (données sensibles au sens de l'article 9 du RGPD : données révélant l'origine raciale ou ethnique, les opinions politiques, les convictions religieuses, l'appartenance syndicale, les données génétiques, biométriques, de santé ou concernant la vie sexuelle) aux fins de détection et de correction des biais.

Cette dérogation reconnaît un paradoxe : pour détecter et corriger les biais discriminatoires d'un système d'IA, il est souvent nécessaire de traiter les données relatives aux caractéristiques protégées (par exemple, pour vérifier qu'un système de recrutement ne discrimine pas selon le sexe ou l'origine ethnique, il faut analyser les résultats du système en fonction de ces caractéristiques). Or, le RGPD interdit en principe le traitement de ces données sensibles.

L'article 10, paragraphe 5, pose cinq conditions cumulatives pour autoriser ce traitement dérogatoire. Premièrement (point a), le traitement doit être strictement nécessaire : il ne doit pas être possible d'atteindre le même objectif par d'autres moyens (données anonymisées, données synthétiques, proxies). Cette condition impose aux fournisseurs d'explorer toutes les alternatives avant de recourir aux données sensibles.

Deuxièmement (point b), des mesures de protection strictes doivent être mises en place : limitation technique de l'accès (par exemple, par des contrôles d'accès granulaires et des journaux d'audit) et mesures de préservation de la vie privée (pseudonymisation ou chiffrement). L'anonymisation complète n'est pas exigée car elle pourrait empêcher la détection des biais (il faut pouvoir relier les résultats du système aux caractéristiques protégées).

Troisièmement (point c), les données doivent être supprimées une fois que le biais a été corrigé. Cette obligation de suppression garantit que les données sensibles ne sont conservées que le temps strictement nécessaire et ne sont pas réutilisées à d'autres fins.

Quatrièmement (point d), le registre des activités de traitement prévu par le RGPD doit documenter les raisons pour lesquelles le traitement de données sensibles était strictement nécessaire et pourquoi les alternatives n'étaient pas suffisantes. Cette documentation permettra aux autorités de contrôle de vérifier le respect des conditions.

Cinquièmement (point e), les mesures de sécurité du RGPD s'appliquent pleinement à ces données, ce qui inclut notamment les obligations de l'article 32 du RGPD (sécurité du traitement) et, le cas échéant, l'obligation de notification des violations de données (articles 33 et 34 du RGPD).

Exemples concrets d'application

Articulation avec les autres dispositions de l'AI Act

L'article 10 s'inscrit dans le prolongement direct de l'article 9 sur la gestion des risques. Les exigences relatives à la qualité et à la gouvernance des données constituent l'une des principales mesures de gestion des risques pour les systèmes d'IA basés sur l'apprentissage automatique. L'analyse des biais prévue à l'article 10, paragraphe 2, point f), fait écho à l'obligation de l'article 9, paragraphe 4, point b), de rechercher si les résultats du système peuvent impliquer une discrimination et de l'atténuer techniquement si possible.

L'article 10 s'articule également avec l'article 11 sur la documentation technique, qui doit inclure une description détaillée des données utilisées pour l'entraînement, la validation et le test du système. Les pratiques de gouvernance des données mises en place au titre de l'article 10 doivent être documentées dans cette documentation technique.

L'article 10 est en lien étroit avec l'article 15 sur l'exactitude, la robustesse et la cybersécurité. La qualité des données conditionne directement l'exactitude et la robustesse du système : des données de mauvaise qualité conduiront à un système peu fiable, quels que soient les autres efforts de développement. De même, les mesures de sécurité des données contribuent à la cybersécurité globale du système.

Enfin, l'article 10, paragraphe 5, crée une interface spécifique avec le RGPD en autorisant, sous conditions strictes, le traitement de données sensibles aux fins de détection et de correction des biais. Cette disposition doit être lue conjointement avec les articles 6 (licéité du traitement) et 9 (traitement de catégories particulières de données) du RGPD, dont elle constitue une exception spécifique dans le contexte de l'AI Act.

Implications pratiques pour les organisations

Pour les fournisseurs de systèmes d'IA à haut risque, l'article 10 impose une rigueur méthodologique importante dans la gestion des données. Cela nécessite la mise en place de processus structurés couvrant l'ensemble du cycle de vie des données : de leur collecte à leur utilisation, en passant par leur préparation, leur documentation et leur maintenance.

La constitution d'ensembles de données de qualité représente souvent l'un des défis les plus importants et les plus coûteux dans le développement d'un système d'IA. Les organisations doivent allouer des ressources significatives à la collecte, au nettoyage et à l'annotation des données. L'exigence de représentativité peut notamment nécessiter des efforts spécifiques pour collecter des données relatives à des catégories sous-représentées.

L'examen systématique des biais (article 10, paragraphe 2, point f) requiert des compétences spécialisées et l'utilisation d'outils et de méthodes appropriés. Les organisations doivent développer ou acquérir une expertise en matière d'équité et de non-discrimination des systèmes d'IA, domaine en évolution rapide nécessitant une veille scientifique et technique continue.

Le traitement de données sensibles aux fins de détection des biais (article 10, paragraphe 5) doit être géré avec une prudence particulière. Les organisations doivent s'assurer que toutes les conditions cumulatives sont remplies et que les mesures de protection requises sont effectivement mises en place. Il est recommandé de consulter le délégué à la protection des données et, le cas échéant, l'autorité de contrôle (CNIL en France) avant d'engager un tel traitement.

La documentation des pratiques de gouvernance des données constitue un élément essentiel de la conformité. Les organisations doivent conserver une traçabilité complète de la provenance des données, des opérations de préparation effectuées, des hypothèses formulées, des biais identifiés et des mesures prises pour les corriger. Cette documentation sera examinée par les autorités compétentes et les organismes notifiés dans le cadre de l'évaluation de la conformité.