Bruxelles prépare une modification du Règlement général sur la protection des données (RGPD) qui rendrait plus aisé pour les entreprises de s'appuyer sur des décisions entièrement automatisées, même lorsqu'un être humain pourrait prendre la même décision. Cette proposition, inscrite dans le paquet législatif "Digital Omnibus" de la Commission, viserait à réécrire l'article 22, la clause qui protège aujourd'hui les individus contre les décisions ayant un impact significatif sur leur vie lorsqu'elles sont prises uniquement par des algorithmes.

Un nouveau cadre pour les décisions automatisées

Selon le projet, une société pourrait soutenir qu'un processus automatisé est "nécessaire" à l'exécution d'un contrat, et le régulateur serait tenu d'accepter cette justification, sauf si l'entreprise parvient à démontrer que la décision ne pouvait pas être prise par une personne. Les critiques estiment que cette mesure transformerait une protection forte en une échappatoire, permettant à des scores générés par des systèmes opaques de déterminer qui obtient un prêt, un bail, un entretien d'embauche ou même un contrôle aux frontières.

Du score de crédit aux classements de CV : un réseau caché d'algorithmes

Dans toute l'Europe, un nombre croissant d'interactions quotidiennes sont déjà filtrées par des scores numériques. En Allemagne, le bureau de crédit SCHUFA détient des données sur environ 69 millions de citoyens, attribuant à chacun une note qui influence la possibilité d'obtenir un prêt hypothécaire, de signer un contrat de téléphonie mobile ou de louer un appartement. En 2023, la Cour de justice de l'Union européenne a confirmé que ce type de score, lorsqu'il est utilisé pour prendre une décision entièrement automatisée, peut avoir des "conséquences très réelles" pour la personne concernée.

Pourtant, le pouvoir de ces scores ne se limite pas à la finance. Aux Pays‑Bas, l'autorité de protection des données a infligé à Uber une amende de 825 millions d'euros pour avoir désactivé automatiquement des conducteurs sur la base d'évaluations algorithmiques de fraude présumée. Le régulateur a constaté que les conducteurs étaient exclus de la plateforme, et donc de leurs revenus, sans aucune révision humaine préalable, les obligeant à contester une décision déjà appliquée.

Des systèmes similaires ont été déployés par des autorités publiques. L'outil néerlandais de détection de fraude aux prestations sociales SyRI a été annulé par un tribunal de La Haye en 2020 pour manque de transparence et violation du droit à la vie privée. Plus récemment, l'agence éducative DUO a utilisé un algorithme pour attribuer des scores de "risque de fraude" aux étudiants en fonction de leur âge, du type d'études et de la distance entre leur domicile et celui de leurs parents. Les étudiants avec des scores élevés étaient plus susceptibles de faire l'objet d'enquêtes et même de visites à domicile. L'Autorité néerlandaise de protection des données a conclu que le système discriminait les étudiants issus de l'immigration non européenne, qui recevaient plus souvent des scores élevés.

Même la Commission européenne teste la technologie. Pour le dernier recrutement du personnel de l'UE, un outil est en cours de développement pour classer les 174 922 candidats ayant postulé à un concours généraliste. Si les responsables affirment qu'un humain prendra la décision finale, l'algorithme déterminera quels CV seront placés en haut de la pile, façonnant ainsi la présélection avant que quiconque ne voie les dossiers.

Pourquoi ces scores invisibles importent aux citoyens européens

Pour de nombreux citoyens, les conséquences d'un score invisible sont concrètes. Une personne aisée rejetée par une banque peut simplement postuler ailleurs, tandis qu'une famille à faibles revenus cherchant un logement abordable n'a souvent aucune alternative si un score de crédit ou un indice de risque de fraude les exclut du marché. Les travailleurs de plateformes, comme les chauffeurs Uber, ne peuvent pas attendre des mois pour qu'une plainte soit traitée ; une désactivation soudaine signifie une perte immédiate de revenus.

Ces systèmes tendent également à amplifier les inégalités existantes. En transformant le désavantage social en variable numérique, les algorithmes présentent la discrimination comme une question d'efficacité. Le cas néerlandais de l'éducation montre bien que les étudiants issus de l'immigration sont disproportionnellement signalés, et le contexte européen plus large révèle que les scores de crédit reflètent souvent des biais historiques dans les pratiques de prêt.

Des protections juridiques menacées

L'article 22 du RGPD accorde aux individus le droit de ne pas être soumis à des décisions fondées uniquement sur un traitement automatisé lorsque ces décisions produisent des effets juridiques ou d'une importance similaire. Cette protection s'applique même si un humain signe finalement la décision, car l'algorithme peut fortement influencer le résultat.

Le "Digital Omnibus" cherche à réinterpréter cette garantie. En autorisant les entreprises à invoquer que la décision automatisée est "nécessaire" à l'exécution d'un contrat, l'amendement ferait reposer la charge de la preuve sur l'individu, qui devrait démontrer qu'un humain aurait pu prendre la même décision. En pratique, cela pourrait signifier que l'algorithme de scoring d'une banque, l'outil de sélection de locataires d'un propriétaire ou le système de détection de fraude d'un gouvernement ne seraient plus tenus de fournir le niveau de transparence et de responsabilité actuellement requis.

Réactions de l'industrie et du monde politique

Les entreprises technologiques et les groupes industriels soutiennent que le changement réduirait les charges administratives et favoriserait l'innovation. Ils affirment que de nombreux processus automatisés sont déjà indispensables pour gérer le volume de données généré par les services modernes, et que le cadre actuel du RGPD crée des frictions inutiles.

En revanche, les organisations de défense des consommateurs et les défenseurs des droits numériques avertissent que l'amendement affaiblirait un pilier central de la protection des données en Europe. EDRi, le réseau européen des droits numériques, a à plusieurs reprises mis en garde contre une "société de scoring autoritaire" et a appelé les législateurs à maintenir l'article 22 intact.

Les syndicats expriment également leurs inquiétudes. La Confédération européenne des syndicats (CES) note que la gestion algorithmique transforme déjà les marchés du travail, les travailleurs des plateformes de l'économie de gig étant soumis à des métriques de performance opaques pouvant entraîner des désactivations soudaines. "Lorsque le moyen de subsistance d'un travailleur est décidé par un algorithme boîte noire, le déséquilibre de pouvoir est extrême", a déclaré un porte‑parole.

Certains États membres ont déjà pris des mesures pour limiter l'usage de ces systèmes. L'Agence fédérale allemande de protection des données a lancé des enquêtes sur l'utilisation des scores de crédit pour les décisions de logement, tandis que la CNIL française a publié des lignes directrices sur la transparence algorithmique pour les services publics.

Ce que l'amendement pourrait signifier au quotidien

Si adopté, l'amendement entraînerait probablement une hausse des décisions automatisées dans des secteurs qui comptaient traditionnellement sur le jugement humain. Les banques pourraient utiliser l'IA pour évaluer les demandes de prêt sans offrir de voie claire de recours. Les propriétaires pourraient recourir à des outils de scoring pour sélectionner leurs locataires, excluant potentiellement des groupes vulnérables sans processus transparent.

Pour les travailleurs, le risque est que les outils de suivi de performance s'enracinent davantage. Les entreprises pourraient justifier l'usage de l'IA pour attribuer les horaires, évaluer la productivité ou même décider de sanctions disciplinaires, le tout sous le prétexte de la "nécessité".

Les consommateurs pourraient voir davantage de publicités et de recommandations personnalisées affinées par des algorithmes, mais avec moins de visibilité sur le mode de calcul. Les sections "Pour vous" des plateformes de streaming ou des sites d'information continueraient d'être curées par des systèmes opaques, influençant le discours public sans responsabilité.

Contexte européen et perspectives

Le débat sur le scoring algorithmique s'inscrit dans un effort plus large de l'UE pour réguler l'intelligence artificielle. Le projet de loi sur l'IA, actuellement en négociation, vise à établir des normes pour les systèmes d'IA à haut risque, mais les critiques estiment qu'il ne va pas assez loin pour traiter l'impact cumulé des outils de scoring à faible risque qui, pris ensemble, créent une économie de surveillance omniprésente.

Le timing de la proposition du "Digital Omnibus" est frappant. Les tribunaux européens commencent à reconnaître les effets concrets des scores automatisés, comme le montre le arrêt de la Cour de justice de l'UE sur SCHUFA et les décisions néerlandaises sur SyRI et DUO. Simultanément, la Commission avance pour faciliter l'usage de ces mêmes systèmes par les entreprises.

Les parties prenantes appellent à une approche plus nuancée. Plutôt qu'une exemption globale pour l'automatisation "nécessaire", elles suggèrent un système à plusieurs niveaux où le degré de supervision humaine requis dépend de l'impact potentiel de la décision. Pour les enjeux majeurs, crédit, logement, emploi ou accès aux prestations publiques, une révision humaine devrait rester obligatoire.

La transparence reste une demande récurrente. L'UE pourrait exiger que tout algorithme de scoring fasse l'objet d'un audit indépendant, les résultats étant rendus accessibles aux personnes concernées. De telles mesures s'aligneraient sur le principe d'"explicabilité" que de nombreux défenseurs de la protection des données défendent.

Enfin, il y a une dimension politique. L'UE se positionne depuis longtemps comme défenseur des droits numériques, se distinguant des approches américaine et chinoise. Affaiblir l'article 22 minerait ce discours et pourrait éroder la confiance du public dans les institutions européennes à un moment où la souveraineté numérique est un objectif politique majeur.

Alors que le débat se poursuit, la question pour les citoyens européens est claire : l'efficacité promise sera‑t‑elle autorisée à supplanter le droit à une évaluation équitable et transparente de leurs données ? La réponse façonnera non seulement l'avenir de l'IA en Europe, mais aussi le quotidien de millions de personnes déjà soumises au poids de scores invisibles.