Une étude chinoise prévient que l’introduction de l’intelligence artificielle (IA) dans le système de crédit social existant du pays pourrait être une erreur. Publiée dans le Journal of Sichuan Normal University, l’étude prévient que cela pourrait transformer le système de notation en quelque chose qui s’apparente davantage à un « outil de surveillance à grande échelle ».
Il est intéressant de noter que la recherche a été financée par un projet soutenu par le gouvernement chinois qui examine la gouvernance sociale et l’innovation institutionnelle. À l’heure actuelle, le système chinois de score de crédit social est un ensemble de programmes différents.
Il combine des éléments comme un système de crédit financier similaire aux notations ou rapports de crédit en Occident. Il comprend également des listes noires réglementaires répertoriant les individus ou les entreprises qui ont enfreint la loi pour une raison quelconque. Le système comprend également des expériences comportementales locales qui peuvent récompenser ou punir les personnes en fonction de critères définis.
Il comprend également un ensemble de systèmes de responsabilisation du gouvernement pour contrôler le respect et la conduite des agents publics. Ces programmes ne sont pas liés à un score national unique pour chaque citoyen, mais pris ensemble, ils peuvent entraver l’accès d’une personne à des choses comme les prêts par le biais de décisions automatisées.
Selon l’étude, l’introduction de l’IA pourrait en faire un système orwellien, ce que de nombreux critiques occidentaux affirment être déjà.
Score de crédit social plus IA, une bonne idée ?
Selon un rapport, le système basé sur l’IA pourrait analyser vos activités, votre historique financier, vos relations et d’autres données disponibles à une échelle énorme. À partir de là, cela pourrait déterminer que vous ressemblez à des personnes susceptibles de causer des problèmes.
Dans ce scénario, une personne n’a peut-être pas nécessairement fait quelque chose de mal, mais le système pourrait de toute façon la traiter différemment. Cela ferait passer le système d’un système principalement réactif à un système plus prédictif.
Pensez à « Minority Report », mais sous stéroïdes. Le chercheur Lin Jianxing prévient que cette transition potentielle pourrait passer de l’évaluation du comportement réel au profilage des individus et à la prise de décisions administratives basées sur des risques prédits par des algorithmes.
Tout cela se produit à l’insu de l’individu en question, tout en étant « puni » par un accès réduit ou un contrôle accru sans enfreindre officiellement la loi.
De plus, ce n’est pas non plus purement théorique. Une étude de Stanford réalisée en 2025 a examiné le système de crédit social existant pour voir ce qui se passait.
Les chercheurs ont examiné le système de crédit social d’une ville chinoise, dans lequel les adultes commençaient avec 1 000 points. Leurs scores pourraient alors évoluer en fonction du respect des 389 règles régissant les récompenses et les pénalités.
Un désastre imminent
Il s’agissait notamment de comportements politiques, tels que le recours à des pétitions auprès des autorités gouvernementales. L’étude a également révélé que les individus recevant la classification la plus basse pourraient faire l’objet d’une surveillance policière.
Les résidents ruraux semblaient injustement handicapés car ils avaient moins de possibilités de gagner des récompenses que les habitants des villes. Dans l’ensemble, l’étude a révélé que même s’il n’existe pas de système national de type « Big Brother », certains systèmes locaux semblent pénaliser les gens au-delà de la simple criminalité.
L’introduction de l’IA dans le mix pourrait cependant faire des inquiétudes de chacun une réalité. Il est important de noter qu’il n’existe actuellement aucune preuve d’un projet visant à introduire un système de notation sociale unifié à l’échelle nationale, alimenté par l’IA.
La Chine explore cependant déjà l’utilisation de l’IA dans l’administration publique.
L’étude sert plutôt simplement à avertir que si cela se produisait à l’avenir, le résultat ne serait pas souhaitable. D’un autre côté, les partisans pourraient faire valoir qu’une identification fiable des individus risquant de commettre des crimes graves pourrait bénéficier à la société.
Il pourrait également être utilisé pour identifier les personnes qui ont le plus besoin d’aide. Si l’IA devait être introduite, affirme l’étude, elle devrait être telle qu’elle ne punisse pas les innocents tout en ne étant pas trop intrusive.
Une tâche impossible ? Nous vous laisserons décider.
