Bots at the Gate : « d’autres temps, d’autres mœurs, d’autres systèmes »

Par Jie Zhu

En septembre 2018, les chercheurs du Citizen Lab, du IT3 Lab et ceux du programme du droit international des droits de l’homme de la faculté de droit de l’Université de Toronto, ont rendu public un rapport énonçant leurs préoccupations relatives aux systèmes automatisés d’aide à la décision utilisés par le gouvernement canadien dans sa gestion de l’immigration. En particulier, le rapport visait les outils servant à déterminer l’admissibilité des candidats à l’immigration permanente, l’octroi du statut de réfugié, l’examen des risques avant renvoi (ERAR) et la lutte contre la fraude en immigration.

Image : Citizen Lab

Après avoir soumis vingt-sept (27) demandes d’accès à l’information à divers organismes fédéraux, dont Immigration, Réfugiés et Citoyenneté Canada, ces chercheurs rapportent que les premières initiatives du gouvernement fédéral en vue de développer un système automatisé d’analyse remontent au moins à 2014. Dans le but de diminuer considérablement le volume des dossiers en suspens et d’écourter les délais de traitement en matière d’immigration, une analyse automatisée de (certains aspects des) dossiers s’avèrait utile à plusieurs égards, qu’il s’agisse :

• de compiler les points attribués aux candidats à l’immigration permanente selon les différents critères du Système de classement global (SCG) – Entrée express (p.ex. âge, niveau de scolarité, maîtrise d’une langue officielle, expérience de travail au Canada, désignation comme candidat d’une province ou d’un territoire);
• d’alerter sur d’éventuels indices de fraude;
• d’évaluer la dangerosité des demandeurs dans le cadre de conclusions d’interdiction de territoire ou d’examen des risques avant renvoi (ERAR); et
• d’apprécier l’authenticité probable d’un mariage ou d’une filiation.

Les préoccupations liées aux outils d’analyse algorithmique ne sont pas nouvelles. Sous couvert d’impartialité et de rigueur scientifique, un diagnostic « intelligent » présente dans les faits les mêmes risques de biais que l’on retrouve chez les décideurs humains : à partir des principaux facteurs de risque recensés en criminologie, et sans considération explicite de la race des accusés, l’algorithme COMPAS génère des faux positifs surévaluant à tort le risque de récidive des candidats de race noire. Des erreurs dans la collecte et le traitement des données ont démenti à plus d’une reprise la qualité des analyses algorithmiques comparées aux jugements humains somme toute faillibles : l’algorithme MiDAS (Michigan Integrated Data Automated System), lancé en octobre 2013 par le Michigan Unemployment Insurance Agency (UIA), a compliqué plutôt qu’optimisé la vérification de cas potentiels de fraudes à l’assurance-emploi. Sur la foi d’un système automatisé de reconnaissance de la voix, le gouvernement du Royaume-Uni a de son côté déporté plus de 5 000 étudiants étrangers après les avoir faussement accusés d’avoir triché aux tests de compétences en langue anglaise.

Alors qu’un nombre croissant de décisions et de responsabilités sont délégués par les gouvernements et les organisations aux systèmes automatisés, les analyses algorithmiques ne feraient-elles que répliquer, en les amplifiant, les splendeurs et misères de nos propres jugements ? L’hypothèse serait prévisible, ou du moins compréhensible : une collecte se voulant exhaustive des données brutes discriminatoires générera vraisemblablement des conclusions également discriminatoires. Un entraînement à partir d’exemples d’approche ou de raisonnement préjudiciable à certains renforcera un cercle vicieux aussi sûrement que des facteurs de risque criminogènes semblent corréler significativement avec la récidive.

Source : idetr.com

Beaucoup sont d’ores et déjà sensibles aux menaces que représente le caractère invasif des données massives (Big Data) sur nos droits fondamentaux postulant l’autonomie inaliénable et la valeur intrinsèque de l’individu. Plutôt qu’un libre arbitre imperméable aux influences extérieures, les fils invisibles de la Toile numérique saisissent tout sur leur passage, entraînant dans son sillage les moindres traces de notre quotidien comme autant d’éléments de preuve indélébiles (et éventuellement à charge), par rapport à l’on ne sait plus trop quoi. Les libertés d’expression, d’association et de religion ne veulent plus rien dire quand un citoyen ordinaire n’est plus en mesure de prévoir les conséquences de leur exercice, tant la masse des déductions et corrélations que pourrait produire un outil intelligent semble infinie : commentaires d’un jour, remarques a priori insignifiantes, suggestions automatiques d’ « amis » sur et par des réseaux sociaux, le moindre indice risque de trahir une part de notre intimité, personnalité, convictions. Des convictions aux affiliations (politiques, religieuses, institutionnelles), de la personnalité aux préférences, prédispositions, risques de fraude, niveaux de danger que représente un individu pour la collectivité… le pas serait-il facilement franchi ?

En matière d’immigration, l’enjeu est palpable. Un refus déraisonnable d’accorder le statut de réfugié, d’accueillir une demande d’examen des risques avant renvoi (ERAR), ou pour considérations d’ordre humanitaire, expose directement les requérants à un risque réel de torture, de persécution, de menace à la vie et à la sécurité. Dans la mesure où les concepts de « fraude » et de « fausse représentation », la suffisance des motifs « d’ordre humanitaire » ou encore l’authenticité d’un mariage, échappent à toute appréciation purement quantitative ou formaliste, l’algorithme n’y sera pas plus « omniscient », équitable ni raisonnable que … le commun des décideurs humains. Dans de tels contextes déjà hautement discrétionnaires, des garanties de qualité doivent être définies et appliquées, afin de nous assurer que le concours d’algorithmes ne magnifie l’ampleur des préjugés existants, que la quantité ni la rapidité ne priment sur la qualité, et que la délégation aux machines n’emporte pas pour autant une abdication de notre faculté de juger. Le défi, incontournable, est dans l’ère du temps.

Ce contenu a été mis à jour le 5 décembre 2018 à 18 h 17 min.