MiDAS : L’intelligence artificielle devenue juge, jury et bourreau

Les promesses quant aux possibilités offertes par l’intelligence artificielle (IA) sont quasiment sans limites. Certaines applications actuelles de l’IA semblent tout droit sorties de livres de science-fiction. Par exemple, les premiers véhicules autonomes ou le logiciel Alpha Go réussissent à reproduire certaines de nos capacités cognitives, comme celle de conduire une voiture ou de jouer au jeu de Go, et dans certains domaines précis, comme la reconnaissance d’images, l’IA nous dépasse déjà.

Ces systèmes reposent, pour les plus performants d’entre eux, sur des algorithmes de machine learning qui se perfectionnent automatiquement à mesure qu’ils traitent de nouvelles et généralement très importantes quantités de données. Leur nature évolutive et la complexité intrinsèque des calculs mathématiques qu’ils impliquent rendent leur fonctionnement opaque et l’interprétation de leurs résultats très difficile. Tous azimuts, l’on s’interroge sur le recours à ces algorithmes pour accompagner, voire supplanter la décision humaine. Comme en témoigne l’affaire MiDAS, sur laquelle nous reviendrons aujourd’hui, les bévues récentes de certaines utilisations à large échelle de l’IA dans le domaine administratif nous appellent à une certaine mise en garde et militent pour une meilleure compréhension des effets indésirables et imprévisibles portés par ces technologies.

L’IA, et notamment certaines de ses formes primaires comme les systèmes experts, est utilisée depuis un certain temps pour faciliter les décisions humaines. Un système expert atteint un niveau de compétence élevé dans la résolution de problèmes spécifiques à un domaine. Pour remplir ces fonctions, un tel système doit contenir deux éléments essentiels :

• une base de connaissances, et

• un moteur d’inférence.

La base de connaissances contient des connaissances spécifiques à un domaine sous une forme pouvant être exploitée par un ordinateur. Des règles, elles aussi incluses dans la base de connaissance, sont ensuite appliquées à ces connaissances spécifiques par le moteur d’inférence afin de déduire de nouveaux faits. En somme, un système-expert utilise des connaissances spécifiques à son domaine d’application et, avec l’utilisation du moteur d’inférence, permet de résoudre un problème qui serait autrement résolu par un être humain. On peut donc facilement comprendre que l’efficacité et la pertinence d’un système-expert dépendent de la qualité de l’information contenue dans la base de connaissances puisque c’est sur cela que se fonde le moteur d’inférence.

Les systèmes-experts existent depuis plusieurs années et cette technologie est maintenant amplement documentée. Contrairement aux systèmes faisant usage de machine learning, les systèmes-experts sont plus transparents et moins complexes puisque les données utilisées dans la prise de décision peuvent être vérifiées.

En raison de toutes les promesses offertes par l’intelligence artificielle, il est possible de développer un certain optimisme envers les possibilités soulevées par l’IA. Cependant, qu’arrive-t-il lorsqu’une confiance aveugle est confiée dans un système expert et que, de surcroît, ce système opère sans aucune supervision humaine? La situation vécue entre 2013 et 2015 par les demandeurs d’assurance-emploi du Michigan en est une illustration frappante.

En octobre 2013, le Michigan Unemployment Insurance Agency (UIA) lançait en grande pompe le Michigan Integrated Data Automated System (MiDAS), un système-expert voué à réduire les coûts opérationnels de l’UIA dans la détection de fraude à l’assurance-emploi, et ce, de façon autonome. En août 2015, l’UIA mettait fin à la prise de décision non supervisée par MiDAS. Que s’est-il donc produit?

En 2013, l’État du Michigan a dévoilé son nouveau programme, MiDAS, créé grâce à un investissement de 47 millions de dollars. MiDAS visait à moderniser l’infrastructure de l’UIA, permettant ainsi de créer une efficacité opérationnelle et un service à la clientèle amélioré. Par la mise en place de MiDAS, l’UIA visait trois objectifs :

• S’assurer que seules les personnes devant réellement bénéficier de chèques d’assurance-emploi pourraient les recevoir.

• Augmenter l’efficacité de traitement et de réponses aux demandes d’assurance-emploi.

• Réduire les coûts opérationnels par des gains en efficacité et par la réduction de l’effectif de l’agence.

Les gains en efficacité se sont traduits par la mise à pied d’environ 400 employés de l’UIA. Ces employés étaient principalement affectés à la vérification de cas de fraude potentielle. Dorénavant, l’UIA s’appuierait principalement, voire exclusivement, sur le logiciel MiDAS pour déterminer si les demandeurs avaient obtenu des sommes au-delà de ce qui leur était dû en fonction de leurs revenus, des heures travaillées, ainsi que d’autres informations relatives à leur situation financière.

Sur une période d’un peu moins de deux ans, MiDAS s’est prononcé sur 40 195 cas sans aucune supervision humaine. Autrement dit, l’algorithme de MiDAS générait automatiquement des accusations de fraude en l’absence de vérification humaine. Parmi les cas jugés de façon autonome par MiDAS, 85% ont provoqué un « faux positif ». C’est-à-dire une accusation erronée. MiDAS s’est aussi prononcé sur 22 589 cas additionnels avec un certain niveau de supervision. Encore une fois, l’algorithme a démontré un taux alarmant de faux positifs, puisque 44% des situations jugées frauduleuses étaient irrépréhensibles. De plus, MiDAS a même généré des accusations de fraude visant des personnes n’ayant jamais eu recours à l’assurance-emploi.

C’est ainsi que l’UIA a généré des sommes faramineuses, faisant augmenter ses coffres de 3 à 69 millions de dollars en un peu plus d’un an.

Les conséquences pour les personnes touchées ont été significatives. Alors que certains ont dû déclarer faillite, voir leur salaire être saisi ou leur cote de crédit être diminuée, d’autres ont porté leur cause devant les tribunaux, causant ainsi une hausse marquée du nombre de décisions portées en appel.

Le problème à l’origine du mauvais fonctionnement de MiDAS a été mis au jour par ces nombreuses contestations judiciaires. En effet, ces litiges ont révélé qu’une grande quantité de données n’avait pas pu être prise en compte par l’algorithme de MiDAS puisque le module de numérisation de documents sous format papier n’était pas entièrement intégré à MiDAS.

l’UIA a été l’objet d’une poursuite visant à faire changer les pratiques de l’agence et un recours collectif a été intenté contre les entreprises gérant MiDAS et les employés de l’État responsables de son fonctionnement à l’UIA. Cependant, c’est dans le cadre d’un recours collectif visant cette fois l’État du Michigan que les arguments les plus intéressants ont été avancés. Les demandeurs ont alors plaidé que le système automatisé de prise de décision, MiDAS, avait été créé intentionnellement par l’État du Michigan pour identifier la fraude sans préavis significatif, jugement ou possibilité pour les demandeurs d’être entendus avant d’être privés de leurs biens à titre de pénalité.

Ces arguments sont intéressants, puisqu’ils renvoient aux principes de justice fondamentale et plus précisément à certaines composantes de la règle audi alteram partem. Le droit à l’avis préalable, le droit de faire valoir ses arguments et le droit à la motivation des décisions sont des principes de justice fondamentale que l’on retrouve aussi en droit canadien¹. En effet, le droit canadien permet de réviser une décision² puis d’en appeler au Tribunal de la sécurité sociale³. Par contre, comme dans le cas de MiDAS, lorsqu’une décision est prise par un algorithme, il peut être difficile d’en connaître les motifs. On peut alors se demander comment ces principes de justice fondamentale pourront être respectés si les citoyens en sont réduits à une série de données permettant à des algorithmes de prendre des décisions de façon autonome.

D’ailleurs, certaines juridictions interdisent qu’une décision produisant des effets juridiques contre une personne soit fondée exclusivement sur un traitement automatisé. C’est notamment le cas du Règlement européen sur la protection des données ou RGPD qui encadre la prise de décision autonome par un algorithme sur le territoire de l’Union européenne. Cependant, l’interdiction promulguée par le RGPD n’est pas absolue et permet aux États de recourir à des décisions individuelles automatisées si des « mesures appropriées pour la sauvegarde des droits et libertés et des intérêts légitimes de la personne concernée » sont prises⁴. C’est ce qu’a fait la France en adoptant la Loi n° 2018-493 du 20 juin 2018 relative à la protection des données personnelles⁵. Cette loi permet notamment à l’administration de recourir à des décisions automatisées, à la condition d’offrir des garanties en contrepartie. Au Québec, il ne semble pas avoir d’équivalent à l’article 22 du RGPD. En effet, l’article 35 de la Loi concernant le cadre juridique des technologies de l’information⁶. (ci-après « LCCJTI ») est ce qui s’en rapproche le plus. Cependant, cet article concerne le droit contractuel et vise à suppléer aux difficultés issues de transactions avec une machine. C’est donc en adoptant une interprétation poussée que l’article 35 de la LCCJTI que l’on pourrait dégager une idée similaire à l’article 22 du RGPD.

La chercheure Antoinette Rouvroy nous conseille la circonspection face à cette « gouvernementalité algorithmique ». Cette gouvernance par les nombres est une idée séduisante, puisqu’elle se veut fondamentalement objective et affranchie de toute subjectivité, inhérente aux décisions humaines. Malheureusement, dans ce mode de gouvernance, « les « faux positifs » ne seront jamais interprétés comme des « ratés » puisque […] le but est de ne rater aucun vrai positif, quel que soit le taux de faux positifs. »⁷ Dans le cas de MiDAS, puisque la détection de cas frauduleux (vrais positifs) était le but visé, les accusations erronées (faux positifs) ne constituaient donc qu’un dommage collatéral et nécessaire à un système fonctionnel.

En date du 30 juillet 2017, l’UIA utilisait toujours l’algorithme MiDAS, mais avec une vérification humaine requise pour les déterminations de fraude. Au final, l’aventure MiDAS aura permis d’observer le grand potentiel de l’intelligence artificielle dans la facilitation des décisions humaines. Inversement, MiDAS aura été un triste exemple du risque qu’il y a à conférer une trop grande confiance aux systèmes-experts lorsque l’enjeu est si important. De plus, cet algorithme reposait sur la technologie relativement simple et désuète des systèmes-experts. En constatant ses nombreuses lacunes, il devient alors essentiel de réfléchir sérieusement aux impacts que pourraient avoir certaines technologies moins bien connues comme celles faisant usage de réseaux de neurones dans l’apprentissage profond.

François Brochu-Lemay

Blogue réalisé grâce à la Chaire Lexum.

Ce contenu a été mis à jour le 24 juillet 2018 à 13 h 32 min.