l'ia, une usine à inégalités ?

IA inequality

Plusieurs ouvrages ont récemment été publiés aux Etats-Unis comme "Weapons of Math Destruction" de Cathy O'Neil ou, dernièrement, "Automating Inequality" de Virginia Eubanks afin de dénoncer les risques que feraient peser sur certaines populations les usages généralisés du Big Data et de l’intelligence artificielle. Dans une interview accordée en début d'année, Virginia Eubanks raconte l'anecdote qui est à l'origine du livre, un simple échange avec une jeune mère bénéficiaire d'une aide publique et porteuse d'une carte EBT (Electronic Benefits Transfer Card). Cette carte remplace les tickets d'alimentation distribués jusqu'alors aux allocataires. « On pense que ces cartes EBT sont une bonne chose car les porteurs sont moins stigmatisés lorsqu'ils payent leurs achats aux caisses des magasins. Plutôt que d'avoir à donner des tickets d'alimentation, ils payent avec une carte, comme n'importe qui. Or ce que cette allocataire m'a confié, c’est que ces cartes sont certes une bonne chose, mais elles permettent aussi de tracer tous ses achats. » De fait, les craintes de cette mère se sont avérées fondées puisqu'en 2014, le gouverneur du Maine Paul LePage a fait analyser les transactions réalisées avec ces cartes et a repéré 3 650 retraits réalisés dans des magasins de cigarettes et d'alcool ou en dehors de son état. Cela ne représentait que 0,03 % des 1,1 million de retraits réalisés durant cette période, mais cela a permis au gouverneur de proposer une loi obligeant les allocataires de conserver leurs factures en cas de contrôle de leurs achats. Si cette proposition a été rejetée, Virginia Eubanks estime que celle-ci a eu pour effet de stigmatiser les allocataires.

Dans son ouvrage, l’auteure multiplie les exemples, illustrant notamment l’efficacité des algorithmes de détection de fraude pour les assurances maladie ou l’octroie d’aides sociales. Ainsi, en Indiana, le système d’aide sociale TANIF ne bénéficie qu'à 8% de la population de travailleurs pauvres avec des enfants, contre 40% avant que le système ne soit mis en place. Les fraudeurs ont été éliminés du système, mais aussi beaucoup de personnes de bonne foi mais dont les dossiers étaient incomplets. « Les concepteurs de ces systèmes considèrent que le seul point de discrimination se situe au niveau des travailleurs sociaux qui prennent la décision d'accorder un droit. Dans ce cas, cela a du sens de mettre en place un système qui analyse leurs décisions à partir des données pour s'assurer de leur bien-fondé. Néanmoins, les Data Scientist, les ingénieurs et les agents administratifs de haut niveau ont aussi leurs propres biais, des biais qu'ils vont intégrer aux systèmes qu'ils conçoivent. Ces biais seront bien plus invisibles et bien plus dangereux car ces systèmes sont déployés à très grandes échelles et sont excessivement rapides. »

Leurs concepteurs ont mal évalué la complexité du tissu social et leurs algorithmes provoquent des effets secondaires contraires à ceux initialement recherchés.
Laurent Alexandre

Laurent Alexandre

Laurent Alexandre, PDG de DNAVision et auteur de "La guerre des intelligences" souligne les dangers que présentent ces biais dans les algorithmes pour ce type de décision : "Les algorithmes présentent plusieurs degrés de risque. Il y a les algorithmes ouvertement malveillants conçus volontairement dans le but de nuire à telle ou telle population. Il peut aussi y avoir des algorithmes que j'appellerai accidentellement malveillants. Leurs concepteurs ont mal évalué la complexité du tissu social et leurs algorithmes provoquent des effets secondaires contraires à ceux initialement recherchés. Enfin, se pose le problème du Deep Learning. Dans ce cas, l’algorithme n’est plus programmé « à la main » mais apprend à partir des données qui lui sont soumises. Cela produit un effet "black box" et pose clairement le problème de comment contrôler un tel système basé sur le Deep Learning, sachant que la base de données qui a servi à l’apprentissage du réseau de neurones peut elle-même être orientée."

quand l'ia aide la prévention policiaire

police ia

Shutterstock

Les algorithmes de police préventive sur la sellette

predpol cartographie les crimes

predpol

S'il est un domaine où les algorithmes et leurs éventuels biais peuvent avoir des conséquences très directes pour les minorités et la cohésion sociale de la société, c’est celui de la sécurité. Les approches prédictives ont été adoptées par un nombre croissant de municipalités aux Etats-Unis, puis en Europe et les résultats sont bien souvent probants. Avec un système comme Predpol ou ses équivalents, les patrouilles de police sont planifiées par un algorithme prédictif en fonction des délits passés. Les chiffres de baisse de la criminalité annoncés par les éditeurs de ces solutions sont significatifs, mais un biais souvent observé, c’est que l’algorithme concentre les patrouilles dans les quartiers où la criminalité est la plus forte. Mécaniquement, cette concentration de moyens accroit encore le nombre d’événements dans ces zones sensibles et donc amplifie encore la boucle de rétroaction de l’algorithme. Ce biais a notamment été dénoncé par le Human Rights Data Analysis Group lorsque Chicago a souhaité étendre l’usage d’algorithmes prédictifs afin de réduire le nombre de meurtres dans la ville. Laurent Alexandre souligne : « Si on considère que la population carcérale d'origine afro-américaine est surreprésentée aux Etats-Unis, tout système automatique de Deep Learning qui s’appuiera sur cette donnée va pousser vers une augmentation des contrôles sur cette population. Il considérera que la probabilité qu'un membre de cette communauté commette un forfait est supérieure à la moyenne. C'est un système qui s'auto-entretien et le contrôle et la correction des effets indésirables de tels algorithmes impose de corriger les résultats "à la main". »

desbiolles
Regard d'expert

Jean-Philippe Desbiolles

Vice-Président IBM Watson Fr

Il faut veiller en permanence à ce que l’apprentissage des systèmes reste cohérent et que le système ne déraille pas, et que la boucle d’apprentissage soit supervisée par des hommes et des femmes compétents

Ce besoin de supervision des algorithmes par les humains est aussi évoqué par Jean-Philippe Desbiolles, Vice-Président IBM Watson France : « Je suis un fervent promoteur des systèmes supervisés et reste opposé à l’usage de systèmes non supervisés. En pratique, lorsque nous déployons nos solutions, nous le faisons en parallèle à la création d’un centre de compétences cognitives qui dispose de ressources humaines qui vont superviser l’apprentissage des systèmes. Il faut veiller en permanence à ce que l’apprentissage des systèmes reste cohérent et que le système ne déraille pas, et que la boucle d’apprentissage soit supervisée par des hommes et des femmes compétents. » Ce pionnier français de l'IA s'oppose à la vision Black box des algorithmes d'intelligence artificielle telle que l'évoque Laurent Alexandre : « Depuis que je suis rentré en France, on n’arrête pas de parler d’IA comme d’une Black Box, or il n’y a pas plus « Black Box » que l’être humain lui-même ! Paradoxalement, je pense qu’une IA n’est pas une black box car elle a été formatée de manière à ce que, lorsqu’elle livre une recommandation, elle va chercher dans son corpus d’informations l’ensemble des évidences et des faits avec lesquels elle fait sa recommandation. »

Pour l'heure, en réponse aux biais présentés par son système de police prédictive, la ville californienne d’Oakland a préféré mettre fin à son utilisation de PredPol. L'accroissement de la pression policière sur certaines communautés étant considéré comme stigmatisante, le prédictif étant considéré par ces populations comme un simple profiling racial. Même si l'éditeur de PredPol a précisé que son algorithme est neutre vis-à-vis de l'origine des habitants des quartiers, celui-ci conduisait à deux fois plus d’arrestations d’Afro-américains que de blancs. Les biais présentés par les algorithmes sont parfois plus subtils. Ainsi, des chercheurs ont fait apparaitre des disparités dans les performances des logiciels de reconnaissance de visages, de plus en plus utilisés aux Etats-Unis et en Chine, des algorithmes qui ne sont pas exempts de biais raciaux. Diverses études ont montré que les performances de reconnaissance fluctuent en fonction de l’origine raciale. C’est notamment le cas de l’algorithme de Cognitec exploité par les services de police de plusieurs états américains dont la performance est de 5 à 10% plus faible pour un Afro-américain comparé au taux de reconnaissance atteint pour un Caucasien, ce qui présente le risque de multiplier les contrôles de la communauté noire.

audit

CNN MONEY

Peut-on insuffler de l'éthique dans les algorithmes ?

Face à ces biais, de nombreuses voix, dont celle de Chelsea Manning, se sont élevées afin d'appeler les Data Scientists à adopter un code éthique. Virginia Eubanks évoque un serment d'Hippocrate pour tous les concepteurs d'algorithmes mais en appelle aussi à une plus grande transparence quant aux décisions rendues par les algorithmes. "Le serment d'Hippocrate est déjà compliqué à réguler en médecine, l'appliquer au domaine de la Data me paraît très compliqué ! " s'insurge Laurent Alexandre. « On connaît le médecin qui s'occupe de vous, mais personne ne sait qui sont les Data Scientists qui ont élaboré les algorithmes qui analysent vos données à l'échelle mondiale. Faire signer un serment d'Hippocrate a des Data Scientists présents dans de multiples pays, avec de multiples sous-traitants... alors que ce sont parfois des milliers de Data Scientists qui travaillent sur un système expert, un tel contrôle n'est pas une mince affaire. »

A défaut de pouvoir imposer un code éthique à l'ensemble des Data Scientist de la planète, rendre les algorithmes et leurs décisions auditables est une voie que semble vouloir suivre le gouvernement français comme l‘évoquait Mounir Mahjoubi, secrétaire d’Etat au numérique lors de la dernière édition du salon Big Data

 L'auditabilité des algorithmes  sera cruciale pour le futur 

algorithme

Ce besoin de transparence est apparu en pleine lumière en 2016 lorsque l’association Droits des lycées obtenait la publication de l’algorithme APB (Admission Post BAC) utilisé pour répartir les bacheliers dans les formations supérieures en fonction de leurs souhaits. La lecture du programme utilisé par l’éducation nationale a clairement posé le besoin de transparence des algorithmes. La loi française interdit à ce qu’une décision individuelle de l’Etat soit prise par un algorithme seul, mais uniquement en tant qu’outil d’aide à la décision. En outre, les personnes concernées doivent être informées et doivent pouvoir obtenir les éléments qui ont conduit l’algorithme à rendre sa décision.« L’auditabilité des algorithmes est une question centrale pour le futur » explique le professeur Jean-Gabriel Ganascia, chercheur en intelligence artificielle au Laboratoire Informatique de Paris 6 Lip6 et président du comité d’éthique du CNRS. « On a beaucoup parlé de cet auditabilité des algorithmes au moment de l’affaire APB or il ne s'agissait pas d'un algorithme d’intelligence artificielle, mais un simple programme qui répartissait les étudiants sur des critères d’acceptation dans telle ou telle formations, puis un tirage au sort. Lorsque les critères sont clairs, l'auditabilité ne pose pas de problème : une personne ne reçoit pas son allocation car elle ne répond pas à tel ou tel critère. Si on utilise de l’apprentissage machine, l'algorithme s'appuie sur des données d’expériences afin de faire de l’induction et créer ses règles. Le problème est que ces règles ne sont pas vérifiables. »  Si l'absence de transparence d'un algorithme n'est pas problématique s'il s'agit de prédire une panne dans un équipement industriel, déclencher des ordres en bourse, on peut imaginer que dans certains domaines, la législation impose l'usage d'algorithmes traçables comme c'est déjà le cas dans le secteur bancaire où un refus de prêt doit pouvoir être expliqué au client.

Comment évaluer les décisions du  réseau de neurones ?

machine learning

Shutterstock

Expliquer la décision d'un réseau de neurones, un défi pour la recherche

Auditer une décision en particulier nécessiterai de reprendre l'ensemble de cette masse de données, comprendre l'état de chaque neurone et les millions de liaisons activées entre les neurones au moment de la prise de décision, ce qui est juste impensable
Laurent Alexandre

Laurent Alexandre

Ce besoin de transparence des algorithmes pose question dans le secteur médical où le Deep Learning est de plus en plus utilisé en phases de diagnostic. Dans son rapport « Médecins et patients dans le monde des Data, des algorithmes et de l’Intelligence Artificielle », le Comité de l’ordre des médecins pointait ce fonctionnement en mode boite noire des algorithmes d’apprentissage profond et qu’il n’est actuellement pas possible d’analyser le raisonnement conduisant aux résultats. Le rapport soulignait les travaux menés par la DARPA (Defense Advanced Research Projects Agency) avec son programme « Explainable Artificial Intelligence », ainsi que l’initiative TransAlgo de l’Inria afin d’évaluer la transparence des algorithmes. « Pour l’instant, nous ne savons effectivement pas motiver les décisions d’un algorithme prédictif fondé sur des réseaux de neurones formels » explique Jean-Gabriel Ganascia. « Avec certains algorithmes, on sait parfaitement expliquer l’incidence de chaque critère dans le résultat et remonter vers les informations qui sont intervenues dans la prise de décision. C’est l’objet d’études de plusieurs groupes de recherche pour mieux comprendre les éléments d’information qui sont intervenus dans le processus de décision. » 

Pour autant, faut-il renoncer à ces algorithmes sous prétexte que l'on ne peut expliquer formellement leurs décisions ? Pour Laurent Alexandre, la réponse est non : « Interdire les algorithmes non auditables aurait des conséquences extrêmement néfastes. En médecine, les algorithmes ne seront pas auditables et faudra-t-il accepter une augmentation de la mortalité de la leucémie chez l'enfant, du cancer de la prostate chez l'adulte ? On peut multiplier les exemples. Si on a recours au Deep Learning, c'est que le problème est trop complexe pour être modélisé par le cerveau humain et l'effet black box sera toujours présent. Lorsqu'on met en place un réseau de 800 millions de neurones organisés sur 20 couches afin de traiter des téraoctets de données. Auditer une décision en particulier nécessiterait de reprendre l'ensemble de cette masse de données, comprendre l'état de chaque neurone et les millions de liaisons activées entre les neurones au moment de la prise de décision, ce qui est juste impensable » conclut Laurent Alexandre. Faudra-t-il brider les usages de l'IA pour des raisons d'éthique ou faut-il en exploiter les bénéfices pour le meilleur ou pour le pire ? La question reste ouverte.

Rédigé par Alain Clapaud
Journaliste