une politique des algorithmes ?

glitch

En décembre dernier, le conseil municipal de la ville de New York a voté une loi qui vise à passer au crible les algorithmes d’aide à la prise de décision employés par la municipalité. Une équipe doit ainsi être mise en place pour observer, tester et contrôler les algorithmes utilisés par les services de police, la justice et plusieurs autres agences municipales. L’objectif : mieux comprendre leur fonctionnement, afin de débusquer les biais éventuels. New York est la première ville américaine à se doter d’une législation sur ce sujet.

Lorsqu’on évoque l’intelligence artificielle, on pense souvent aux robots humanoïdes, aux voitures autonomes, ou encore aux superordinateurs capables de mettre une raclée à l’homme au jeu de go. C’est pourtant sous une forme moins spectaculaire qu’elle s’est largement invitée dans nos existences. Celle des algorithmes d’intelligence artificielle. Invisibles, ils n’en sont pas moins omniprésents. Chaque fois que l’on tape une recherche sur Google, ce sont eux qui sélectionnent et ordonnent les résultats. Lorsque l’on consulte son fil d’actualité Facebook, les publications qui apparaissent sont le fruit d’un savant calcul complexe par ces algorithmes en fonction de nos préférences et de notre historique. Même chose lorsque Spotify nous recommande un morceau de musique.

Conscients de leur formidable potentiel, un nombre croissant d’acteurs les utilisent pour appuyer la prise de décision. Beaucoup d’entreprises recourent ainsi à des algorithmes pour sélectionner les meilleurs candidats pour un poste vacant. Aux États-Unis, les banques s’en servent pour déterminer l’attribution d’un prêt, les compagnies d’assurance pour évaluer le prix d’une police en fonction du profil de l’utilisateur. Les forces de l’ordre les utilisent pour prédire la criminalité et déployer stratégiquement leurs effectifs, la justice pour déterminer si un suspect peut être relâché dans la nature ou doit être placé en détention provisoire.

Lutter contre les discriminations des algorithmes

chess game
Shutterstock
jean gabriel ganascia
Regard d'expert

Jean-Gabriel Ganascia

Chercheur en IA à l'Université Pierre et Marie Curie

 Le problème, c’est qu’on n’a aucune idée des critères qui sont employés, notamment avec l’apprentissage profond. Or, certains critères sont de bons prédicteurs statistiques, mais sont très discriminatoires. 

Ces algorithmes sont conçus pour assister l’humain, donner un support rationnel à ses décisions. Mais ils ne sont pas infaillibles. « Parce qu’on est face à une machine, qui, pour la même entrée, donne toujours la même sortie, on pense qu’elle est objective, mais ce n’est pas le cas. C’est systématique, prévisible, mais ce n’est ni rationnel, ni objectif. » affirme Jean-Gabriel Ganascia, chercheur en intelligence artificielle à l’université Pierre et Marie Curie. « Le problème, c’est qu’on n’a aucune idée des critères qui sont employés, notamment avec l’apprentissage profond. Or, certains critères sont de bons prédicteurs statistiques, mais sont très discriminatoires. » Et comme ces algorithmes sont souvent conçus par des entreprises privées, qui invoquent le secret professionnel pour ne pas publier leur code source, les algorithmes sont souvent des boîtes noires.

Selon Zachary Chase Lipton, professeur en intelligence artificielle à la Carnegie Mellon University, les algorithmes peuvent être biaisés de plus d’une manière. « D’abord, si les données utilisées pour entraîner l'algorithme sont elles-mêmes biaisées, par exemple avec un préjugé raciste, le modèle conçu à partir de celles-ci sera lui aussi biaisé. Ensuite, l’algorithme peut-être entraîné avec le mauvais objectif. Songeons, par exemple, à un algorithme de recherche en ligne optimisant le nombre de clics plutôt que la valeur journalistique. Enfin, les systèmes d’apprentissage machine peuvent s’avérer discriminants envers les minorités, car celles-ci sont moins représentées dans les données de départ. Les résultats les concernant seront donc moins précis, avec des conséquences graves, s’il s’agit d’évaluer l’employabilité ou la solvabilité. »

L'Algorithme, cet ami qui ne vous veut pas forcément du bien

L'algorithme est une arme
 CNN Money

Quand les algorithmes déraillent

Dans son livre Weapons of Maths Destruction, paru en 2016 aux États-Unis (non traduit en français), Cathy O’Neil tira la sonnette d’alarme. Ex-chercheuse en mathématiques, puis analyste dans un fonds d’investissement, elle montre comment des d’algorithmes conçus pour servir le bien commun peuvent subrepticement générer des effets pervers. Elle cite notamment les algorithmes prédictifs employés par la police pour prédire les crimes violents. Contrairement au dispositif imaginé par l’écrivain Philip K. Dick dans sa nouvelle "Rapport minoritaire" (adaptée à l’écran par Steven Spielberg dans "Minority Report"), celui-ci ne repose pas sur des mutants capables de prédire l’avenir, mais sur la gestion des masses de données. 

En 2009, la police de Chicago a reçu une bourse pour concevoir un logiciel capable de prédire la criminalité. Avec cet argent, elle a mis au point un algorithme d’intelligence artificielle qui, à partir de différentes sources de données existantes, a dressé une liste de 400 individus à risque, susceptibles de commettre un homicide. Parmi ces derniers se trouvait Robert McDaniel, un jeune homme de 22 ans, qui a été attentivement observé par la police, recevant même la visite des forces de l’ordre pour l’informer qu’elles le tenaient à l’œil. Robert McDaniel n’a pourtant jamais eu affaire à la justice, ne s’est adonné à aucune activité suspecte et n’a pas commis la plus petite infraction depuis que le logiciel l’a listé comme criminel potentiel. Comment expliquer dès lors qu’il ait été catégorisé comme dangereux ? Tout simplement par le fait que plusieurs infractions avaient été commises près de son domicile, situé dans un quartier défavorisé. En somme, le simple fait d’être pauvre peut valoir à un individu d’être ciblé par les algorithmes de la police. 

Quand l'ia se fait le relai du racisme structurel

racism

Shutterstock

En 2016, ProPublica, un organisme américain spécialisé dans le journalisme d’investigation, a quant à lui enquêté sur le logiciel COMPAS. Ce dernier est employé par la justice américaine pour déterminer la probabilité qu’un suspect ou un détenu commette de nouveaux forfaits à l’avenir. Ce logiciel appuie ainsi les décisions des juges pour déterminer si un suspect peut-être remis en liberté avant son procès ou doit être maintenu en détention provisoire, s’il doit payer une caution, ou encore si un détenu peut bénéficier d’une liberté conditionnelle. Or, selon ProPublica, l’algorithme serait biaisé envers les Afro-Américains. Ces derniers seraient ainsi plus fréquemment mis à tort dans la case récidiviste potentiel que leurs confrères caucasiens. Les conclusions de ProPublica ont été contestées par des journalistes du Washington Post, qui estiment que cet écueil est dû aux inégalités socio-économiques qui frappent la communauté afro-américaine et non à l’algorithme en lui-même. Mais l’on voit malgré tout qu’un algorithme conçu avec les meilleures intentions peut rapidement déraper.

Les algorithmes soulèvent même quelques inquiétudes chez Google, entreprise pourtant peu suspecte de technophobie. John Giannandrea, chef de l’intelligence artificielle chez le géant du net, s’inquiète ainsi des biais potentiels susceptibles de se glisser dans le fonctionnement des algorithmes. Il insiste sur la nécessité, pour leurs concepteurs, d’être parfaitement transparents sur les données utilisées, sous peine de se retrouver face à d’insondables boîtes noires, rapporte la MIT Technology Review. Google fait actuellement beaucoup d’argent en louant l’usage de ses algorithmes d’intelligence artificielle via le cloud à des entreprises tierces. Ces algorithmes clef en main peuvent être utilisés par des individus qui n’en saisissent pas bien le fonctionnement, ce qui renforce le risque d’opacité et la difficulté d’évaluer les résultats. Logique, donc, que Google se préoccupe de cette question. 

Transparence et justification

PRESERVER LES LIBERTéS 

black liberty

Heureusement, la ville de New York n’est pas seule à prendre des actions concrètes en la matière. Toujours aux États-Unis, The AI Now Research Institute a été lancé en juillet 2017 par un groupe de chercheurs, associés à l’American Civil Liberties Union. L’un de ses principaux objectifs est d’identifier les biais présents dans les algorithmes. Depuis Berlin, l’organisation à but non lucratif AlgorithmWatch s’efforce de son côté de sensibiliser les citoyens à cette question en leur permettant de mieux en saisir les enjeux. « Le fait que la plupart des algorithmes d’aide à la prise de décision soient des boîtes noires pour les individus qu’ils affectent n’est pas une loi de la nature. Cela doit cesser. » lit-on dans leur manifeste.

En France, la Commission Nationale Informatique et Libertés (CNIL) a rendu en décembre dernier un rapport sur les enjeux éthiques de l’intelligence artificielle et des algorithmes. Pour s’assurer que ces derniers soient bien mis au service de l’humain, elle propose notamment de mettre l’accent sur la formation, en enseignant des principes éthiques à tous les acteurs-maillons de la chaîne algorithmique (concepteurs, professionnels, citoyens). Elle insiste également sur la nécessité de repenser la conception des algorithmes pour les rendre plus transparents, et éviter l’effet boîte noire. Elle propose enfin la création d’une plateforme nationale d’audit des algorithmes et souhaite encourager la recherche sur l’éthique de l’intelligence artificielle. 

Citons également le projet Transalgo, conçue par l’INRIA afin de surveiller les biais éventuels des algorithmes. L’objectif est, dans un premier temps, de concevoir un portail pédagogique en ligne à destination du grand public. À terme, Transalgo vise également à mettre en place des outils de tests pour évaluer les algorithmes. L’organisme est né suite à la loi pour une République numérique du 7 octobre 2016, afin de doter les juristes d’outils numériques pour leur permettre de faire appliquer cette loi. 

NOVUS ORDO digitorum ?

PETER MAX
Shutterstock

Pour Jean-Gabriel Ganascia, qui effectue également des recherches sur l’éthique des algorithmes, transparence et justification sont les maîtres mots. « Il faut d’une part connaître quels sont les critères utilisés pour motiver la prise de décision du programme, ce qui peut par exemple passer par la diffusion des papiers blancs. Ensuite, il faut concevoir des programmes qui soient capables de s’expliquer, de nous dire en fonction de quels critères ils ont agi. »

Chaque fois, l’objectif n’est pas de lutter contre les algorithmes, mais au contraire de s’assurer qu’ils servent bien les objectifs vertueux pour lesquels ils ont été conçus, et puissent donc être utilisés en toute sécurité. Car s’ils peuvent avoir de funestes conséquences, les algorithmes sont également un formidable outil, susceptible d’améliorer le fonctionnement de la société en de nombreux aspects. Montant au créneau pour défendre l’usage des algorithmes dans le domaine judiciaire, le New York Times mentionne ainsi deux expériences réalisées aux États-Unis, respectivement en Virginie et dans le New Jersey. Chaque fois, des algorithmes ont été utilisés pour donner aux juges la probabilité qu’un détenu mis en liberté provisoire avant son procès ne se rende pas à celui-ci, ou qu’un détenu remis en liberté conditionnelle enfreigne de nouveau la loi. Les juges étaient chaque fois libres de suivre ou non la recommandation des algorithmes.

En Virginie, deux fois plus d’accusés ont pu être placés en liberté provisoire sans qu’une hausse de la criminalité soit constatée, et dans le New Jersey, on a enregistré une baisse de 16% de la population carcérale, sans conséquences négatives. Le journal précise qu’auparavant, les juges devaient simplement se fier à leur instinct, avec seulement quelques minutes pour réfléchir. Bénéficier d’un coup de pouce mathématique leur a permis de prendre de meilleures décisions. 

Rédigé par Guillaume Renouard