par La semaine dernière, WIRED a publié une série d’histoires approfondies et basées sur des données sur un algorithme problématique que la ville néerlandaise de Rotterdam a déployé dans le but d’éradiquer la fraude aux prestations.
En partenariat avec Lighthouse Reports, une organisation européenne spécialisée dans le journalisme d’investigation, WIRED a eu accès au fonctionnement interne de l’algorithme en vertu des lois sur la liberté d’information et a exploré comment il évalue qui est le plus susceptible de commettre une fraude.
Nous avons constaté que l’algorithme discrimine en fonction de l’ethnicité et du sexe, ce qui donne injustement aux femmes et aux minorités des scores de risque plus élevés, ce qui peut conduire à des enquêtes qui causent des dommages importants à la vie personnelle des demandeurs. Un article interactif plonge dans les entrailles de l’algorithme, vous présentant deux exemples hypothétiques pour montrer que si la race et le sexe ne font pas partie des facteurs intégrés à l’algorithme, d’autres données, telles que la maîtrise de la langue néerlandaise d’une personne, peuvent agir comme un proxy. qui permet la discrimination.
Le projet montre comment les algorithmes conçus pour rendre les gouvernements plus efficaces – et qui sont souvent présentés comme plus justes et plus axés sur les données – peuvent amplifier en secret les préjugés sociétaux. L’enquête WIRED et Lighthouse a également révélé que d’autres pays testent des approches tout aussi défectueuses pour trouver des fraudeurs.
“Les gouvernements intègrent des algorithmes dans leurs systèmes depuis des années, qu’il s’agisse d’une feuille de calcul ou d’un apprentissage automatique sophistiqué”, explique Dhruv Mehrotra, journaliste d’investigation chez WIRED qui a travaillé sur le projet. “Mais lorsqu’un algorithme comme celui-ci est appliqué à tout type d’application de la loi punitive et prédictive, il devient à fort impact et assez effrayant.”
L’impact d’une enquête déclenchée par l’algorithme de Rotterdam pourrait être déchirant, comme on l’a vu dans le cas d’une mère de trois enfants qui a été interrogée.
Mais Mehrotra affirme que le projet n’a pu mettre en évidence de telles injustices que parce que WIRED et Lighthouse ont eu la possibilité d’inspecter le fonctionnement de l’algorithme – d’innombrables autres systèmes fonctionnent en toute impunité sous le couvert de l’obscurité bureaucratique. Il dit qu’il est également important de reconnaître que des algorithmes tels que celui utilisé à Rotterdam sont souvent construits sur des systèmes intrinsèquement injustes.
“Souvent, les algorithmes ne font qu’optimiser une technologie déjà punitive pour le bien-être, la fraude ou la police”, dit-il. “Vous ne voulez pas dire que si l’algorithme était juste, tout irait bien.”
Il est également essentiel de reconnaître que les algorithmes sont de plus en plus répandus à tous les niveaux de gouvernement et pourtant, leur fonctionnement est souvent entièrement caché à ceux qui sont les plus touchés.
Une autre enquête que Mehrota a menée en 2021, avant de rejoindre WIRED, montre comment le logiciel de prédiction de la criminalité utilisé par certains services de police ciblait injustement les communautés noires et latines. En 2016, ProPublica a révélé des biais choquants dans les algorithmes utilisés par certains tribunaux aux États-Unis pour prédire quels accusés courent le plus grand risque de récidive. D’autres algorithmes problématiques déterminent les écoles fréquentées par les enfants, recommandent les entreprises à embaucher et décident quelles demandes de prêt hypothécaire des familles sont approuvées.
De nombreuses entreprises utilisent également des algorithmes pour prendre des décisions importantes, bien sûr, et celles-ci sont souvent encore moins transparentes que celles du gouvernement. Il y a un mouvement croissant pour tenir les entreprises responsables de la prise de décision algorithmique et une pression pour une législation qui nécessite une plus grande visibilité. Mais le problème est complexe et rendre les algorithmes plus justes peut parfois empirer les choses.
