Un éthicien des données met en garde contre une dépendance excessive aux algorithmes

Un éthicien des données met en garde contre une dépendance excessive aux algorithmes

Des outils informatiques comme l’intelligence artificielle peuvent créer une dépendance excessive aux algorithmes au détriment des connaissances humaines, prévient un professeur de l’UO. Crédit : Université de l’Oregon/Shutterstock

Les pigeons peuvent être rapidement entraînés à détecter les masses cancéreuses sur les scanners aux rayons X. Tout comme les algorithmes informatiques.

Mais malgré l’efficacité potentielle de l’externalisation de la tâche aux oiseaux ou aux ordinateurs, ce n’est pas une excuse pour se débarrasser des radiologues humains, affirme le philosophe UO et éthicien des données Ramón Alvarado.

Alvarado étudie la façon dont les humains interagissent avec la technologie. Il est particulièrement sensible aux méfaits qui peuvent résulter d’une dépendance excessive aux algorithmes et à l’apprentissage automatique. Alors que l’automatisation s’insinue de plus en plus dans la vie quotidienne des gens, il y a un risque que les ordinateurs dévalorisent les connaissances humaines.

“Ils sont opaques, mais nous pensons que parce qu’ils font des maths, ils sont meilleurs que les autres connaisseurs”, a déclaré Alvarado. “L’hypothèse est que le modèle sait le mieux, et qui êtes-vous pour dire aux maths qu’ils se trompent ?”

Ce n’est un secret pour personne que les algorithmes construits par les humains perpétuent souvent les mêmes préjugés qui les ont influencés. Une application de reconnaissance faciale formée principalement sur des visages blancs ne sera pas aussi précise sur un ensemble diversifié de personnes. Ou un outil de classement des CV qui accorde une plus grande préférence aux personnes ayant suivi une formation dans la Ivy League pourrait ignorer les personnes talentueuses aux antécédents plus uniques mais moins quantifiables.

Mais Alvarado s’intéresse à une question plus nuancée : que se passe-t-il si tout va bien et qu’un algorithme est en fait meilleur qu’un humain pour une tâche ? Même dans ces situations, des dommages peuvent toujours survenir, affirme Alvarado dans un article récent publié dans synthèse. C’est ce qu’on appelle “l’injustice épistémique”.

Le terme a été inventé par la philosophe féministe Miranda Fricker dans les années 2000. Il a été utilisé pour décrire le sexisme bienveillant, comme les hommes offrant de l’aide aux femmes à la quincaillerie (un beau geste) parce qu’ils les présument moins compétentes (une motivation négative). Alvarado a élargi le cadre de Fricker et l’a appliqué à la science des données.

Il souligne la nature impénétrable de la plupart des technologies modernes : un algorithme peut obtenir la bonne réponse, mais nous ne savons pas comment ; ce qui rend difficile la remise en cause des résultats. Même les scientifiques qui conçoivent les algorithmes d’apprentissage automatique de plus en plus sophistiqués d’aujourd’hui ne peuvent généralement pas expliquer comment ils fonctionnent ou ce que l’outil utilise pour prendre une décision.

Une étude souvent citée a révélé qu’un algorithme d’apprentissage automatique qui distinguait correctement les loups des huskies sur les photos ne regardait pas les canidés eux-mêmes, mais se concentrait plutôt sur la présence ou l’absence de neige sur l’arrière-plan de la photo. Et puisqu’un ordinateur, ou un pigeon, ne peut pas expliquer son processus de pensée comme le peut un humain, les laisser prendre le contrôle dévalue nos propres connaissances.

Aujourd’hui, le même type d’algorithme peut être utilisé pour décider si quelqu’un mérite ou non une greffe d’organe, une ligne de crédit ou une hypothèque.

La dévaluation des connaissances résultant de la dépendance à une telle technologie peut avoir des conséquences négatives de grande envergure. Alvarado cite un exemple à fort enjeu : le cas de Glenn Rodriguez, un prisonnier qui s’est vu refuser la libération conditionnelle sur la base d’un algorithme qui quantifiait son risque à sa libération. Malgré les dossiers de prison indiquant qu’il avait été un modèle cohérent pour la réhabilitation, l’algorithme a statué différemment.

Cela a produit de multiples injustices, soutient Alvarado. Le premier est la décision basée sur un algorithme, qui a pénalisé un homme qui, selon tous les autres critères, avait obtenu sa libération conditionnelle. Mais la deuxième injustice, plus subtile, est la nature impénétrable de l’algorithme lui-même.

“Les technologies opaques nuisent aux décideurs eux-mêmes, ainsi qu’aux sujets des processus décisionnels, en abaissant leur statut de connaisseurs”, a déclaré Alvarado. “C’est une atteinte à votre dignité parce que ce que nous savons, et ce que les autres pensent que nous savons, est une partie essentielle de la façon dont nous naviguons ou sommes autorisés à naviguer dans le monde.”

Ni Rodriguez, ses avocats, ni même la commission des libérations conditionnelles n’ont pu accéder aux variables qui sont entrées dans l’algorithme qui a déterminé son sort, afin de comprendre ce qui le biaisait et de contester sa décision. Leur propre connaissance du personnage de Rodriquez a été éclipsée par un programme informatique opaque, et leur compréhension du programme informatique a été bloquée par la société qui a conçu l’outil. Ce manque d’accès est une injustice épistémique.

“Dans un monde avec une automatisation accrue de la prise de décision, les risques ne sont pas seulement d’être lésés par un algorithme, mais aussi d’être laissés pour compte en tant que créateurs et challengers de connaissances”, a déclaré Alvarado. “Alors que nous nous asseyons et profitons de la commodité de ces systèmes automatisés, nous oublions souvent cet aspect clé de notre expérience humaine.”


Qu’est-ce qu’un algorithme ? Comment les ordinateurs savent quoi faire avec les données


Plus d’information:
John Symons et al, Injustice épistémique et technologies de la science des données, synthèse (2022). DOI : 10.1007/s11229-022-03631-z

Fourni par l’Université de l’Oregon

Citation: Un éthicien des données met en garde contre une dépendance excessive aux algorithmes (2022, 26 mai) récupéré le 26 mai 2022 sur https://techxplore.com/news/2022-05-ethicist-cautions-overdependence-algorithms.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.