L’absence de processus rend difficiles les décisions difficiles prises par l’algorithme

L'absence de processus rend difficiles les décisions difficiles prises par l'algorithme

Un résumé de la façon dont la contestabilité pourrait fonctionner sur la base des réponses aux soumissions. Crédit : DOI : 10.1145/3449180

En 2020, en raison des restrictions COVID-19 sur les étudiants passant les examens en personne, le régulateur des examens scolaires du Royaume-Uni, Ofqual, a utilisé un algorithme pour déterminer leurs notes de dernière année.

Et les élèves n’aimaient pas ça.

À la suite de protestations et d’inquiétudes concernant la discrimination socio-économique, les notes algorithmiques ont été supprimées au profit d’une notation évaluée par l’enseignant. L’une des principales critiques du système de notation algorithmique était qu’il n’y avait aucun processus à la disposition des étudiants pour faire appel de leurs notes.

Et ce n’est pas un incident isolé ou un nouveau problème.

En 2014, sept enseignants et la Fédération des enseignants de Houston ont soutenu avec succès que l’utilisation d’un système de mesure des performances algorithmique pour résilier leurs contrats d’enseignement violait leur droit constitutionnel à une procédure régulière. Ils ont fait valoir qu’ils n’étaient pas en mesure de « contester de manière significative » leur licenciement « en raison d’un manque d’informations suffisantes ».

La société qui a créé le système algorithmique a affirmé que les équations, le code source, les règles de décision et les hypothèses qu’elle utilisait étaient tous des secrets commerciaux exclusifs et, en tant que tels, ne pouvaient pas être fournis aux enseignants.

Cela a laissé les enseignants sans compréhension claire des facteurs pris en compte par le système et de la manière dont leurs scores de performance étaient réellement calculés.

Il existe de nombreux autres défis associés aux algorithmes en plus de leur opacité. Par exemple, ce qui peut réellement être contesté n’est souvent pas clair.

Les gens devraient-ils pouvoir contester les données utilisées pour prendre la décision ? Si l’algorithme suit le processus qu’il a été programmé pour suivre, pour quels motifs la décision peut-elle être contestée ? Ou l’utilisation même de l’algorithme en premier lieu doit-elle être contestable ?

De nombreuses lignes directrices et principes ont été élaborés pour aborder l’utilisation de l’intelligence artificielle ces dernières années. Beaucoup d’entre eux mentionnent la possibilité de contester, d’en appeler ou de contester des décisions algorithmiques, mais ils offrent des conseils limités sur le type de processus à prévoir.

Les orientations relatives au règlement général de l’Union européenne sur la protection des données suggèrent que la contestation nécessite un examen interne post-décision.

Dans l’interaction homme-machine, la notion de contestabilité est considérée comme un processus plus interactif, un processus où les personnes touchées par une décision peuvent interagir avec le système de prise de décision pour façonner la prise de décision.

Compte tenu de ces différentes approches de la contestabilité, notre équipe souhaitait mieux comprendre ce que les parties prenantes, y compris le public et les décideurs tels que les entreprises et le gouvernement, s’attendaient à ce que la capacité de contestation soit contestée.

Notre recherche a analysé les soumissions faites en réponse à un document de discussion publié par le gouvernement australien en 2019—Intelligence artificielle : le cadre éthique de l’Australie.

Il s’agit du premier cadre du genre à inclure spécifiquement la « contestabilité » comme principe, qui a été défini comme suit : « Lorsqu’un algorithme a un impact sur une personne, il doit y avoir un processus efficace pour permettre à cette personne de contester l’utilisation ou la sortie de l’algorithme. « 

D’après notre analyse des soumissions, l’inclusion de la « contestabilité » comme son propre principe était généralement soutenue, même si certains pensaient qu’elle était mieux considérée comme un aspect d’un principe d’ordre supérieur tel que « l’équité » ou la « responsabilité ».

Alors que la contestabilité était considérée comme une forme de protection, beaucoup ont remis en question son utilité, étant donné qu’elle est actuellement inapplicable.

Il a également été reconnu que différentes personnes affectées par des décisions algorithmiques auraient différentes capacités et aptitudes à contester. Cela signifie que tout processus de contestation doit être rendu aussi clair et accessible que possible et n’est pas le seul outil utilisé pour réguler la prise de décision algorithmique.

De nombreux mémoires demandaient plus de clarté et d’orientation de la part du gouvernement sur un certain nombre de questions de politique importantes. Par exemple, qui peut contester une décision ? Que peut-on contester ? Comment doit se dérouler un processus de révision ?

Et puis il y a l’image de l’entreprise. Professeur agrégé à la faculté de droit de l’Université du Colorado, Margot Kaminski note qu’un manque de conseils sur la contestabilité pourrait désavantager les personnes concernées :

« Cela soulève la question de savoir si une entreprise dont les intérêts ne correspondent pas toujours à ceux de ses utilisateurs sera en mesure de fournir un processus adéquat et des résultats équitables. .

De nombreuses soumissions ont décrit des processus qui ressemblent à ceux actuellement utilisés pour l’examen des décisions humaines. Cependant, la prise de décision humaine est très différente de la façon dont fonctionne la prise de décision algorithmique.

Il est donc important de déterminer si les processus existants conçus pour vérifier les biais et les erreurs humains seront adéquats pour examiner la prise de décision algorithmique.

Un certain nombre de soumissions ont également souligné la nécessité pour un être humain d’examiner la décision. Mais cela soulève alors des inquiétudes concernant l’évolutivité de l’examen humain – cela pourrait simplement représenter beaucoup trop de travail pour une équipe de personnes.

Au lieu de s’appuyer uniquement sur des processus d’examen des décisions post-hoc, il est utile de créer des systèmes de prise de décision algorithmiques qui prennent en compte la contestabilité dès leur conception.

Une approche — « contestabilité par conception » par le chercheur européen Marco Almada — met l’accent sur la valeur de la conception participative : où ceux qui sont le plus susceptibles d’être touchés par un système de prise de décision sont impliqués dans la conception du système lui-même.

Ce type de processus aiderait à mettre en évidence les problèmes du système et potentiellement à réduire le besoin de contestation future.

Avoir la possibilité d’interagir avec un système, de vérifier les informations qu’il a prises en compte, d’apporter des corrections si nécessaire ou de déposer des litiges pourrait aider les gens à comprendre le fonctionnement d’un système et à exercer un certain contrôle sur le résultat, ce qui peut également réduire le besoin de post- procédures de contestation ponctuelles.

En fin de compte, la prise de décision algorithmique est très différente de la prise de décision humaine. Nous devons examiner attentivement la manière de concevoir des systèmes qui non seulement soutiennent la capacité de contester, mais réduisent également la nécessité pour quiconque de contester une décision en premier lieu.


Des algorithmes peuvent décider de vos notes, de vos perspectives de travail et de votre sécurité financière. Comment savez-vous qu’ils sont justes ?


Plus d’information:
Henrietta Lyons et al, Conceptualiser la contestabilité, Actes de l’ACM sur l’interaction homme-machine (2021). DOI : 10.1145/3449180

Fourni par l’Université de Melbourne

Citation: L’absence de processus rend difficiles les décisions difficiles prises par l’algorithme (2021, 24 novembre) récupéré le 24 novembre 2021 à partir de https://techxplore.com/news/2021-11-lack-decisions-algorithm-difficult.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.