par Il était une fois une assistante virtuelle nommée Mme Dewey, une bibliothécaire avenante jouée par Janina Gavankar qui vous a aidé dans vos demandes de renseignements sur la première tentative de Microsoft sur un moteur de recherche. Mme Dewey a été lancée en 2006, avec plus de 600 lignes de dialogue enregistrées. Elle était en avance sur son temps à plusieurs égards, mais un exemple particulièrement négligé a été capturé par la spécialiste de l’information Miriam Sweeney dans sa thèse de doctorat de 2013, où elle a détaillé les implications sexospécifiques et racialisées des réponses de Dewey. Cela incluait des lignes comme: “Hé, si vous pouvez entrer dans votre ordinateur, vous pouvez me faire ce que vous voulez.” Ou comment la recherche de “blow jobs” a fait jouer un clip d’elle en train de manger une banane, ou la saisie de termes comme “ghetto” l’a amenée à faire un rap avec des paroles comprenant des joyaux tels que “Non, goldtooth, ghetto-fabulous mutha-fucker BEEP étapes vers ce morceau de [ass] BIP.” Sweeney analyse l’évidence : que Dewey a été conçu pour répondre aux besoins d’un utilisateur masculin blanc et hétéro. Les blogs de l’époque louaient le flirt de Dewey, après tout.
Mme Dewey a été désactivée par Microsoft en 2009, mais des critiques ultérieurs – moi y compris – ont identifié un schéma similaire de préjugés dans la façon dont certains utilisateurs interagissaient avec des assistants virtuels comme Siri ou Cortana. Lorsque les ingénieurs de Microsoft ont révélé qu’ils avaient programmé Cortana pour repousser fermement les requêtes ou les avances sexuelles, il y a eu une indignation bouillonnante sur Reddit. Un message très apprécié disait : « Est-ce que ces putains de gens sont sérieux ?! “Son” but est de faire ce que les gens lui disent de faire ! Hé, salope, ajoute ça à mon calendrier… Le jour où Cortana deviendra une “femme indépendante”, c’est le jour où les logiciels deviendront inutiles. Les critiques d’un tel comportement ont fleuri, y compris de la part de votre humble correspondant.
Maintenant, au milieu du recul contre ChatGPT et ses semblables, le pendule a basculé fort, et nous sommes avertis contre empathie avec ces choses. C’est un point que j’ai soulevé à la suite du fiasco de LaMDA AI l’année dernière : un bot n’a pas besoin d’être intelligent pour que nous l’anthropomorphisions, et ce fait sera exploité par des profiteurs. Je maintiens cet avertissement. Mais certains sont allés plus loin en suggérant que les critiques antérieures des personnes qui ont abusé de leurs assistants virtuels sont des habilitations naïves rétrospectivement. Peut-être que les hommes qui ont traité à plusieurs reprises Cortana de “salope” étaient sur quelque chose !
Cela peut vous choquer d’apprendre que ce n’est pas le cas. Non seulement les critiques passées de l’abus de l’IA étaient correctes, mais elles anticipaient le paysage numérique plus dangereux auquel nous sommes confrontés aujourd’hui. La vraie raison pour laquelle la critique est passée de “les gens sont trop méchants avec les bots” à “les gens sont trop gentils avec eux” est que l’économie politique de l’IA a soudainement et radicalement changé, et avec elle, les arguments de vente des entreprises technologiques. Là où autrefois les bots nous étaient vendus comme des serviteurs parfaits, ils vont maintenant nous être vendus comme nos meilleurs amis. Mais dans chaque cas, la réponse pathologique à chaque génération de robots nous a implicitement obligés à les humaniser. Les propriétaires du bot ont toujours militarisé nos pires et nos meilleures impulsions.
Une vérité contre-intuitive à propos de la violence est que, bien que déshumanisante, elle oblige en fait l’agresseur à vous voir comme un être humain. C’est une sombre réalité, mais tout le monde, des criminels de guerre aux crétins du pub, s’amuse, dans une certaine mesure, à l’idée que leurs victimes ressentent de la douleur. La déshumanisation n’est pas l’incapacité de voir quelqu’un comme humain, mais le désir de voir quelqu’un comme moins qu’humain et d’agir en conséquence. Ainsi, à un certain niveau, c’est précisément le degré auquel les gens confondent leurs assistants virtuels avec de vrais êtres humains qui les encouragent à en abuser. Ce ne serait pas amusant sinon. Cela nous amène au moment présent.
La génération précédente de l’IA nous ont été vendus comme de parfaits serviteurs – un système de sonorisation sophistiqué ou peut-être l’ordinateur Starship Enterprise de Majel Barrett. Cédant, omniscient, toujours prêt à servir. Les nouveaux moteurs de recherche de chatbot portent également certaines des mêmes associations, mais à mesure qu’ils évoluent, ils nous seront également vendus comme nos nouveaux confidents, voire nos nouveaux thérapeutes.
