Un chatbot sur les troubles de l’alimentation est suspendu pour avoir donné des conseils nuisibles

Tessa est fournie par la société de technologie de la santé X2AI, maintenant connue sous le nom de Cass, qui a été fondée par l’entrepreneur Michiel Rauws et offre des conseils en santé mentale par SMS. Rauws n’a pas répondu aux questions de WIRED sur Tessa et les conseils de perte de poids, ni sur les problèmes dans les réponses du chatbot. À ce jour, la page Tessa sur le site Web de l’entreprise était en panne.

Thompson dit que Tessa ne remplace pas la ligne d’assistance et que le bot était une ressource gratuite de la NEDA depuis février 2022. “Un chatbot, même un programme hautement intuitif, ne peut pas remplacer l’interaction humaine”, déclare Thompson. Mais dans une mise à jour de mars, la NEDA a déclaré qu’elle “réduirait” sa ligne d’assistance et “commencerait à se tourner vers l’utilisation élargie de la technologie assistée par l’IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa”.

Fitzsimmons-Craft dit également que Tessa a été conçue comme une ressource distincte, et non comme quelque chose pour remplacer l’interaction humaine. En septembre 2020, elle a déclaré à WIRED que la technologie pour aider à lutter contre les troubles de l’alimentation est “là pour rester” mais ne remplacerait pas tous les traitements dirigés par l’homme.

Mais sans le personnel et les bénévoles de la ligne d’assistance téléphonique NEDA, Tessa est l’outil interactif et accessible laissé à sa place, si et quand l’accès est rétabli. Lorsqu’on lui a demandé quelles ressources directes resteraient disponibles via NEDA, Thompson cite un site Web entrant avec plus de contenu et de ressources, ainsi que des événements en personne. Elle dit également que la NEDA dirigera les gens vers la Crisis Text Line, une organisation à but non lucratif qui relie les gens aux ressources pour un large éventail de problèmes de santé mentale, comme les troubles de l’alimentation, l’anxiété, etc.

Les licenciements de la NEDA sont également survenus quelques jours seulement après que le petit personnel de l’organisation à but non lucratif a voté pour se syndiquer, selon un article de blog d’un membre de l’unité, Helpline Associates United. Ils disent qu’ils ont déposé une plainte pour pratique de travail déloyale auprès du National Labor Relations Board des États-Unis à la suite des suppressions d’emplois. “Un chatbot ne remplace pas l’empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l’alimentation”, a déclaré le syndicat dans un communiqué. déclaration.

WIRED a envoyé un message à Tessa avant qu’il ne soit mis en pause, mais le chatbot s’est avéré trop glitch pour fournir des ressources ou des informations directes. Tessa s’est présentée et a demandé à plusieurs reprises l’acceptation de ses conditions d’utilisation. “Mon objectif principal en ce moment est de vous soutenir dans votre travail dans le cadre du programme Body Positive”, a déclaré Tessa. “Je vous contacterai quand il sera temps de terminer la prochaine session.” Lorsqu’on lui a demandé quel était le programme, le chatbot n’a pas répondu. Mardi, il a envoyé un message indiquant que le service était en cours de maintenance.

Les lignes téléphoniques d’urgence et d’aide sont des ressources vitales. C’est en partie parce que l’accès aux soins de santé mentale aux États-Unis est d’un coût prohibitif. Une séance de thérapie peut coûter entre 100 $ et 200 $ ou plus, et un traitement en milieu hospitalier pour les troubles de l’alimentation peut coûter plus de 1 000 $ par jour. Selon une étude de l’Université de Yale, moins de 30% des personnes demandent l’aide de conseillers.

Il y a d’autres efforts pour utiliser la technologie pour combler le vide. Fitzsimmons-Craft craint que la débâcle de Tessa éclipse l’objectif plus large d’aider les personnes qui n’ont pas accès aux ressources cliniques ou aux ressources cliniques de l’aide des chatbots. « Nous perdons de vue les personnes que cela peut aider », dit-elle.

Tessa est fournie par la société de technologie de la santé X2AI, maintenant connue sous le nom de Cass, qui a été fondée par l’entrepreneur Michiel Rauws et offre des conseils en santé mentale par SMS. Rauws n’a pas répondu aux questions de WIRED sur Tessa et les conseils de perte de poids, ni sur les problèmes dans les réponses du chatbot. À ce jour, la page Tessa sur le site Web de l’entreprise était en panne.

Thompson dit que Tessa ne remplace pas la ligne d’assistance et que le bot était une ressource gratuite de la NEDA depuis février 2022. “Un chatbot, même un programme hautement intuitif, ne peut pas remplacer l’interaction humaine”, déclare Thompson. Mais dans une mise à jour de mars, la NEDA a déclaré qu’elle “réduirait” sa ligne d’assistance et “commencerait à se tourner vers l’utilisation élargie de la technologie assistée par l’IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa”.

Fitzsimmons-Craft dit également que Tessa a été conçue comme une ressource distincte, et non comme quelque chose pour remplacer l’interaction humaine. En septembre 2020, elle a déclaré à WIRED que la technologie pour aider à lutter contre les troubles de l’alimentation est “là pour rester” mais ne remplacerait pas tous les traitements dirigés par l’homme.

Mais sans le personnel et les bénévoles de la ligne d’assistance téléphonique NEDA, Tessa est l’outil interactif et accessible laissé à sa place, si et quand l’accès est rétabli. Lorsqu’on lui a demandé quelles ressources directes resteraient disponibles via NEDA, Thompson cite un site Web entrant avec plus de contenu et de ressources, ainsi que des événements en personne. Elle dit également que la NEDA dirigera les gens vers la Crisis Text Line, une organisation à but non lucratif qui relie les gens aux ressources pour un large éventail de problèmes de santé mentale, comme les troubles de l’alimentation, l’anxiété, etc.

Les licenciements de la NEDA sont également survenus quelques jours seulement après que le petit personnel de l’organisation à but non lucratif a voté pour se syndiquer, selon un article de blog d’un membre de l’unité, Helpline Associates United. Ils disent qu’ils ont déposé une plainte pour pratique de travail déloyale auprès du National Labor Relations Board des États-Unis à la suite des suppressions d’emplois. “Un chatbot ne remplace pas l’empathie humaine, et nous pensons que cette décision causera un préjudice irréparable à la communauté des troubles de l’alimentation”, a déclaré le syndicat dans un communiqué. déclaration.

WIRED a envoyé un message à Tessa avant qu’il ne soit mis en pause, mais le chatbot s’est avéré trop glitch pour fournir des ressources ou des informations directes. Tessa s’est présentée et a demandé à plusieurs reprises l’acceptation de ses conditions d’utilisation. “Mon objectif principal en ce moment est de vous soutenir dans votre travail dans le cadre du programme Body Positive”, a déclaré Tessa. “Je vous contacterai quand il sera temps de terminer la prochaine session.” Lorsqu’on lui a demandé quel était le programme, le chatbot n’a pas répondu. Mardi, il a envoyé un message indiquant que le service était en cours de maintenance.

Les lignes téléphoniques d’urgence et d’aide sont des ressources vitales. C’est en partie parce que l’accès aux soins de santé mentale aux États-Unis est d’un coût prohibitif. Une séance de thérapie peut coûter entre 100 $ et 200 $ ou plus, et un traitement en milieu hospitalier pour les troubles de l’alimentation peut coûter plus de 1 000 $ par jour. Selon une étude de l’Université de Yale, moins de 30% des personnes demandent l’aide de conseillers.

Il y a d’autres efforts pour utiliser la technologie pour combler le vide. Fitzsimmons-Craft craint que la débâcle de Tessa éclipse l’objectif plus large d’aider les personnes qui n’ont pas accès aux ressources cliniques ou aux ressources cliniques de l’aide des chatbots. « Nous perdons de vue les personnes que cela peut aider », dit-elle.