OpenAI poursuit une nouvelle façon de lutter contre les “hallucinations” de l’IA

OpenAI prend le relais contre les “hallucinations” de l’IA, a annoncé mercredi la société, avec une nouvelle méthode de formation des modèles d’IA.

La recherche intervient à un moment où la désinformation provenant des systèmes d’IA est plus vivement débattue que jamais, au milieu du boom génératif de l’IA et de la préparation de l’élection présidentielle américaine de 2024. OpenAI a accéléré le boom de l’IA générative l’année dernière en lançant ChatGPT, son chatbot alimenté par GPT-3 et GPT-4, et a dépassé les 100 millions d’utilisateurs mensuels en deux mois, établissant un record pour l’application à la croissance la plus rapide. À ce jour, Microsoft a investi plus de 13 milliards de dollars dans OpenAI, et la valeur de la startup a atteint environ 29 milliards de dollars.

Des hallucinations d’IA se produisent lorsque des modèles comme ChatGPT d’OpenAI ou Google‘s Bard fabrique entièrement des informations, se comportant comme s’ils débitaient des faits. Un exemple : dans la propre vidéo promotionnelle de Google de février pour Bard, le chatbot fait une fausse déclaration sur le télescope spatial James Webb. Plus récemment, ChatGPT a cité des cas “faux” dans un dossier devant un tribunal fédéral de New York, et les avocats de New York impliqués pourraient faire face à des sanctions.

“Même les modèles de pointe sont susceptibles de produire des faussetés – ils ont tendance à inventer des faits dans les moments d’incertitude”, ont écrit les chercheurs d’OpenAI dans le rapport. “Ces hallucinations sont particulièrement problématiques dans les domaines qui nécessitent un raisonnement en plusieurs étapes, car une seule erreur logique suffit à faire dérailler une solution beaucoup plus vaste.”

La nouvelle stratégie potentielle d’OpenAI pour lutter contre les fabrications : former des modèles d’IA pour qu’ils se récompensent pour chaque étape de raisonnement correcte lorsqu’ils arrivent à une réponse, au lieu de simplement récompenser une conclusion finale correcte. L’approche est appelée “supervision des processus”, par opposition à “supervision des résultats”, et pourrait conduire à une IA mieux explicable, selon les chercheurs, puisque la stratégie encourage les modèles à suivre davantage une chaîne de “pensée” humaine.

“Détecter et atténuer les erreurs logiques ou les hallucinations d’un modèle est une étape critique vers la construction d’une AGI alignée [or artificial general intelligence]” Karl Cobbe, chercheur en mathématiques chez OpenAI, a déclaré à CNBC, notant que bien qu’OpenAI n’ait pas inventé l’approche de supervision des processus, la société aide à la faire avancer. ” La motivation derrière cette recherche est de traiter les hallucinations afin de rendre les modèles plus efficaces. capable de résoudre des problèmes de raisonnement difficiles.”

OpenAI a publié un ensemble de données d’accompagnement de 800 000 étiquettes humaines qu’il a utilisées pour former le modèle mentionné dans le document de recherche, a déclaré Cobbe.

Ben Winters, avocat principal au Electronic Privacy Information Center et chef de son projet sur l’IA et les droits de l’homme, a exprimé son scepticisme, déclarant à CNBC qu’il serait intéressé de voir l’ensemble de données complet et les exemples qui l’accompagnent.

“Je ne pense tout simplement pas que cela à lui seul atténue de manière significative les inquiétudes concernant la désinformation et les résultats incorrects… lorsqu’il est réellement utilisé dans la nature”, a déclaré Winters. Il a ajouté : “Il est vraiment important de savoir s’ils prévoient de mettre en œuvre ce qu’ils ont trouvé grâce à leurs recherches ici [into their products]et s’ils ne le sont pas, cela soulève des questions assez sérieuses sur ce qu’ils sont prêts à divulguer au public.”

Puisqu’il n’est pas clair que l’article d’OpenAI ait été revu par des pairs ou revu dans un autre format, Suresh Venkatasubramanian, directeur du centre de responsabilité technologique de l’Université Brown, a déclaré à CNBC qu’il considérait la recherche comme plus une observation préliminaire qu’autre chose.

“Cela devra secouer la communauté des chercheurs avant que nous puissions dire quoi que ce soit de certain à ce sujet”, a déclaré Venkatasubramanian. “Dans ce monde, il y a beaucoup de résultats qui sortent très régulièrement, et en raison de l’instabilité globale du fonctionnement des grands modèles de langage, ce qui pourrait fonctionner dans un cadre, un modèle et un contexte peut ne pas fonctionner dans un autre cadre, modèle et contexte. .”

Venkatasubramanian a ajouté : “Certaines des choses hallucinatoires qui préoccupent les gens sont [models] faire des citations et des références. Il n’y a aucune preuve dans cet article que cela fonctionnerait pour cela… Ce n’est pas que je dis que cela ne fonctionnera pas ; Je dis que ce document ne fournit pas cette preuve.”

OpenAI n’a pas répondu à une demande de commentaire demandant si la recherche avait été examinée en externe à quelque titre que ce soit, ou quand, le cas échéant, la société prévoit de mettre en œuvre la nouvelle stratégie dans ChatGPT et ses autres produits.

“Il est certainement bienvenu de voir des entreprises essayer de bricoler le développement de leurs systèmes pour essayer de réduire ce type d’erreurs – je pense que la clé est d’interpréter cela comme une recherche d’entreprise, à la lumière des nombreux obstacles qui existent à des formes plus profondes de responsabilité “, a déclaré à CNBC Sarah Myers West, directrice générale de l’AI Now Institute.

Ouest a ajouté : “[OpenAI is] publiant un petit ensemble de données de rétroaction au niveau humain avec cet article, mais il n’a pas fourni de détails de base sur les données utilisées pour former et tester GPT-4. Il y a donc encore une énorme opacité qui remet en question tout effort de responsabilité significatif dans le domaine de l’IA, même si ces systèmes affectent déjà directement les gens.”

OpenAI prend le relais contre les “hallucinations” de l’IA, a annoncé mercredi la société, avec une nouvelle méthode de formation des modèles d’IA.

La recherche intervient à un moment où la désinformation provenant des systèmes d’IA est plus vivement débattue que jamais, au milieu du boom génératif de l’IA et de la préparation de l’élection présidentielle américaine de 2024. OpenAI a accéléré le boom de l’IA générative l’année dernière en lançant ChatGPT, son chatbot alimenté par GPT-3 et GPT-4, et a dépassé les 100 millions d’utilisateurs mensuels en deux mois, établissant un record pour l’application à la croissance la plus rapide. À ce jour, Microsoft a investi plus de 13 milliards de dollars dans OpenAI, et la valeur de la startup a atteint environ 29 milliards de dollars.

Des hallucinations d’IA se produisent lorsque des modèles comme ChatGPT d’OpenAI ou Google‘s Bard fabrique entièrement des informations, se comportant comme s’ils débitaient des faits. Un exemple : dans la propre vidéo promotionnelle de Google de février pour Bard, le chatbot fait une fausse déclaration sur le télescope spatial James Webb. Plus récemment, ChatGPT a cité des cas “faux” dans un dossier devant un tribunal fédéral de New York, et les avocats de New York impliqués pourraient faire face à des sanctions.

“Même les modèles de pointe sont susceptibles de produire des faussetés – ils ont tendance à inventer des faits dans les moments d’incertitude”, ont écrit les chercheurs d’OpenAI dans le rapport. “Ces hallucinations sont particulièrement problématiques dans les domaines qui nécessitent un raisonnement en plusieurs étapes, car une seule erreur logique suffit à faire dérailler une solution beaucoup plus vaste.”

La nouvelle stratégie potentielle d’OpenAI pour lutter contre les fabrications : former des modèles d’IA pour qu’ils se récompensent pour chaque étape de raisonnement correcte lorsqu’ils arrivent à une réponse, au lieu de simplement récompenser une conclusion finale correcte. L’approche est appelée “supervision des processus”, par opposition à “supervision des résultats”, et pourrait conduire à une IA mieux explicable, selon les chercheurs, puisque la stratégie encourage les modèles à suivre davantage une chaîne de “pensée” humaine.

“Détecter et atténuer les erreurs logiques ou les hallucinations d’un modèle est une étape critique vers la construction d’une AGI alignée [or artificial general intelligence]” Karl Cobbe, chercheur en mathématiques chez OpenAI, a déclaré à CNBC, notant que bien qu’OpenAI n’ait pas inventé l’approche de supervision des processus, la société aide à la faire avancer. ” La motivation derrière cette recherche est de traiter les hallucinations afin de rendre les modèles plus efficaces. capable de résoudre des problèmes de raisonnement difficiles.”

OpenAI a publié un ensemble de données d’accompagnement de 800 000 étiquettes humaines qu’il a utilisées pour former le modèle mentionné dans le document de recherche, a déclaré Cobbe.

Ben Winters, avocat principal au Electronic Privacy Information Center et chef de son projet sur l’IA et les droits de l’homme, a exprimé son scepticisme, déclarant à CNBC qu’il serait intéressé de voir l’ensemble de données complet et les exemples qui l’accompagnent.

“Je ne pense tout simplement pas que cela à lui seul atténue de manière significative les inquiétudes concernant la désinformation et les résultats incorrects… lorsqu’il est réellement utilisé dans la nature”, a déclaré Winters. Il a ajouté : “Il est vraiment important de savoir s’ils prévoient de mettre en œuvre ce qu’ils ont trouvé grâce à leurs recherches ici [into their products]et s’ils ne le sont pas, cela soulève des questions assez sérieuses sur ce qu’ils sont prêts à divulguer au public.”

Puisqu’il n’est pas clair que l’article d’OpenAI ait été revu par des pairs ou revu dans un autre format, Suresh Venkatasubramanian, directeur du centre de responsabilité technologique de l’Université Brown, a déclaré à CNBC qu’il considérait la recherche comme plus une observation préliminaire qu’autre chose.

“Cela devra secouer la communauté des chercheurs avant que nous puissions dire quoi que ce soit de certain à ce sujet”, a déclaré Venkatasubramanian. “Dans ce monde, il y a beaucoup de résultats qui sortent très régulièrement, et en raison de l’instabilité globale du fonctionnement des grands modèles de langage, ce qui pourrait fonctionner dans un cadre, un modèle et un contexte peut ne pas fonctionner dans un autre cadre, modèle et contexte. .”

Venkatasubramanian a ajouté : “Certaines des choses hallucinatoires qui préoccupent les gens sont [models] faire des citations et des références. Il n’y a aucune preuve dans cet article que cela fonctionnerait pour cela… Ce n’est pas que je dis que cela ne fonctionnera pas ; Je dis que ce document ne fournit pas cette preuve.”

OpenAI n’a pas répondu à une demande de commentaire demandant si la recherche avait été examinée en externe à quelque titre que ce soit, ou quand, le cas échéant, la société prévoit de mettre en œuvre la nouvelle stratégie dans ChatGPT et ses autres produits.

“Il est certainement bienvenu de voir des entreprises essayer de bricoler le développement de leurs systèmes pour essayer de réduire ce type d’erreurs – je pense que la clé est d’interpréter cela comme une recherche d’entreprise, à la lumière des nombreux obstacles qui existent à des formes plus profondes de responsabilité “, a déclaré à CNBC Sarah Myers West, directrice générale de l’AI Now Institute.

Ouest a ajouté : “[OpenAI is] publiant un petit ensemble de données de rétroaction au niveau humain avec cet article, mais il n’a pas fourni de détails de base sur les données utilisées pour former et tester GPT-4. Il y a donc encore une énorme opacité qui remet en question tout effort de responsabilité significatif dans le domaine de l’IA, même si ces systèmes affectent déjà directement les gens.”