Les chatbots de Google et Microsoft composent les statistiques du Super Bowl

Si vous aviez besoin de plus de preuves que GenAI est enclin à inventer des choses, le chatbot Gemini de Google, anciennement Bard, pense que le Super Bowl 2024 a déjà eu lieu. Il dispose même de statistiques (fictives) pour le confirmer.

Selon un fil de discussion Reddit, Gemini, alimenté par les modèles GenAI du même nom de Google, répond aux questions sur le Super Bowl LVIII comme si le jeu s'était terminé hier – ou des semaines avant. Comme de nombreux bookmakers, il semble favoriser les Chiefs par rapport aux 49ers (désolé, fans de San Francisco).

Gemini embellit de manière assez créative, dans au moins un cas donnant une ventilation des statistiques des joueurs suggérant que le quart-arrière du Kansas Chief, Patrick Mahomes, a couru 286 verges pour deux touchés et une interception contre les 253 verges au sol et un touché de Brock Purdy.

Super Bowl des Gémeaux

Crédits images : /r/monstremalodorant (Ouvre dans une nouvelle fenêtre)

Il n'y a pas que les Gémeaux. Le chatbot Copilot de Microsoft insiste également sur le fait que le jeu est terminé et fournit des citations erronées pour étayer cette affirmation. Mais – reflétant peut-être un parti pris de San Francisco ! – il est dit que ce sont les 49ers, et non les Chiefs, qui sont sortis victorieux « avec un score final de 24-21 ».

Super Bowl copilote

Crédits images : Kyle Wiggers/Testeur Joe

Tout cela est plutôt idiot – et peut-être résolu maintenant, étant donné que ce journaliste n’a pas eu la chance de reproduire les réponses de Gemini dans le fil Reddit. (Je serais choqué si Microsoft ne travaillait pas également sur un correctif.) Mais cela illustre également les principales limites de la GenAI actuelle – et les dangers de lui accorder trop de confiance.

Les modèles GenAI n’ont pas de réelle intelligence. Alimentés par un grand nombre d'exemples provenant généralement du Web public, les modèles d'IA apprennent la probabilité que des données (par exemple du texte) se produisent en fonction de modèles, y compris le contexte de toutes les données environnantes.

Cette approche basée sur les probabilités fonctionne remarquablement bien à grande échelle. Mais même si la gamme de mots et leurs probabilités sont probable aboutir à un texte qui ait du sens, c'est loin d'être certain. Les LLM peuvent générer quelque chose de grammaticalement correct mais absurde, par exemple, comme l'affirmation sur le Golden Gate. Ou encore, ils peuvent proférer des contrevérités, propageant des inexactitudes dans leurs données de formation.

Ce n'est pas malveillant de la part des LLM. Ils n’ont pas de méchanceté et les concepts de vrai et de faux n’ont aucun sens pour eux. Ils ont simplement appris à associer certains mots ou expressions à certains concepts, même si ces associations ne sont pas exactes.

D’où les mensonges de Gemini et Copilot sur le Super Bowl.

Google et Microsoft, comme la plupart des fournisseurs de GenAI, reconnaissent volontiers que leurs applications GenAI ne sont pas parfaites et sont en fait sujettes à commettre des erreurs. Mais ces remerciements se présentent sous la forme de petits caractères qui, je dirais, pourraient facilement passer inaperçus.

La désinformation du Super Bowl n’est certainement pas l’exemple le plus néfaste de la dérapage de GenAI. Cette distinction réside probablement dans le fait d’approuver la torture ou d’écrire de manière convaincante sur les théories du complot. Il s’agit cependant d’un rappel utile pour vérifier les déclarations des robots GenAI. Il y a de fortes chances que ce ne soit pas vrai.

rewrite this content and keep HTML tags

Si vous aviez besoin de plus de preuves que GenAI est enclin à inventer des choses, le chatbot Gemini de Google, anciennement Bard, pense que le Super Bowl 2024 a déjà eu lieu. Il dispose même de statistiques (fictives) pour le confirmer.

Selon un fil de discussion Reddit, Gemini, alimenté par les modèles GenAI du même nom de Google, répond aux questions sur le Super Bowl LVIII comme si le jeu s'était terminé hier – ou des semaines avant. Comme de nombreux bookmakers, il semble favoriser les Chiefs par rapport aux 49ers (désolé, fans de San Francisco).

Gemini embellit de manière assez créative, dans au moins un cas donnant une ventilation des statistiques des joueurs suggérant que le quart-arrière du Kansas Chief, Patrick Mahomes, a couru 286 verges pour deux touchés et une interception contre les 253 verges au sol et un touché de Brock Purdy.

Super Bowl des Gémeaux

Crédits images : /r/monstremalodorant (Ouvre dans une nouvelle fenêtre)

Il n'y a pas que les Gémeaux. Le chatbot Copilot de Microsoft insiste également sur le fait que le jeu est terminé et fournit des citations erronées pour étayer cette affirmation. Mais – reflétant peut-être un parti pris de San Francisco ! – il est dit que ce sont les 49ers, et non les Chiefs, qui sont sortis victorieux « avec un score final de 24-21 ».

Super Bowl copilote

Crédits images : Kyle Wiggers/Testeur Joe

Tout cela est plutôt idiot – et peut-être résolu maintenant, étant donné que ce journaliste n’a pas eu la chance de reproduire les réponses de Gemini dans le fil Reddit. (Je serais choqué si Microsoft ne travaillait pas également sur un correctif.) Mais cela illustre également les principales limites de la GenAI actuelle – et les dangers de lui accorder trop de confiance.

Les modèles GenAI n’ont pas de réelle intelligence. Alimentés par un grand nombre d'exemples provenant généralement du Web public, les modèles d'IA apprennent la probabilité que des données (par exemple du texte) se produisent en fonction de modèles, y compris le contexte de toutes les données environnantes.

Cette approche basée sur les probabilités fonctionne remarquablement bien à grande échelle. Mais même si la gamme de mots et leurs probabilités sont probable aboutir à un texte qui ait du sens, c'est loin d'être certain. Les LLM peuvent générer quelque chose de grammaticalement correct mais absurde, par exemple, comme l'affirmation sur le Golden Gate. Ou encore, ils peuvent proférer des contrevérités, propageant des inexactitudes dans leurs données de formation.

Ce n'est pas malveillant de la part des LLM. Ils n’ont pas de méchanceté et les concepts de vrai et de faux n’ont aucun sens pour eux. Ils ont simplement appris à associer certains mots ou expressions à certains concepts, même si ces associations ne sont pas exactes.

D’où les mensonges de Gemini et Copilot sur le Super Bowl.

Google et Microsoft, comme la plupart des fournisseurs de GenAI, reconnaissent volontiers que leurs applications GenAI ne sont pas parfaites et sont en fait sujettes à commettre des erreurs. Mais ces remerciements se présentent sous la forme de petits caractères qui, je dirais, pourraient facilement passer inaperçus.

La désinformation du Super Bowl n’est certainement pas l’exemple le plus néfaste de la dérapage de GenAI. Cette distinction réside probablement dans le fait d’approuver la torture ou d’écrire de manière convaincante sur les théories du complot. Il s’agit cependant d’un rappel utile pour vérifier les déclarations des robots GenAI. Il y a de fortes chances que ce ne soit pas vrai.

Laisser un commentaire