Microsoft Bing AI a fait plusieurs erreurs dans la démo de lancement la semaine dernière

Lors du battage médiatique de la semaine dernière sur les chatbots, avec Microsoft et Google tentant de se surpasser en présentant les premières versions de la recherche basée sur l’intelligence artificielle, plus d’un million de personnes se sont inscrites pour essayer l’outil de Microsoft dans les 48 premières heures, a indiqué la société.

Le PDG de Microsoft, Satya Nadella, a déclaré à CNBC que la technologie, quich peut cracher des réponses complètes qui se lisent comme si elles avaient été écrites par un humain, c’était “peut-être la révolution industrielle apportée au travail du savoir”.

Mais pour ceux qui se soucient de la précision, l’IA laisse beaucoup à désirer.

Dans la démonstration de Microsoft devant les journalistes, la technologie de type ChatGPT intégrée au moteur de recherche Bing de l’entreprise a analysé les rapports sur les revenus de Écart et Lululemon. En comparant ses réponses aux rapports réels, le chatbot a raté certains chiffres. D’autres semblent avoir été inventés.

“Bing AI a obtenu des réponses complètement erronées lors de leur démo. Mais personne ne l’a remarqué”, a écrit lundi le chercheur indépendant Dmitri Brereton dans un article de Substack. “Au lieu de cela, tout le monde a sauté dans le train à la mode de Bing.”

Brereton a identifié d’éventuels problèmes factuels dans la démo de Microsoft dans ses réponses concernant les spécifications de l’aspirateur et les projets de voyage au Mexique en plus des erreurs financières. Il a déclaré à CNBC qu’il ne cherchait pas initialement des erreurs et ne les a découvertes que lorsqu’il a regardé de plus près pour rédiger une comparaison des dévoilements d’IA de Microsoft et de Google.

Les experts en intelligence artificielle appellent ce phénomène « hallucination », ou la propension des outils basés sur de grands modèles de langage à simplement inventer des choses. La semaine dernière, Google a introduit un outil d’IA concurrent qui comprenait également des erreurs factuelles – bien que les erreurs aient été rapidement signalées par les téléspectateurs.

Les deux sociétés se précipitent pour intégrer de nouveaux types d’IA générative dans les moteurs de recherche et sont impatientes de montrer leurs avancées suite à l’explosion de ChatGPT, qu’OpenAI a présenté au public en novembre. OpenAI a levé des milliards auprès de Microsoft, tandis que des startups concurrentes comme Stability AI et Hugging Face ont également atteint des valorisations d’un milliard de dollars lors de cycles de financement privés.

Alors que Google a été réticent à ajouter des réponses générées par l’IA dans les moteurs de recherche, invoquant des problèmes de réputation et de sécurité, Microsoft, dans son annonce de la semaine dernière, a souligné le potentiel à court terme de la diffusion de la technologie auprès d’une partie du public.

“Je pense qu’il est important de ne pas être dans un laboratoire”, a déclaré Nadella. “Vous devez sortir ces choses en toute sécurité.”

Quand est venu le temps de faire la démonstration de la réponse de Bing AI à une requête sur les bénéfices des entreprises, il y a eu quelques problèmes.

Yusuf Mehdi, responsable marketing chez Microsoft, s’est rendu sur le site de relations avec les investisseurs de Gap et a demandé à Bing AI de résumer les “principaux points à retenir” de la publication des résultats du troisième trimestre du détaillant en novembre.

“Très cool. Un énorme gain de temps”, a déclaré Mehdi.

Voici des captures d’écran de la démo de Microsoft :

Voici quelques erreurs dans le résumé :

• La marge brute déclarée de Gap était de 37,4 %. Mais après exclusion des frais liés à Yeezy, la marge brute ajustée était de 38,7 %.
• La marge d’exploitation de l’écart était de 4,6 %, et non de 5,9 %, un chiffre qui ne peut être trouvé dans le rapport de la société.
• Le bénéfice dilué par action ajusté était de 0,71 $ ajusté, au lieu de 0,42 $, un chiffre qui ne figure pas dans le rapport. Le chiffre rapporté par Gap comprenait un avantage fiscal ajusté d’environ 0,33 $.
• Gap a retiré ses perspectives pour l’année complète en août et a déclaré dans le rapport du troisième trimestre que “les ventes nettes pourraient baisser à un chiffre d’une année sur l’autre au quatrième trimestre”. Cela impliquerait une baisse des revenus pour l’année complète par opposition à une “croissance à deux chiffres”. Il n’y a pas de prévision de marge opérationnelle ou de BPA.

Microsoft a déclaré qu’il était au courant des erreurs et qu’il s’attend à ce que Bing AI fasse des erreurs.

“Nous sommes au courant de ce rapport et avons analysé ses conclusions dans nos efforts pour améliorer cette expérience”, a déclaré un porte-parole de Microsoft à CNBC. “Nous reconnaissons qu’il reste du travail à faire et nous nous attendons à ce que le système fasse des erreurs pendant cette période de prévisualisation, c’est pourquoi les commentaires sont essentiels pour que nous puissions apprendre et aider les modèles à s’améliorer.”

Microsoft a ensuite demandé à Bing AI de comparer les revenus de Gap avec le rapport de Lululemon. Mehdi voulait que Bing tire les informations des deux rapports dans un tableau.

“Regardez comme c’est incroyable”, a-t-il dit. “Juste comme ça, dans un tableau, je peux obtenir une réponse à cette question. Pensez au temps que cela aurait pris autrement.”

Voici ce que l’outil Bing AI a renvoyé :

Il y a plusieurs erreurs dans le tableau, à commencer par les marges.

• La marge brute de Lululemon était de 55,9 %, et non de 58,7 %.
• La marge d’exploitation de l’entreprise était de 19 %, et non de 20,7 %.
• Lululemon a déclaré un BPA dilué de 2 $ et un BPA ajusté de 1,62 $. Bing a montré un nombre de BPA dilué de 1,65 $.
• Gap disposait de 679 millions de dollars en trésorerie et équivalents de trésorerie, et non de 1,4 milliard de dollars.
• Gap avait 3,04 milliards de dollars d’inventaire, et non 1,9 milliard de dollars.

MONTRE: Interview complète de CNBC avec Thomas Siebel, PDG de C3.ai