Découvrez PaLM 2, la nouvelle mise à jour majeure de l’IA de Google

Google a dévoilé mercredi un nouveau système d’IA appelé PaLM 2, une mise à jour majeure de son système de traitement du langage le plus puissant. La technologie d’intelligence artificielle est déjà intégrée dans 25 produits Google, soulignant son importance alors que l’entreprise se précipite pour capitaliser sur une révolution informatique.

“PaLM 2 est un modèle de langage à la pointe de la technologie. Il est bon en mathématiques, en codage, en raisonnement, en traduction multilingue et en génération de langage naturel”, a déclaré Zoubin Ghahramani, vice-président de la division DeepMind de Google qui supervise le travail d’intelligence artificielle de l’entreprise. .

PaLM 2 est déjà utilisé avec près de 25 produits Google, dont le chatbot Bard de Google, Gmail, Google Docs, Google Sheets et YouTube, Google prévoit de le révéler lors de la conférence des développeurs Google I/O. Cela signifie que PaLM 2 résidera principalement dans les centres de données de Google. Mais le modèle peut être suffisamment réduit pour fonctionner également sur un smartphone.

L’IA est utilisée depuis des années, principalement dans les coulisses pour des tâches telles que le filtrage du spam, la prise de meilleures photos et la traduction de vos commandes vocales en actions de haut-parleurs intelligents. Google a été le pionnier d’une grande partie de cette technologie. Mais maintenant, un nouveau chapitre a commencé. Les grands modèles de langage comme PaLM capturent une grande partie de ce que les humains savent et disent, et l’IA générative peut créer des images et écrire couramment.

PaLM 2 sera également dépassé. Google forme un successeur appelé Gemini right, fruit de la combinaison des équipes DeepMind et Brain de Google, a déclaré le directeur général Sundar Pichai. Gemini a été créé pour être multimodal, ce qui signifie qu’il peut entrer comme des photos d’annonces textuelles, et pour être “très efficace”, a-t-il déclaré.

Même si Google a joué un rôle déterminant dans bon nombre de ces développements de l’IA et s’est qualifié de première entreprise d’IA depuis 2016, c’est ChatGPT d’OpenAI qui a conduit à une explosion de l’intérêt général pour la puissance de l’IA moderne. Chez Google I/O, Google fait valoir que son travail d’IA est prêt pour les heures de grande écoute, pas seulement pour les services expérimentaux.

Ce qui n’est pas clair, c’est si les avantages de l’IA seront finalement éclipsés par ses dangers. Google, comme OpenAI et d’autres grands partisans de l’IA, affirme qu’il adopte l’IA avec précaution, intègre des mécanismes pour éviter les abus et surveille de près la technologie. Mais toutes les IA ne sont pas surveillées de près, et les risques à court terme de la technologie incluent la désinformation, la contrefaçon, la tricherie, les attaques en ligne automatisées, le renforcement des stéréotypes négatifs et l’élimination des emplois humains.

Geoffrey Hinton, l’un des inventeurs de l’IA moderne, a démissionné de Google en mai. “Il est difficile de voir comment vous pouvez empêcher les mauvais acteurs de l’utiliser pour de mauvaises choses”, a-t-il déclaré au New York Times.

Google insiste sur le fait qu’il est très conscient des problèmes de l’IA ainsi que de ses avantages. “Nous avons adopté une approche audacieuse et responsable pour déployer un grand nombre de ces technologies basées sur l’IA”, a déclaré Ghahramani. “Nous essayons de les mettre entre les mains des gens d’une manière qui soit utile et minimise les risques pour les utilisateurs.”

Et la société a élargi son travail pour détecter le langage toxique, qui fait des attaques personnelles ou qui est sexuellement explicite, payant aux annotateurs 1,5 cent par jugement pour étiqueter un ensemble de 2 millions de commentaires, a déclaré Google dans un rapport technique sur PaLM 2.

PaLM 2 fonctionne sur un smartphone

Comme le LLaMA de Meta, PaLM 2 est disponible dans une variété de tailles, une approche qui offre plus d’intelligence dans certaines circonstances et des performances plus rapides dans d’autres, a déclaré Ghahramani. Il peut être réduit jusqu’au bout pour fonctionner sur des téléphones avec une version PaLM 2 appelée Gecko.

Sur les derniers modèles de smartphones, PaLM 2 peut traiter 20 jetons par seconde, a déclaré Ghahramani. Les jetons sont les mots, les fragments de mots, les nombres ou d’autres éléments de base que les modèles de langage ingèrent lorsqu’ils sont entraînés à reconnaître des modèles dans de vastes étendues de texte sur Internet.

Par exemple, la phrase “tourner et tourner dans le tourbillon qui s’élargit” est longue de neuf jetons. Les modèles d’IA assemblent également leurs réponses à partir de jetons.

PALM 2 capacités de raisonnement

Le nouveau modèle est meilleur pour raisonner et utiliser le bon sens – un gros problème avec les modèles de langage qui produisent souvent des réponses plausibles au lieu de la vérité. L’une des raisons de cette amélioration est une augmentation massive des données de formation mathématiques et scientifiques, a déclaré Ghahramani.

Par exemple, il peut résoudre un puzzle logique impliquant la position de quelques voitures colorées. “PaLM 2 peut parcourir la logique de positionnement des objets les uns par rapport aux autres. Il explique les étapes et fournit même un diagramme utile pour visualiser la réponse”, a-t-il déclaré.

Ghahramani a reconnu la question délicate de savoir si PaLM 2 est vraiment un raisonnement – un point clé dans l’évolution à long terme de l’IA vers ce qu’on appelle l’intelligence générale artificielle, ou AGI. Google forme ses grands modèles de langage sur de nombreux textes reflétant les interactions humaines, a-t-il déclaré, et ces données façonnent l’IA.

“Vous pouvez vous demander s’il s’agit d’un vrai raisonnement ou s’il s’agit simplement d’imiter le raisonnement humain, mais la chose à laquelle il faut réfléchir est de savoir à quel point cela est utile pour l’utilisateur”, a-t-il déclaré. “Nous visons à créer des produits qui résolvent vraiment les problèmes qui préoccupent les gens.”

PaLM 2 formé sur plus de langues

Google a formé PaLM 2 sur des documents Web, des livres, du code de programmation, des mathématiques et des données “conversationnelles”, avec des informations d’identification personnelle effacées, a déclaré la société dans un document de recherche. Et il y a une proportion plus élevée de données de formation non anglaises cette fois-ci.

PaLM 2 s’aventure bien au-delà de l’anglais, avec des données de formation dans plus de 100 langues pour une meilleure compréhension des nuances et des idiomes spécifiques à la langue.

Et il comprend mieux le code de programmation, y compris les langages plus anciens comme Fortran. La programmation est l’une des principales utilisations des grands modèles de langage. “Si vous cherchez de l’aide pour réparer un morceau de code, PaLM 2 peut non seulement réparer le code, mais également fournir la documentation dont vous avez besoin, dans n’importe quelle langue”, a déclaré Ghahramani.

Adapter PaLM 2 aux différents métiers

PaLM 2 est plus flexible que son prédécesseur. C’est parce qu’il sert de base qui peut être augmentée pour des utilisations spécifiques.

Par exemple, Med-PaLM 2 a été réglé pour des applications médicales comme regarder une radiographie et rédiger son propre rapport de mammographie. Google laissera ses partenaires tester cette technologie cet été.

“Med-PaLM 2 a été le premier grand modèle linguistique à se produire à un niveau expert lors de l’examen de licence médicale aux États-Unis”, a déclaré Ghahramani.

Une autre variante, Sec-PaLM, a été formée pour analyser les logiciels potentiellement malveillants et expliquer ce qu’ils font. Il sera intégré aux services Google Cloud.

IA plus efficace

L’IA consomme des quantités gargantuesques d’énergie. La formation de modèles d’IA avancés nécessite des centres de données bourrés de puces comme le H100 de Nvidia ou les unités de traitement Tensor de Google. Certaines IA peuvent fonctionner sur du matériel de moindre qualité, mais les modèles de langage fluides et l’IA générative d’aujourd’hui exigent des machines haut de gamme et gourmandes en énergie.

Ici aussi, PaLM 2 est meilleur. “C’est plus efficace de servir tout en étant plus performant dans l’ensemble”, a déclaré Ghahramani.

Cette efficacité est essentielle alors que Google pousse vers une utilisation 24 heures sur 24 de l’énergie renouvelable. Il semble que Google exécutera de plus en plus de travaux d’IA dans les années à venir.

Note des éditeurs : Testeur Joe utilise un moteur d’IA pour créer des explications sur les finances personnelles qui sont éditées et vérifiées par nos éditeurs. Pour en savoir plus, voir ce post.