par L’intelligence artificielle a promis beaucoup, mais il y a eu quelque chose qui l’a empêché d’être utilisé avec succès par des milliards de personnes : une lutte frustrante pour les humains et les machines pour se comprendre en langage naturel.
Cela est en train de changer, grâce à l’arrivée de grands modèles de langage alimentés par des architectures de transformateurs, l’une des percées les plus importantes de l’IA au cours des 20 dernières années.
Les transformateurs sont des réseaux de neurones conçus pour modéliser des données séquentielles et générer une prédiction de ce qui devrait suivre dans une série. Au cœur de leur succès se trouve l’idée d’« attention », qui permet au transformateur de « s’occuper » des caractéristiques les plus saillantes d’une entrée plutôt que d’essayer de tout traiter.
Ces nouveaux modèles ont apporté des améliorations significatives aux applications utilisant le langage naturel comme la traduction, la synthèse, la recherche d’informations et, le plus important, la génération de texte. Dans le passé, chacun nécessitait des architectures sur mesure. Désormais, les transformateurs fournissent des résultats de pointe dans tous les domaines.
Bien que Google ait été le pionnier de l’architecture de transformateur, OpenAI est devenu le premier à démontrer sa puissance à grande échelle, en 2020, avec le lancement de GPT-3 (Generative Pre-Trained Transformer 3). À l’époque, c’était le plus grand modèle de langage jamais créé.
La capacité de GPT-3 à produire un texte de type humain a généré une vague d’excitation. Ce n’était que le début. Les grands modèles de langage s’améliorent maintenant à un rythme vraiment impressionnant.
Le « nombre de paramètres » est généralement accepté comme une approximation approximative des capacités d’un modèle. Jusqu’à présent, nous avons constaté que les modèles fonctionnaient mieux sur un large éventail de tâches à mesure que le nombre de paramètres augmentait. Les modèles ont augmenté de près d’un ordre de grandeur chaque année au cours des cinq dernières années, il n’est donc pas surprenant que les résultats aient été impressionnants. Cependant, ces très grands modèles sont coûteux à servir en production.
Ce qui est vraiment remarquable, c’est qu’au cours de la dernière année, ils sont devenus plus petits et beaucoup plus efficaces. Nous constatons maintenant des performances impressionnantes de petits modèles qui sont beaucoup moins chers à faire fonctionner. Beaucoup sont open source, ce qui réduit encore les obstacles à l’expérimentation et au déploiement de ces nouveaux modèles d’IA. Cela, bien sûr, signifie qu’ils seront plus largement intégrés dans les applications et les services que vous utiliserez tous les jours.
Ils seront de plus en plus capables de générer du contenu texte, images, audio et vidéo de très haute qualité. Cette nouvelle vague d’IA redéfinira ce que les ordinateurs peuvent faire pour leurs utilisateurs, libérant un torrent de capacités avancées dans des produits existants et radicalement nouveaux.
Le domaine qui me passionne le plus est la langue. Tout au long de l’histoire de l’informatique, les humains ont dû saisir minutieusement leurs pensées à l’aide d’interfaces conçues pour la technologie, et non pour les humains. Avec cette vague de percées, en 2023, nous commencerons à discuter avec des machines dans notre langue—instantanément et complètement. Finalement, nous aurons des interactions conversationnelles vraiment fluides avec tous nos appareils. Cela promet de redéfinir fondamentalement l’interaction homme-machine.
Au cours des dernières décennies, nous nous sommes concentrés à juste titre sur l’enseignement du codage, en fait sur l’enseignement du langage informatique. Cela restera important. Mais en 2023, nous commencerons à inverser ce script, et les ordinateurs parleront notre langue. Cela élargira considérablement l’accès aux outils de créativité, d’apprentissage et de jeu.
Alors que l’IA émerge enfin dans une ère d’utilité, les opportunités pour de nouveaux produits axés sur l’IA sont immenses. Bientôt, nous vivrons dans un monde où, quelles que soient vos capacités de programmation, les principales limites sont simplement la curiosité et l’imagination.
