par Le premier équivalent open-source de ChatGPT d’OpenAI est arrivé, mais bonne chance pour l’exécuter sur votre ordinateur portable – ou pas du tout.
Cette semaine, Philip Wang, le développeur responsable de la rétro-ingénierie des systèmes d’IA à source fermée, y compris Make-A-Video de Meta, a publié PaLM + RLHF, un modèle de génération de texte qui se comporte de la même manière que ChatGPT. Le système combine PaLM, un grand modèle de langage de Google, et une technique appelée Reinforcement Learning with Human Feedback – RLHF, en abrégé – pour créer un système capable d’accomplir à peu près toutes les tâches que ChatGPT peut effectuer, y compris la rédaction d’e-mails et la suggestion de code informatique.
Mais PaLM + RLHF n’est pas pré-entraîné. C’est-à-dire que le système n’a pas été formé sur les exemples de données du Web nécessaires pour qu’il fonctionne réellement. Le téléchargement de PaLM + RLHF n’installera pas comme par magie une expérience de type ChatGPT – cela nécessiterait de compiler des gigaoctets de texte à partir desquels le modèle peut apprendre et de trouver du matériel suffisamment puissant pour gérer la charge de travail de formation.
Comme ChatGPT, PaLM + RLHF est essentiellement un outil statistique pour prédire les mots. Lorsqu’il est nourri d’un grand nombre d’exemples à partir de données de formation – par exemple, des publications de Reddit, des articles de presse et des livres électroniques – PaLM + RLHF apprend la probabilité que des mots apparaissent en fonction de modèles tels que le contexte sémantique du texte environnant.
ChatGPT et PaLM + RLHF partagent une sauce spéciale dans l’apprentissage par renforcement avec rétroaction humaine, une technique qui vise à mieux aligner les modèles de langage avec ce que les utilisateurs souhaitent qu’ils accomplissent. RLHF implique la formation d’un modèle de langage – dans le cas de PaLM + RLHF, PaLM – et son ajustement sur un ensemble de données qui comprend des invites (par exemple “Expliquez l’apprentissage automatique à un enfant de six ans”) couplées à ce que les volontaires humains attendent du modèle à dire (par exemple “L’apprentissage automatique est une forme d’IA…”). Les invites susmentionnées sont ensuite transmises au modèle affiné, qui génère plusieurs réponses, et les volontaires classent toutes les réponses du meilleur au pire. Enfin, les classements sont utilisés pour former un “modèle de récompense” qui prend les réponses du modèle d’origine et les trie par ordre de préférence, en filtrant les meilleures réponses à une invite donnée.
C’est un processus coûteux, la collecte des données de formation. Et la formation elle-même n’est pas bon marché. PaLM a une taille de 540 milliards de paramètres, les « paramètres » faisant référence aux parties du modèle de langage apprises à partir des données d’apprentissage. Une étude de 2020 a évalué les dépenses de développement d’un modèle de génération de texte avec seulement 1,5 milliard de paramètres à 1,6 million de dollars. Et pour former le modèle open source Bloom, qui compte 176 milliards de paramètres, il a fallu trois mois en utilisant 384 GPU Nvidia A100 ; un seul A100 coûte des milliers de dollars.
L’exécution d’un modèle formé de la taille de PaLM + RLHF n’est pas anodine non plus. Bloom nécessite un PC dédié avec environ huit GPU A100. Les alternatives cloud sont coûteuses, avec des calculs au fond de l’enveloppe indiquant que le coût d’exécution du GPT-3 générateur de texte d’OpenAI – qui compte environ 175 milliards de paramètres – sur un seul Amazon Web Services s’élève à environ 87 000 $ par an.
Sebastian Raschka, chercheur en intelligence artificielle, souligne dans un article sur LinkedIn à propos de PaLM + RLHF que la mise à l’échelle des workflows de développement nécessaires pourrait également s’avérer un défi. “Même si quelqu’un vous fournit 500 GPU pour former ce modèle, vous devez toujours gérer l’infrastructure et disposer d’un cadre logiciel capable de gérer cela”, a-t-il déclaré. “C’est évidemment possible, mais c’est un gros effort en ce moment (bien sûr, nous développons des frameworks pour simplifier cela, mais ce n’est pas encore anodin, encore).”
C’est tout pour dire que PaLM + RLHF ne remplacera pas ChatGPT aujourd’hui – à moins qu’une entreprise (ou une personne) bien financée se donne la peine de la former et de la rendre accessible au public.
Dans de meilleures nouvelles, plusieurs autres efforts pour répliquer ChatGPT progressent à un rythme rapide, dont un dirigé par un groupe de recherche appelé CarperAI. En partenariat avec l’organisation de recherche ouverte sur l’IA EleutherAI et les startups Scale AI et Hugging Face, CarperAI prévoit de publier le premier modèle d’IA prêt à l’emploi, semblable à ChatGPT, formé avec des commentaires humains.
LAION, l’organisation à but non lucratif qui a fourni l’ensemble de données initial utilisé pour former Stable Diffusion, est également à la tête d’un projet visant à répliquer ChatGPT à l’aide des dernières techniques d’apprentissage automatique. De manière ambitieuse, LAION vise à créer un “assistant du futur” – un assistant qui non seulement rédige des e-mails et des lettres de motivation, mais “fait un travail significatif, utilise des API, recherche dynamiquement des informations, et bien plus encore”. C’est dans les premiers stades. Mais une page GitHub contenant des ressources pour le projet a été mise en ligne il y a quelques semaines.
