par Le développement de systèmes d’IA de pointe comme ChatGPT nécessite des ressources techniques massives, en partie parce qu’ils sont coûteux à développer et à exploiter. Alors que plusieurs efforts open source ont tenté de rétroconcevoir des systèmes propriétaires et fermés créés par des laboratoires commerciaux tels que DeepMind et OpenAI d’Alphabet, ils se sont souvent heurtés à des obstacles, principalement en raison d’un manque de capital et d’expertise dans le domaine.
Espérant éviter ce sort, un groupe de recherche communautaire, EleutherAI, forme une fondation à but non lucratif. L’organisation a annoncé aujourd’hui qu’elle fonderait un institut de recherche à but non lucratif, l’Institut EleutherAI, financé par des dons et des subventions de bailleurs de fonds, notamment les startups d’IA Hugging Face et Stability AI, l’ancien PDG de GitHub Nat Friedman, Lambda Labs et Canva.
“La formalisation en tant qu’organisation nous permet de constituer une équipe à temps plein et de nous engager dans des projets plus longs et plus impliqués que ce qui serait possible en tant que groupe de bénévoles”, Stella Biderman, chercheuse en intelligence artificielle à Booz Allen Hamilton, qui co-dirigera l’Institut EleutherAI, a déclaré TechCrunch dans une interview par e-mail. “En termes d’organisation à but non lucratif en particulier, je pense que c’est une évidence étant donné que nous nous concentrons sur la recherche et l’espace open source.”
EleutherAI a commencé il y a plusieurs années en tant que groupe de développeurs de base travaillant à la recherche open source sur l’IA. Ses membres fondateurs – Connor Leahy, Leo Gao et Sid Black – ont écrit le code et collecté les données nécessaires pour créer un modèle d’apprentissage automatique proche du GPT-3 générateur de texte d’OpenAI, qui à l’époque recevait beaucoup de presse.
La société a organisé et ouvert The Pile, une collection d’ensembles de données conçus pour être utilisés pour former des modèles de type GPT-3 pour compléter du texte, écrire du code et plus encore. Et il a publié plusieurs modèles sous la licence Apache 2.0, notamment GPT-J et GPT-NeoX, des modèles de langage qui ont pendant un certain temps alimenté une toute nouvelle vague de startups.
Pour former ses modèles, EleutherAI s’est principalement appuyé sur le TPU Research Cloud, un programme Google Cloud qui soutient des projets dans l’espoir que les résultats seront partagés publiquement. CoreWeave, un mineur de crypto-monnaie basé aux États-Unis qui fournit des services cloud pour les charges de travail d’IA, a également fourni des ressources de calcul à EleutherAI en échange de modèles que ses clients peuvent utiliser et servir.
EleutherAI a grandi rapidement. Aujourd’hui, plus de 20 contributeurs réguliers de la communauté travaillent à temps plein, se concentrant principalement sur la recherche. Et au cours des 18 derniers mois, les membres d’EleutherAI ont co-écrit 28 articles universitaires, formé des dizaines de modèles et publié dix bases de code.
Mais la nature inconstante de ses fournisseurs de cloud a parfois contraint EleutherAI à saborder ses plans. À l’origine, le groupe avait l’intention de publier un modèle à peu près de la taille de GPT-3 en termes de nombre de paramètres, mais a fini par abandonner cette feuille de route pour des raisons techniques et de financement. (En IA, les paramètres sont les parties du modèle apprises à partir des données d’entraînement historiques et définissent essentiellement la compétence du modèle sur un problème, comme la génération de texte.)
Fin 2022, EleutherAI s’est familiarisé avec Stability AI, la startup désormais bien financée derrière le système d’IA générateur d’images Stable Diffusion. Avec d’autres collaborateurs, il a aidé à créer la version initiale de Stable Diffusion. Et depuis lors, Stability AI a fait don d’une partie du calcul de son cluster AWS pour la recherche en cours sur le modèle de langage d’EleutherAI.
Après qu’un autre grand mécène – Hugging Face – ait approché EleutherAI et que des discussions à but non lucratif aient commencé, dit Biderman. (De nombreux employés d’EleutherAI ont participé à l’effort BigScience de l’entreprise, qui visait à former et à ouvrir un modèle semblable à GPT-3 au cours d’une année.)
“EleutherAI s’est largement concentré sur de grands modèles de langage dont l’architecture est similaire à ChatGPT dans le passé, et continuera probablement de le faire”, a déclaré Biderman. “Au-delà de la formation de grands modèles linguistiques, nous sommes ravis de consacrer davantage de ressources à l’éthique, à l’interprétabilité et au travail d’alignement.”
On peut se demander si l’implication d’entreprises à motivation commerciale telles que Stability AI et Hugging Face – qui sont toutes deux soutenues par un capital-risque substantiel – pourrait influencer les recherches d’EleutherAI. C’est une hypothèse naturelle – et elle est même étayée par des preuves. Au moins une étude montre une corrélation directe entre les dons et la probabilité que les organisations à but non lucratif parlent d’une proposition de règle gouvernementale.
Biderman affirme que la Fondation EleutherAI restera indépendante et dit qu’elle ne voit pas de problème avec le pool de donateurs jusqu’à présent.
“Nous ne développons pas de modèles à la demande d’entités commerciales”, a déclaré Biderman. « Au contraire, je pense qu’avoir un parrainage diversifié améliore notre indépendance. Si nous étions entièrement financés par une entreprise technologique, cela semble être un problème potentiel beaucoup plus important de notre côté.
Un autre défi que la Fondation EleutherAI devra surmonter est de s’assurer que ses coffres ne s’assèchent pas. OpenAI est un récit édifiant ; après avoir été fondée en tant qu’association à but non lucratif en 2015, l’entreprise est ensuite passée à une structure à «profit plafonné» afin de financer ses recherches en cours.
D’une manière générale, les initiatives à but non lucratif pour financer la recherche sur l’IA ont été mitigées.
Parmi les réussites figure l’Allen Institute for AI (AI2), fondé par feu le co-fondateur de Microsoft, Paul Allen, qui vise à réaliser des percées scientifiques dans le domaine de l’IA et de l’apprentissage automatique. Il y a aussi l’Alan Turing Institute, l’institut national britannique pour la science des données et l’apprentissage automatique, financé par le gouvernement. Parmi les petits efforts prometteurs, citons Cohere For AI de la startup d’IA Cohere (malgré ses liens avec l’entreprise) et Distributed AI Research de Timnit Gebru, une organisation mondiale de recherche distribuée.
Mais pour chaque AI2, il y a le fonds de l’ancien président de Google, Eric Schmidt, pour la recherche sur l’IA. D’une taille de plus de 125 millions de dollars, il a suscité une nouvelle controverse après que Politico a rapporté que Schmidt exerce une influence inhabituellement lourde sur le Bureau de la politique scientifique et technologique de la Maison Blanche.
Le temps nous dira quelle direction prendra finalement la Fondation EleutherAI. Il est probable que la mission évoluera et changera avec le temps – de manière positive, nous ne pouvons qu’espérer.
