par Sam Altman, directeur général et co-fondateur d’OpenAI, prend la parole lors d’une audience du sous-comité judiciaire du Sénat à Washington, DC, États-Unis, le mardi 16 mai 2023. Le Congrès débat du potentiel et des pièges de l’intelligence artificielle alors que des produits comme ChatGPT augmentent questions sur l’avenir des industries créatives et la capacité de distinguer les faits de la fiction.
Eric Lee | Bloomberg | Getty Images
La semaine dernière, le PDG d’OpenAI, Sam Altman, a charmé une salle pleine de politiciens à Washington, DC, lors d’un dîner, puis a témoigné pendant environ trois heures sur les risques potentiels de l’intelligence artificielle lors d’une audience au Sénat.
Après l’audience, il a résumé sa position sur la réglementation de l’IA, en utilisant des termes peu connus du grand public.
“La sécurité des AGI est vraiment importante et les modèles frontaliers devraient être réglementés”, a tweeté Altman. “La capture réglementaire est mauvaise, et nous ne devrions pas jouer avec les modèles en dessous du seuil.”
Dans ce cas, “AGI” fait référence à “l’intelligence générale artificielle”. En tant que concept, il est utilisé pour désigner une IA nettement plus avancée qu’il n’est actuellement possible, une IA qui peut faire la plupart des choses aussi bien ou mieux que la plupart des humains, y compris s’améliorer.
Les “modèles frontières” sont une façon de parler des systèmes d’IA qui sont les plus coûteux à produire et qui analysent le plus de données. Les grands modèles de langage, comme le GPT-4 d’OpenAI, sont des modèles de frontière, par rapport aux modèles d’IA plus petits qui effectuent des tâches spécifiques comme l’identification des chats sur les photos.
La plupart des gens conviennent qu’il doit y avoir des lois régissant l’IA à mesure que le rythme du développement s’accélère.
“L’apprentissage automatique, l’apprentissage en profondeur, au cours des 10 dernières années environ, s’est développé très rapidement. Lorsque ChatGPT est sorti, il s’est développé d’une manière que nous n’aurions jamais imaginée, que cela pourrait aller aussi vite”, a déclaré My Thai, professeur d’informatique. à l’Université de Floride. “Nous avons peur de nous précipiter dans un système plus puissant que nous ne comprenons pas pleinement et n’anticipons pas ce qu’il peut faire.”
Mais le langage autour de ce débat révèle deux camps majeurs parmi les universitaires, les politiciens et l’industrie technologique. Certains sont plus préoccupés par ce qu’ils appellent “Sécurité de l’IA.« L’autre camp s’inquiète de ce qu’ils appellent »Éthique de l’IA.“
Quand Altman s’est adressé au Congrès, il a surtout évité le jargon, mais son tweet a suggéré qu’il était surtout préoccupé par la sécurité de l’IA – une position partagée par de nombreux leaders de l’industrie dans des entreprises comme OpenAI, Google DeepMind et des startups bien capitalisées. Ils s’inquiètent de la possibilité de construire un AGI hostile avec des pouvoirs inimaginables. Ce camp estime que nous avons besoin d’une attention urgente de la part des gouvernements pour réglementer le développement et empêcher une fin prématurée de l’humanité – un effort similaire à la non-prolifération nucléaire.
“C’est bon d’entendre autant de gens commencer à prendre au sérieux la sécurité des AGI”, a déclaré Mustafa Suleyman, fondateur de DeepMind et actuel PDG d’Inflection AI. tweeté vendredi. « Nous devons être très ambitieux. Le projet Manhattan a coûté 0,4 % du PIB américain. Imaginez ce qu’un programme équivalent pour la sécurité pourrait réaliser aujourd’hui.
Mais une grande partie de la discussion au Congrès et à la Maison Blanche sur la réglementation passe par une optique éthique de l’IA, qui se concentre sur les méfaits actuels.
De ce point de vue, les gouvernements devraient faire respecter la transparence sur la manière dont les systèmes d’IA collectent et utilisent les données, restreindre leur utilisation dans les domaines soumis à la loi anti-discrimination comme le logement ou l’emploi, et expliquer en quoi la technologie actuelle de l’IA est insuffisante. La proposition de déclaration des droits de l’IA de la Maison Blanche à la fin de l’année dernière comprenait bon nombre de ces préoccupations.
Ce camp était représenté à l’audience du Congrès par IBM Christina Montgomery, responsable de la confidentialité, a déclaré aux législateurs que chaque entreprise travaillant sur ces technologies devrait avoir un point de contact « éthique de l’IA ».
“Il doit y avoir des directives claires sur les utilisations finales de l’IA ou les catégories d’activités soutenues par l’IA qui sont intrinsèquement à haut risque”, a déclaré Montgomery au Congrès.
Comment comprendre le jargon de l’IA comme un initié
Voir aussi : Comment parler de l’IA comme un initié
Il n’est pas surprenant que le débat autour de l’IA ait développé son propre jargon. Cela a commencé comme un domaine académique technique.
Une grande partie des logiciels dont il est question aujourd’hui est basée sur ce que l’on appelle des grands modèles de langage (LLM), qui utilisent des unités de traitement graphique (GPU) pour prédire des phrases, des images ou de la musique statistiquement probables, un processus appelé “inférence”. Bien sûr, les modèles d’IA doivent d’abord être construits, dans un processus d’analyse de données appelé “formation”.
Mais d’autres termes, en particulier ceux des partisans de la sécurité de l’IA, sont de nature plus culturelle et font souvent référence à des références partagées et à des plaisanteries.
Par exemple, les responsables de la sécurité de l’IA pourraient dire qu’ils craignent de devenir un trombone. Cela fait référence à une expérience de pensée popularisée par le philosophe Nick Bostrom qui postule qu’une IA super puissante – une “superintelligence” – pourrait se voir confier la mission de fabriquer autant de trombones que possible, et décider logiquement de tuer des humains pour en faire des trombones. leurs restes.
Le logo d’OpenAI s’inspire de ce conte, et la société a même fabriqué des trombones en forme de son logo.
Un autre concept de sécurité de l’IA est le “décollage difficile” ou “décollage rapide“, qui est une phrase qui suggère que si quelqu’un réussit à construire une AGI, il sera déjà trop tard pour sauver l’humanité.
Parfois, cette idée est décrite en termes d’onomatopée — “Malédiction” — surtout parmi les critiques du concept.
“C’est comme si vous croyiez au scénario ridicule de “foom” de décollage dur, ce qui donne l’impression que vous n’avez aucune compréhension de la façon dont tout fonctionne”, tweeté Le chef de Meta AI, Yann LeCun, qui est sceptique quant aux affirmations d’AGI, lors d’un récent débat sur les réseaux sociaux.
L’éthique de l’IA a aussi son propre jargon.
Lorsqu’ils décrivent les limites des systèmes LLM actuels, qui ne peuvent pas comprendre le sens mais produisent simplement un langage d’apparence humaine, les spécialistes de l’éthique de l’IA les comparent souvent à “Perroquets stochastiques.”
L’analogie, inventée par Emily Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell dans un article écrit alors que certains des auteurs étaient chez Google, souligne que si des modèles d’IA sophistiqués peuvent produire un texte d’apparence réaliste, le logiciel ne comprend pas les concepts derrière la langue – comme un perroquet.
Lorsque ces LLM inventent des faits incorrects dans les réponses, ils sont “hallucinant.”
Un sujet sur lequel Montgomery d’IBM a insisté lors de l’audience était “explicabilité” dans les résultats de l’IA. Cela signifie que lorsque les chercheurs et les praticiens ne peuvent pas indiquer le nombre exact et le chemin des opérations que les grands modèles d’IA utilisent pour dériver leur sortie, cela pourrait masquer certains biais inhérents aux LLM.
“Vous devez avoir une explicabilité autour de l’algorithme”, a déclaré Adnan Masood, architecte IA chez UST-Global. “Auparavant, si vous regardiez les algorithmes classiques, ils vous disaient : ‘Pourquoi est-ce que je prends cette décision ?’ Maintenant, avec un modèle plus grand, ils deviennent ce modèle énorme, ils sont une boîte noire.”
Un autre terme important est “garde-corps“, qui englobe les logiciels et les politiques que les entreprises Big Tech élaborent actuellement autour de modèles d’IA pour s’assurer qu’elles ne divulguent pas de données ou ne produisent pas de contenu dérangeant, souvent appelé”sortir des rails.“
Il peut également faire référence à des applications spécifiques qui empêchent les logiciels d’intelligence artificielle de sortir du sujet, comme le produit “NeMo Guardrails” de Nvidia.
“Notre comité d’éthique de l’IA joue un rôle essentiel dans la supervision des processus internes de gouvernance de l’IA, en créant des garde-fous raisonnables pour garantir que nous introduisons la technologie dans le monde de manière responsable et sûre”, a déclaré Montgomery cette semaine.
Parfois, ces termes peuvent avoir plusieurs sens, comme dans le cas de “comportement émergent.”
Un article récent de Microsoft Research intitulé “étincelles d’intelligence artificielle générale” prétendait identifier plusieurs “comportements émergents” dans le GPT-4 d’OpenAI, tels que la capacité de dessiner des animaux à l’aide d’un langage de programmation pour les graphiques.
Mais cela peut également décrire ce qui se passe lorsque de simples modifications sont apportées à très grande échelle – comme les modèles que les oiseaux font lorsqu’ils volent en meute, ou, dans le cas de l’IA, ce qui se passe lorsque ChatGPT et des produits similaires sont utilisés par des millions de personnes, comme comme du spam ou de la désinformation à grande échelle.
rewrite this content and keep HTML tags Sam Altman, directeur général et co-fondateur d’OpenAI, prend la parole lors d’une audience du sous-comité judiciaire du Sénat à Washington, DC, États-Unis, le mardi 16 mai 2023. Le Congrès débat du potentiel et des pièges de l’intelligence artificielle alors que des produits comme ChatGPT augmentent questions sur l’avenir des industries créatives et la capacité de distinguer les faits de la fiction. Eric Lee | Bloomberg | Getty ImagesLa semaine dernière, le PDG d’OpenAI, Sam Altman, a charmé une salle pleine de politiciens à Washington, DC, lors d’un dîner, puis a témoigné pendant environ trois heures sur les risques potentiels de l’intelligence artificielle lors d’une audience au Sénat.Après l’audience, il a résumé sa position sur la réglementation de l’IA, en utilisant des termes peu connus du grand public.”La sécurité des AGI est vraiment importante et les modèles frontaliers devraient être réglementés”, a tweeté Altman. “La capture réglementaire est mauvaise, et nous ne devrions pas jouer avec les modèles en dessous du seuil.”Dans ce cas, “AGI” fait référence à “l’intelligence générale artificielle”. En tant que concept, il est utilisé pour désigner une IA nettement plus avancée qu’il n’est actuellement possible, une IA qui peut faire la plupart des choses aussi bien ou mieux que la plupart des humains, y compris s’améliorer.Les “modèles frontières” sont une façon de parler des systèmes d’IA qui sont les plus coûteux à produire et qui analysent le plus de données. Les grands modèles de langage, comme le GPT-4 d’OpenAI, sont des modèles de frontière, par rapport aux modèles d’IA plus petits qui effectuent des tâches spécifiques comme l’identification des chats sur les photos.La plupart des gens conviennent qu’il doit y avoir des lois régissant l’IA à mesure que le rythme du développement s’accélère.”L’apprentissage automatique, l’apprentissage en profondeur, au cours des 10 dernières années environ, s’est développé très rapidement. Lorsque ChatGPT est sorti, il s’est développé d’une manière que nous n’aurions jamais imaginée, que cela pourrait aller aussi vite”, a déclaré My Thai, professeur d’informatique. à l’Université de Floride. “Nous avons peur de nous précipiter dans un système plus puissant que nous ne comprenons pas pleinement et n’anticipons pas ce qu’il peut faire.”Mais le langage autour de ce débat révèle deux camps majeurs parmi les universitaires, les politiciens et l’industrie technologique. Certains sont plus préoccupés par ce qu’ils appellent “Sécurité de l’IA.« L’autre camp s’inquiète de ce qu’ils appellent »Éthique de l’IA.”Quand Altman s’est adressé au Congrès, il a surtout évité le jargon, mais son tweet a suggéré qu’il était surtout préoccupé par la sécurité de l’IA – une position partagée par de nombreux leaders de l’industrie dans des entreprises comme OpenAI, Google DeepMind et des startups bien capitalisées. Ils s’inquiètent de la possibilité de construire un AGI hostile avec des pouvoirs inimaginables. Ce camp estime que nous avons besoin d’une attention urgente de la part des gouvernements pour réglementer le développement et empêcher une fin prématurée de l’humanité – un effort similaire à la non-prolifération nucléaire.”C’est bon d’entendre autant de gens commencer à prendre au sérieux la sécurité des AGI”, a déclaré Mustafa Suleyman, fondateur de DeepMind et actuel PDG d’Inflection AI. tweeté vendredi. « Nous devons être très ambitieux. Le projet Manhattan a coûté 0,4 % du PIB américain. Imaginez ce qu’un programme équivalent pour la sécurité pourrait réaliser aujourd’hui.Mais une grande partie de la discussion au Congrès et à la Maison Blanche sur la réglementation passe par une optique éthique de l’IA, qui se concentre sur les méfaits actuels.De ce point de vue, les gouvernements devraient faire respecter la transparence sur la manière dont les systèmes d’IA collectent et utilisent les données, restreindre leur utilisation dans les domaines soumis à la loi anti-discrimination comme le logement ou l’emploi, et expliquer en quoi la technologie actuelle de l’IA est insuffisante. La proposition de déclaration des droits de l’IA de la Maison Blanche à la fin de l’année dernière comprenait bon nombre de ces préoccupations.Ce camp était représenté à l’audience du Congrès par IBM Christina Montgomery, responsable de la confidentialité, a déclaré aux législateurs que chaque entreprise travaillant sur ces technologies devrait avoir un point de contact « éthique de l’IA ».”Il doit y avoir des directives claires sur les utilisations finales de l’IA ou les catégories d’activités soutenues par l’IA qui sont intrinsèquement à haut risque”, a déclaré Montgomery au Congrès.Comment comprendre le jargon de l’IA comme un initiéVoir aussi : Comment parler de l’IA comme un initiéIl n’est pas surprenant que le débat autour de l’IA ait développé son propre jargon. Cela a commencé comme un domaine académique technique.Une grande partie des logiciels dont il est question aujourd’hui est basée sur ce que l’on appelle des grands modèles de langage (LLM), qui utilisent des unités de traitement graphique (GPU) pour prédire des phrases, des images ou de la musique statistiquement probables, un processus appelé “inférence”. Bien sûr, les modèles d’IA doivent d’abord être construits, dans un processus d’analyse de données appelé “formation”.Mais d’autres termes, en particulier ceux des partisans de la sécurité de l’IA, sont de nature plus culturelle et font souvent référence à des références partagées et à des plaisanteries.Par exemple, les responsables de la sécurité de l’IA pourraient dire qu’ils craignent de devenir un trombone. Cela fait référence à une expérience de pensée popularisée par le philosophe Nick Bostrom qui postule qu’une IA super puissante – une “superintelligence” – pourrait se voir confier la mission de fabriquer autant de trombones que possible, et décider logiquement de tuer des humains pour en faire des trombones. leurs restes.Le logo d’OpenAI s’inspire de ce conte, et la société a même fabriqué des trombones en forme de son logo.Un autre concept de sécurité de l’IA est le “décollage difficile” ou “décollage rapide”, qui est une phrase qui suggère que si quelqu’un réussit à construire une AGI, il sera déjà trop tard pour sauver l’humanité.Parfois, cette idée est décrite en termes d’onomatopée — “Malédiction” — surtout parmi les critiques du concept.”C’est comme si vous croyiez au scénario ridicule de “foom” de décollage dur, ce qui donne l’impression que vous n’avez aucune compréhension de la façon dont tout fonctionne”, tweeté Le chef de Meta AI, Yann LeCun, qui est sceptique quant aux affirmations d’AGI, lors d’un récent débat sur les réseaux sociaux.L’éthique de l’IA a aussi son propre jargon.Lorsqu’ils décrivent les limites des systèmes LLM actuels, qui ne peuvent pas comprendre le sens mais produisent simplement un langage d’apparence humaine, les spécialistes de l’éthique de l’IA les comparent souvent à “Perroquets stochastiques.”L’analogie, inventée par Emily Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell dans un article écrit alors que certains des auteurs étaient chez Google, souligne que si des modèles d’IA sophistiqués peuvent produire un texte d’apparence réaliste, le logiciel ne comprend pas les concepts derrière la langue – comme un perroquet.Lorsque ces LLM inventent des faits incorrects dans les réponses, ils sont “hallucinant.”Un sujet sur lequel Montgomery d’IBM a insisté lors de l’audience était “explicabilité” dans les résultats de l’IA. Cela signifie que lorsque les chercheurs et les praticiens ne peuvent pas indiquer le nombre exact et le chemin des opérations que les grands modèles d’IA utilisent pour dériver leur sortie, cela pourrait masquer certains biais inhérents aux LLM.”Vous devez avoir une explicabilité autour de l’algorithme”, a déclaré Adnan Masood, architecte IA chez UST-Global. “Auparavant, si vous regardiez les algorithmes classiques, ils vous disaient : ‘Pourquoi est-ce que je prends cette décision ?’ Maintenant, avec un modèle plus grand, ils deviennent ce modèle énorme, ils sont une boîte noire.”Un autre terme important est “garde-corps”, qui englobe les logiciels et les politiques que les entreprises Big Tech élaborent actuellement autour de modèles d’IA pour s’assurer qu’elles ne divulguent pas de données ou ne produisent pas de contenu dérangeant, souvent appelé”sortir des rails.”Il peut également faire référence à des applications spécifiques qui empêchent les logiciels d’intelligence artificielle de sortir du sujet, comme le produit “NeMo Guardrails” de Nvidia.”Notre comité d’éthique de l’IA joue un rôle essentiel dans la supervision des processus internes de gouvernance de l’IA, en créant des garde-fous raisonnables pour garantir que nous introduisons la technologie dans le monde de manière responsable et sûre”, a déclaré Montgomery cette semaine.Parfois, ces termes peuvent avoir plusieurs sens, comme dans le cas de “comportement émergent.”Un article récent de Microsoft Research intitulé “étincelles d’intelligence artificielle générale” prétendait identifier plusieurs “comportements émergents” dans le GPT-4 d’OpenAI, tels que la capacité de dessiner des animaux à l’aide d’un langage…
