Techno-optimistes, apocalypses et débat sur l'IA le plus risqué de la Silicon Valley

Plus d'un an après l'introduction de ChatGPT, la plus grande histoire d'IA de 2023 s'est peut-être révélée être le drame dans la salle de conférence d'OpenAI sur l'avancement rapide de la technologie elle-même. Lors de l’éviction puis de la réintégration de Sam Altman au poste de PDG, la tension sous-jacente autour de l’intelligence artificielle générative à l’horizon 2024 est devenue claire : l’IA est au centre d’un énorme fossé entre ceux qui adoptent pleinement son rythme rapide d’innovation et ceux qui le souhaitent. ralentir en raison des nombreux risques encourus.

Le débat – connu dans les cercles technologiques sous le nom de e/acc vs décels – fait le tour de la Silicon Valley depuis 2021. Mais à mesure que l’IA gagne en puissance et en influence, il est de plus en plus important de comprendre les deux côtés du fossé.

Voici un aperçu des termes clés et de certains des principaux acteurs qui façonnent l’avenir de l’IA.

e/acc et techno-optimisme

Le terme « e/acc » signifie accélérationnisme efficace.

En bref, ceux qui sont pro-e/acc souhaitent que la technologie et l’innovation évoluent le plus rapidement possible.

“Le technocapital peut ouvrir la voie à la prochaine évolution de la conscience, en créant des formes de vie impensables de nouvelle génération et une conscience basée sur le silicium”, ont expliqué les partisans du concept dans le tout premier article sur e/acc.

En matière d’IA, c’est « l’intelligence générale artificielle » ou AGI qui sous-tend le débat. L’AGI est le concept hypothétique d’une IA super intelligente devenant si avancée qu’elle pourrait faire des choses aussi bien, voire mieux, que les humains. Les AGI seraient également capables de s’améliorer, créant une boucle de rétroaction sans fin avec des possibilités illimitées.

Certains pensent que les AGI auront la capacité de provoquer la fin du monde, devenant si intelligents qu’ils trouveront comment éradiquer l’humanité. Mais les passionnés d’e/acc choisissent de se concentrer sur les avantages qu’une AGI peut offrir. “Rien ne nous empêche de créer l'abondance pour chaque être humain vivant, si ce n'est la volonté de le faire”, a expliqué la sous-pile fondatrice e/acc.

Les fondateurs du mouvement e/acc étaient entourés de mystère jusqu'à récemment, lorsque @basedbeffjezos, sans doute le plus grand partisan de e/acc, s'est révélé être Guillaume Verdon après que son identité ait été dévoilée par les médias.

Verdon, qui a travaillé auparavant pour Alphabet, X et Google, travaille désormais sur ce qu'il appelle le « projet AI Manhattan » et a déclaré sur X que « ce n'est pas la fin, mais un nouveau départ pour e/acc. Je peux intensifier mes efforts et faire entendre notre voix dans le monde traditionnel au-delà de X, et utiliser mes références pour soutenir les intérêts de notre communauté. »

Verdon est également le fondateur d'Extropic, une startup technologique qu'il a décrite comme « construisant le substrat ultime pour l'IA générative dans le monde physique en exploitant la physique thermodynamique ».

Un manifeste d'IA d'un grand capital-risque

L'un des plus éminents partisans d'e/acc est le capital-risqueur Marc Andreessen d'Andreessen Horowitz, qui avait auparavant qualifié le Verdon de “saint patron du techno-optimisme”.

Le techno-optimisme est exactement ce à quoi il ressemble : les croyants pensent que plus de technologie finira par rendre le monde meilleur. Andreessen a écrit le Manifeste Techno-Optimiste, une déclaration de plus de 5 000 mots qui explique comment la technologie donnera du pouvoir à l'humanité et résoudra tous ses problèmes matériels. Andreessen est même allé jusqu'à dire que « toute décélération de l'IA coûtera des vies » et que ce serait une « forme de meurtre » que de ne pas développer suffisamment l'IA pour éviter des décès.

Un autre article techno-optimiste qu'il a écrit intitulé Pourquoi l'IA va sauver le monde a été republié par Yann LeCun, scientifique en chef de l'IA chez Meta, qui est devenu connu comme l'un des « parrains de l'IA » après avoir remporté le prestigieux prix Turing pour ses percées dans le domaine de l'IA.

LeCun s'est étiqueté sur X en tant que « humaniste qui souscrit aux formes à la fois positives et normatives du techno-optimisme actif ».

Il a également déclaré récemment qu'il ne s'attendait pas à ce que la « super-intelligence » de l'IA arrive avant un certain temps, et a servi de contrepoint vocal à ceux qui, selon lui, « doutent que les institutions économiques et politiques actuelles, et l'humanité dans son ensemble, sera capable d'utiliser [AI] pour de bon.”

L'adoption par Meta de l'IA open source, qui permettrait de rendre les modèles d'IA génératifs largement accessibles à de nombreux développeurs, reflète la conviction de LeCun selon laquelle la technologie offrira plus de potentiel que de mal, tandis que d'autres ont souligné les dangers d'un tel modèle commercial.

Alignement et décélération de l'IA

En mars, une lettre ouverte d'Encode Justice et du Future of Life Institute a appelé « tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4 ».

La lettre a été approuvée par des personnalités éminentes du secteur technologique, telles qu'Elon Musk et le cofondateur d'Apple, Steve Wozniak.

Le PDG d'OpenAI, Sam Altman, a adressé la lettre en avril dernier lors d'un événement au MIT, en disant : « Je pense qu'il est vraiment important d'agir avec prudence et avec une rigueur croissante en matière de questions de sécurité. La lettre, je ne pense pas, était la manière optimale d'y répondre.

Altman a de nouveau été pris dans la bataille lors du drame de la salle de réunion d'OpenAI, lorsque les directeurs d'origine de la branche à but non lucratif d'OpenAI se sont inquiétés du rythme rapide des progrès d'OpenAI et de sa mission déclarée « garantir que l'intelligence artificielle générale – des systèmes d'IA qui sont généralement plus intelligents que les humains – profite à toute l’humanité.

Leurs sentiments, qui correspondent à certaines des idées de la lettre ouverte, sont essentiels aux décéls, partisans de la décélération de l’IA. Les Decels souhaitent que les progrès ralentissent, car l’avenir de l’IA est risqué et imprévisible, et l’une de leurs plus grandes préoccupations est l’alignement de l’IA.

Le problème de l’alignement de l’IA aborde l’idée selon laquelle l’IA finira par devenir si intelligente que les humains ne pourront plus la contrôler.

“Notre domination en tant qu'espèce, motivée par notre intelligence relativement supérieure, a entraîné des conséquences néfastes pour d'autres espèces, y compris l'extinction, car nos objectifs ne correspondent pas aux leurs. Nous contrôlons l'avenir – les chimpanzés sont dans les zoos. Les systèmes d'IA avancés pourraient de la même manière impact sur l'humanité”, a déclaré Malo Bourgon, PDG du Machine Intelligence Research Institute.

La recherche sur l'alignement de l'IA, comme celle de MIRI, vise à former les systèmes d'IA pour les « aligner » sur les objectifs, la morale et l'éthique des humains, ce qui éviterait tout risque existentiel pour l'humanité. “Le principal risque réside dans la création d'entités beaucoup plus intelligentes que nous, avec des objectifs mal alignés et dont les actions sont imprévisibles et incontrôlables”, a déclaré Bourgon.

Le problème de la fin du monde entre le gouvernement et l’IA

Christine Parthemore, PDG du Council on Strategic Risks et ancienne responsable du Pentagone, a consacré sa carrière à réduire les risques de situations dangereuses, et elle a récemment déclaré à CNBC que la « mort à grande échelle » que l'IA pourrait provoquer si elle était utilisée pour superviser les armes nucléaires devrait être évitée. considérée comme une question qui requiert une attention immédiate.

Mais « regarder le problème » ne servira à rien, a-t-elle souligné. “L'essentiel est de s'attaquer aux risques et de trouver les solutions les plus efficaces”, a-t-elle déclaré. “Il s'agit d'une technologie à double usage à l'état pur”, a-t-elle ajouté. “Il n'y a aucun cas où l'IA soit plus une arme qu'une solution.” Par exemple, si les grands modèles linguistiques peuvent devenir des assistants de laboratoire virtuels et accélérer la médecine, ils peuvent également aider des acteurs malveillants à identifier les agents pathogènes les meilleurs et les plus transmissibles à utiliser pour attaquer. C’est l’une des raisons pour lesquelles l’IA ne peut pas être arrêtée, a-t-elle déclaré. “Ralentir ne fait pas partie de la solution proposée”, a poursuivi Parthemore.

Plus tôt cette année, son ancien employeur, le département américain de la Défense, a déclaré qu'il y aurait toujours un humain au courant de l'utilisation des systèmes d'IA. C'est un protocole qui, selon Parthemore, devrait être adopté partout. “L'IA elle-même ne peut pas être l'autorité”, a-t-elle déclaré. “Cela ne peut pas être le cas,” l'IA dit X. ” … Nous devons faire confiance aux outils, ou nous ne devrions pas les utiliser, mais nous devons les contextualiser. … Il y a suffisamment de manque général de compréhension à propos de cet ensemble d'outils pour qu'il existe un risque plus élevé d'excès de confiance et de confiance excessive.

Les responsables gouvernementaux et les décideurs politiques ont commencé à prendre conscience de ces risques. En juillet, l'administration Biden-Harris a annoncé avoir obtenu des engagements volontaires de la part des géants de l'IA Amazon, Anthropic, Google, Inflection, Meta, Microsoft et OpenAI pour « évoluer vers un développement sûr, sécurisé et transparent de la technologie de l'IA ».

Il y a quelques semaines à peine, le président Biden a publié un décret qui a établi de nouvelles normes en matière de sûreté et de sécurité de l’IA, même si les parties prenantes de la société entière s’inquiètent de ses limites. De même, le gouvernement britannique a créé début novembre l’AI Safety Institute, qui est la première organisation soutenue par l’État à se concentrer sur l’intelligence artificielle.

Au milieu de la course mondiale à la suprématie de l’IA et des liens avec la rivalité géopolitique, la Chine met également en œuvre son propre ensemble de garde-fous en matière d’IA.

Promesses et scepticisme de l’IA responsable

OpenAI travaille actuellement sur Superalignment, qui vise à « résoudre les principaux défis techniques de l'alignement superintelligent en quatre ans ».

Lors de la récente conférence Amazon Web Services re:Invent 2023, Amazon a annoncé de nouvelles capacités d'innovation en matière d'IA ainsi que la mise en œuvre de mesures de protection responsables en matière d'IA dans l'ensemble de l'organisation.

« Je dis souvent que c'est un impératif commercial que l'IA responsable ne soit pas considérée comme un flux de travail distinct mais finalement intégrée à la manière dont nous travaillons », a déclaré Diya Wynn, responsable de l'IA responsable chez AWS.

Selon une étude commandée par AWS et menée par Morning Consult, l'IA responsable est une priorité commerciale croissante pour 59 % des chefs d'entreprise, avec environ la moitié (47 %) prévoyant d'investir davantage dans l'IA responsable en 2024 qu'en 2023.

Bien que la prise en compte d’une IA responsable puisse ralentir le rythme de l’innovation de l’IA, des équipes comme celle de Wynn se considèrent comme ouvrant la voie à un avenir plus sûr. “Les entreprises voient de la valeur et commencent à donner la priorité à l'IA responsable”, a déclaré Wynn, et par conséquent, “les systèmes vont être plus sûrs, sécurisés, [and more] compris.”

Bourgon n'est pas convaincu et estime que des actions comme celles récemment annoncées par les gouvernements sont “loin de ce qui sera finalement nécessaire”.

Il prédit qu'il est probable que les systèmes d'IA atteignent des niveaux catastrophiques dès 2030, et que les gouvernements doivent être prêts à arrêter indéfiniment les systèmes d'IA jusqu'à ce que les principaux développeurs d'IA puissent « démontrer de manière robuste la sécurité de leurs systèmes ».

Plus d'un an après l'introduction de ChatGPT, la plus grande histoire d'IA de 2023 s'est peut-être révélée être le drame dans la salle de conférence d'OpenAI sur l'avancement rapide de la technologie elle-même. Lors de l’éviction puis de la réintégration de Sam Altman au poste de PDG, la tension sous-jacente autour de l’intelligence artificielle générative à l’horizon 2024 est devenue claire : l’IA est au centre d’un énorme fossé entre ceux qui adoptent pleinement son rythme rapide d’innovation et ceux qui le souhaitent. ralentir en raison des nombreux risques encourus.

Le débat – connu dans les cercles technologiques sous le nom de e/acc vs décels – fait le tour de la Silicon Valley depuis 2021. Mais à mesure que l’IA gagne en puissance et en influence, il est de plus en plus important de comprendre les deux côtés du fossé.

Voici un aperçu des termes clés et de certains des principaux acteurs qui façonnent l’avenir de l’IA.

e/acc et techno-optimisme

Le terme « e/acc » signifie accélérationnisme efficace.

En bref, ceux qui sont pro-e/acc souhaitent que la technologie et l’innovation évoluent le plus rapidement possible.

“Le technocapital peut ouvrir la voie à la prochaine évolution de la conscience, en créant des formes de vie impensables de nouvelle génération et une conscience basée sur le silicium”, ont expliqué les partisans du concept dans le tout premier article sur e/acc.

En matière d’IA, c’est « l’intelligence générale artificielle » ou AGI qui sous-tend le débat. L’AGI est le concept hypothétique d’une IA super intelligente devenant si avancée qu’elle pourrait faire des choses aussi bien, voire mieux, que les humains. Les AGI seraient également capables de s’améliorer, créant une boucle de rétroaction sans fin avec des possibilités illimitées.

Certains pensent que les AGI auront la capacité de provoquer la fin du monde, devenant si intelligents qu’ils trouveront comment éradiquer l’humanité. Mais les passionnés d’e/acc choisissent de se concentrer sur les avantages qu’une AGI peut offrir. “Rien ne nous empêche de créer l'abondance pour chaque être humain vivant, si ce n'est la volonté de le faire”, a expliqué la sous-pile fondatrice e/acc.

Les fondateurs du mouvement e/acc étaient entourés de mystère jusqu'à récemment, lorsque @basedbeffjezos, sans doute le plus grand partisan de e/acc, s'est révélé être Guillaume Verdon après que son identité ait été dévoilée par les médias.

Verdon, qui a travaillé auparavant pour Alphabet, X et Google, travaille désormais sur ce qu'il appelle le « projet AI Manhattan » et a déclaré sur X que « ce n'est pas la fin, mais un nouveau départ pour e/acc. Je peux intensifier mes efforts et faire entendre notre voix dans le monde traditionnel au-delà de X, et utiliser mes références pour soutenir les intérêts de notre communauté. »

Verdon est également le fondateur d'Extropic, une startup technologique qu'il a décrite comme « construisant le substrat ultime pour l'IA générative dans le monde physique en exploitant la physique thermodynamique ».

Un manifeste d'IA d'un grand capital-risque

L'un des plus éminents partisans d'e/acc est le capital-risqueur Marc Andreessen d'Andreessen Horowitz, qui avait auparavant qualifié le Verdon de “saint patron du techno-optimisme”.

Le techno-optimisme est exactement ce à quoi il ressemble : les croyants pensent que plus de technologie finira par rendre le monde meilleur. Andreessen a écrit le Manifeste Techno-Optimiste, une déclaration de plus de 5 000 mots qui explique comment la technologie donnera du pouvoir à l'humanité et résoudra tous ses problèmes matériels. Andreessen est même allé jusqu'à dire que « toute décélération de l'IA coûtera des vies » et que ce serait une « forme de meurtre » que de ne pas développer suffisamment l'IA pour éviter des décès.

Un autre article techno-optimiste qu'il a écrit intitulé Pourquoi l'IA va sauver le monde a été republié par Yann LeCun, scientifique en chef de l'IA chez Meta, qui est devenu connu comme l'un des « parrains de l'IA » après avoir remporté le prestigieux prix Turing pour ses percées dans le domaine de l'IA.

LeCun s'est étiqueté sur X en tant que « humaniste qui souscrit aux formes à la fois positives et normatives du techno-optimisme actif ».

Il a également déclaré récemment qu'il ne s'attendait pas à ce que la « super-intelligence » de l'IA arrive avant un certain temps, et a servi de contrepoint vocal à ceux qui, selon lui, « doutent que les institutions économiques et politiques actuelles, et l'humanité dans son ensemble, sera capable d'utiliser [AI] pour de bon.”

L'adoption par Meta de l'IA open source, qui permettrait de rendre les modèles d'IA génératifs largement accessibles à de nombreux développeurs, reflète la conviction de LeCun selon laquelle la technologie offrira plus de potentiel que de mal, tandis que d'autres ont souligné les dangers d'un tel modèle commercial.

Alignement et décélération de l'IA

En mars, une lettre ouverte d'Encode Justice et du Future of Life Institute a appelé « tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4 ».

La lettre a été approuvée par des personnalités éminentes du secteur technologique, telles qu'Elon Musk et le cofondateur d'Apple, Steve Wozniak.

Le PDG d'OpenAI, Sam Altman, a adressé la lettre en avril dernier lors d'un événement au MIT, en disant : « Je pense qu'il est vraiment important d'agir avec prudence et avec une rigueur croissante en matière de questions de sécurité. La lettre, je ne pense pas, était la manière optimale d'y répondre.

Altman a de nouveau été pris dans la bataille lors du drame de la salle de réunion d'OpenAI, lorsque les directeurs d'origine de la branche à but non lucratif d'OpenAI se sont inquiétés du rythme rapide des progrès d'OpenAI et de sa mission déclarée « garantir que l'intelligence artificielle générale – des systèmes d'IA qui sont généralement plus intelligents que les humains – profite à toute l’humanité.

Leurs sentiments, qui correspondent à certaines des idées de la lettre ouverte, sont essentiels aux décéls, partisans de la décélération de l’IA. Les Decels souhaitent que les progrès ralentissent, car l’avenir de l’IA est risqué et imprévisible, et l’une de leurs plus grandes préoccupations est l’alignement de l’IA.

Le problème de l’alignement de l’IA aborde l’idée selon laquelle l’IA finira par devenir si intelligente que les humains ne pourront plus la contrôler.

“Notre domination en tant qu'espèce, motivée par notre intelligence relativement supérieure, a entraîné des conséquences néfastes pour d'autres espèces, y compris l'extinction, car nos objectifs ne correspondent pas aux leurs. Nous contrôlons l'avenir – les chimpanzés sont dans les zoos. Les systèmes d'IA avancés pourraient de la même manière impact sur l'humanité”, a déclaré Malo Bourgon, PDG du Machine Intelligence Research Institute.

La recherche sur l'alignement de l'IA, comme celle de MIRI, vise à former les systèmes d'IA pour les « aligner » sur les objectifs, la morale et l'éthique des humains, ce qui éviterait tout risque existentiel pour l'humanité. “Le principal risque réside dans la création d'entités beaucoup plus intelligentes que nous, avec des objectifs mal alignés et dont les actions sont imprévisibles et incontrôlables”, a déclaré Bourgon.

Le problème de la fin du monde entre le gouvernement et l’IA

Christine Parthemore, PDG du Council on Strategic Risks et ancienne responsable du Pentagone, a consacré sa carrière à réduire les risques de situations dangereuses, et elle a récemment déclaré à CNBC que la « mort à grande échelle » que l'IA pourrait provoquer si elle était utilisée pour superviser les armes nucléaires devrait être évitée. considérée comme une question qui requiert une attention immédiate.

Mais « regarder le problème » ne servira à rien, a-t-elle souligné. “L'essentiel est de s'attaquer aux risques et de trouver les solutions les plus efficaces”, a-t-elle déclaré. “Il s'agit d'une technologie à double usage à l'état pur”, a-t-elle ajouté. “Il n'y a aucun cas où l'IA soit plus une arme qu'une solution.” Par exemple, si les grands modèles linguistiques peuvent devenir des assistants de laboratoire virtuels et accélérer la médecine, ils peuvent également aider des acteurs malveillants à identifier les agents pathogènes les meilleurs et les plus transmissibles à utiliser pour attaquer. C’est l’une des raisons pour lesquelles l’IA ne peut pas être arrêtée, a-t-elle déclaré. “Ralentir ne fait pas partie de la solution proposée”, a poursuivi Parthemore.

Plus tôt cette année, son ancien employeur, le département américain de la Défense, a déclaré qu'il y aurait toujours un humain au courant de l'utilisation des systèmes d'IA. C'est un protocole qui, selon Parthemore, devrait être adopté partout. “L'IA elle-même ne peut pas être l'autorité”, a-t-elle déclaré. “Cela ne peut pas être le cas,” l'IA dit X. ” … Nous devons faire confiance aux outils, ou nous ne devrions pas les utiliser, mais nous devons les contextualiser. … Il y a suffisamment de manque général de compréhension à propos de cet ensemble d'outils pour qu'il existe un risque plus élevé d'excès de confiance et de confiance excessive.

Les responsables gouvernementaux et les décideurs politiques ont commencé à prendre conscience de ces risques. En juillet, l'administration Biden-Harris a annoncé avoir obtenu des engagements volontaires de la part des géants de l'IA Amazon, Anthropic, Google, Inflection, Meta, Microsoft et OpenAI pour « évoluer vers un développement sûr, sécurisé et transparent de la technologie de l'IA ».

Il y a quelques semaines à peine, le président Biden a publié un décret qui a établi de nouvelles normes en matière de sûreté et de sécurité de l’IA, même si les parties prenantes de la société entière s’inquiètent de ses limites. De même, le gouvernement britannique a créé début novembre l’AI Safety Institute, qui est la première organisation soutenue par l’État à se concentrer sur l’intelligence artificielle.

Au milieu de la course mondiale à la suprématie de l’IA et des liens avec la rivalité géopolitique, la Chine met également en œuvre son propre ensemble de garde-fous en matière d’IA.

Promesses et scepticisme de l’IA responsable

OpenAI travaille actuellement sur Superalignment, qui vise à « résoudre les principaux défis techniques de l'alignement superintelligent en quatre ans ».

Lors de la récente conférence Amazon Web Services re:Invent 2023, Amazon a annoncé de nouvelles capacités d'innovation en matière d'IA ainsi que la mise en œuvre de mesures de protection responsables en matière d'IA dans l'ensemble de l'organisation.

« Je dis souvent que c'est un impératif commercial que l'IA responsable ne soit pas considérée comme un flux de travail distinct mais finalement intégrée à la manière dont nous travaillons », a déclaré Diya Wynn, responsable de l'IA responsable chez AWS.

Selon une étude commandée par AWS et menée par Morning Consult, l'IA responsable est une priorité commerciale croissante pour 59 % des chefs d'entreprise, avec environ la moitié (47 %) prévoyant d'investir davantage dans l'IA responsable en 2024 qu'en 2023.

Bien que la prise en compte d’une IA responsable puisse ralentir le rythme de l’innovation de l’IA, des équipes comme celle de Wynn se considèrent comme ouvrant la voie à un avenir plus sûr. “Les entreprises voient de la valeur et commencent à donner la priorité à l'IA responsable”, a déclaré Wynn, et par conséquent, “les systèmes vont être plus sûrs, sécurisés, [and more] compris.”

Bourgon n'est pas convaincu et estime que des actions comme celles récemment annoncées par les gouvernements sont “loin de ce qui sera finalement nécessaire”.

Il prédit qu'il est probable que les systèmes d'IA atteignent des niveaux catastrophiques dès 2030, et que les gouvernements doivent être prêts à arrêter indéfiniment les systèmes d'IA jusqu'à ce que les principaux développeurs d'IA puissent « démontrer de manière robuste la sécurité de leurs systèmes ».