par L’ingénieur électricien Gilbert Herrera a été nommé directeur de recherche de la National Security Agency des États-Unis fin 2021, au moment même où une révolution de l’IA se préparait au sein de l’industrie technologique américaine.
La NSA, parfois appelée en plaisantant No Such Agency, recrute depuis longtemps les meilleurs talents en mathématiques et en informatique. Ses dirigeants techniques ont été les premiers et fervents utilisateurs de l’informatique avancée et de l’IA. Et pourtant, lorsque Herrera m'a parlé par téléphone des implications du dernier boom de l'IA depuis le siège de la NSA à Fort Meade, dans le Maryland, il semblait que, comme beaucoup d'autres, l'agence avait été stupéfaite par le récent succès des grands modèles linguistiques derrière ChatGPT. et d'autres produits d'IA à succès. La conversation a été légèrement modifiée pour plus de clarté et de longueur.
Gilbert HerreraAvec l'aimable autorisation de l'Agence de sécurité nationale
Dans quelle mesure le moment ChatGPT a-t-il été une grande surprise pour la NSA ?
Oh, je pensais que votre première question serait « qu'est-ce que la NSA a appris de l'Arche d'Alliance ? » C'est un phénomène récurrent depuis 1939 environ. J'aimerais vous le dire, mais je ne peux pas.
Ce que je pense que tout le monde a appris du moment ChatGPT, c'est que si vous jetez suffisamment de données et suffisamment de ressources informatiques sur l'IA, ces propriétés émergentes apparaissent.
La NSA considère réellement l’intelligence artificielle comme à la frontière d’une longue histoire d’utilisation de l’automatisation pour accomplir nos missions avec l’informatique. L’IA a longtemps été considérée comme un moyen de fonctionner plus intelligemment, plus rapidement et à grande échelle. Nous sommes donc impliqués dans les recherches menant à ce moment depuis plus de 20 ans.
Les grands modèles de langage existaient bien avant les modèles génératifs de pré-entraînement (GPT). Mais ce « moment ChatGPT » – une fois que vous pouvez lui demander d'écrire une blague, ou une fois que vous pouvez engager une conversation – cela le différencie vraiment des autres travaux que nous et d'autres avons réalisés.
La NSA et ses homologues alliés des États-Unis ont parfois développé des technologies importantes avant tout le monde, mais les ont gardées secrètes, comme la cryptographie à clé publique dans les années 1970. La même chose s'est-elle peut-être produite avec les grands modèles de langage ?
À la NSA, nous n’aurions pas pu créer ces grands modèles de transformateurs, car nous ne pouvions pas utiliser les données. Nous ne pouvons pas utiliser les données des citoyens américains. Une autre chose est le budget. J'ai écouté un podcast dans lequel quelqu'un partageait un appel aux résultats de Microsoft et disait qu'il dépensait 10 milliards de dollars par trimestre en coûts de plate-forme. [The total US intelligence budget in 2023 was $100 billion.]
Il faut vraiment que ce soient des gens qui aient assez d'argent pour investir des dizaines de milliards et [who] avoir accès au type de données qui peuvent produire ces propriétés émergentes. Et donc ce sont vraiment les hyperscalers [largest cloud companies] et potentiellement des gouvernements qui ne se soucient pas de la vie privée, ne sont pas obligés de respecter les lois sur la vie privée et n'ont pas de problème avec le vol de données. Et je laisse à votre imagination le soin de savoir qui cela peut être.
Cela ne désavantage-t-il pas la NSA – et les États-Unis – en matière de collecte et de traitement du renseignement ?
Je vais reculer un peu : cela ne nous désavantage pas beaucoup. Nous devons en quelque sorte contourner ce problème, et j'y reviendrai.
Cela ne constitue pas un désavantage majeur pour notre responsabilité, qui consiste à répondre aux objectifs des États-nations. Si vous regardez d’autres applications, cela peut compliquer la tâche de certains de nos collègues qui s’occupent du renseignement intérieur. Mais la communauté du renseignement va devoir trouver le moyen d’utiliser des modèles de langage commerciaux et de respecter la vie privée et les libertés individuelles. [The NSA is prohibited from collecting domestic intelligence, although multiple whistleblowers have warned that it does scoop up US data.]
rewrite this content and keep HTML tags
L’ingénieur électricien Gilbert Herrera a été nommé directeur de recherche de la National Security Agency des États-Unis fin 2021, au moment même où une révolution de l’IA se préparait au sein de l’industrie technologique américaine.
La NSA, parfois appelée en plaisantant No Such Agency, recrute depuis longtemps les meilleurs talents en mathématiques et en informatique. Ses dirigeants techniques ont été les premiers et fervents utilisateurs de l’informatique avancée et de l’IA. Et pourtant, lorsque Herrera m'a parlé par téléphone des implications du dernier boom de l'IA depuis le siège de la NSA à Fort Meade, dans le Maryland, il semblait que, comme beaucoup d'autres, l'agence avait été stupéfaite par le récent succès des grands modèles linguistiques derrière ChatGPT. et d'autres produits d'IA à succès. La conversation a été légèrement modifiée pour plus de clarté et de longueur.
Gilbert HerreraAvec l'aimable autorisation de l'Agence de sécurité nationale
Dans quelle mesure le moment ChatGPT a-t-il été une grande surprise pour la NSA ?
Oh, je pensais que votre première question serait « qu'est-ce que la NSA a appris de l'Arche d'Alliance ? » C'est un phénomène récurrent depuis 1939 environ. J'aimerais vous le dire, mais je ne peux pas.
Ce que je pense que tout le monde a appris du moment ChatGPT, c'est que si vous jetez suffisamment de données et suffisamment de ressources informatiques sur l'IA, ces propriétés émergentes apparaissent.
La NSA considère réellement l’intelligence artificielle comme à la frontière d’une longue histoire d’utilisation de l’automatisation pour accomplir nos missions avec l’informatique. L’IA a longtemps été considérée comme un moyen de fonctionner plus intelligemment, plus rapidement et à grande échelle. Nous sommes donc impliqués dans les recherches menant à ce moment depuis plus de 20 ans.
Les grands modèles de langage existaient bien avant les modèles génératifs de pré-entraînement (GPT). Mais ce « moment ChatGPT » – une fois que vous pouvez lui demander d'écrire une blague, ou une fois que vous pouvez engager une conversation – cela le différencie vraiment des autres travaux que nous et d'autres avons réalisés.
La NSA et ses homologues alliés des États-Unis ont parfois développé des technologies importantes avant tout le monde, mais les ont gardées secrètes, comme la cryptographie à clé publique dans les années 1970. La même chose s'est-elle peut-être produite avec les grands modèles de langage ?
À la NSA, nous n’aurions pas pu créer ces grands modèles de transformateurs, car nous ne pouvions pas utiliser les données. Nous ne pouvons pas utiliser les données des citoyens américains. Une autre chose est le budget. J'ai écouté un podcast dans lequel quelqu'un partageait un appel aux résultats de Microsoft et disait qu'il dépensait 10 milliards de dollars par trimestre en coûts de plate-forme. [The total US intelligence budget in 2023 was $100 billion.]
Il faut vraiment que ce soient des gens qui aient assez d'argent pour investir des dizaines de milliards et [who] avoir accès au type de données qui peuvent produire ces propriétés émergentes. Et donc ce sont vraiment les hyperscalers [largest cloud companies] et potentiellement des gouvernements qui ne se soucient pas de la vie privée, ne sont pas obligés de respecter les lois sur la vie privée et n'ont pas de problème avec le vol de données. Et je laisse à votre imagination le soin de savoir qui cela peut être.
Cela ne désavantage-t-il pas la NSA – et les États-Unis – en matière de collecte et de traitement du renseignement ?
Je vais reculer un peu : cela ne nous désavantage pas beaucoup. Nous devons en quelque sorte contourner ce problème, et j'y reviendrai.
Cela ne constitue pas un désavantage majeur pour notre responsabilité, qui consiste à répondre aux objectifs des États-nations. Si vous regardez d’autres applications, cela peut compliquer la tâche de certains de nos collègues qui s’occupent du renseignement intérieur. Mais la communauté du renseignement va devoir trouver le moyen d’utiliser des modèles de langage commerciaux et de respecter la vie privée et les libertés individuelles. [The NSA is prohibited from collecting domestic intelligence, although multiple whistleblowers have warned that it does scoop up US data.]
