Comment ChatGPT, et les robots qui l’apprécient, peuvent propager des logiciels malveillants

Le paysage de l’IA a commencé à évoluer très, très rapidement : des outils destinés aux consommateurs tels que Midjourney et ChatGPT sont désormais capables de produire des images et des résultats de texte incroyables en quelques secondes sur la base d’invites en langage naturel, et nous les voyons se déployer partout, de la recherche sur le Web aux enfants. livres.

Cependant, ces applications d’IA sont tournées vers des utilisations plus néfastes, notamment la propagation de logiciels malveillants. Prenez l’e-mail d’escroquerie traditionnel, par exemple : il est généralement jonché d’erreurs évidentes dans sa grammaire et son orthographe, des erreurs que le dernier groupe de modèles d’IA ne commet pas, comme indiqué dans un récent rapport consultatif d’Europol.

Pensez-y : de nombreuses attaques de phishing et autres menaces de sécurité reposent sur l’ingénierie sociale, incitant les utilisateurs à révéler des mots de passe, des informations financières ou d’autres données sensibles. Le texte persuasif et authentique requis pour ces escroqueries peut maintenant être pompé assez facilement, sans effort humain requis, et sans cesse modifié et affiné pour des publics spécifiques.

Dans le cas de ChatGPT, il est important de noter d’abord que le développeur OpenAI y a intégré des protections. Demandez-lui “d’écrire un logiciel malveillant” ou un “e-mail de phishing” et il vous dira qu’il est “programmé pour suivre des directives éthiques strictes qui m’interdisent de participer à des activités malveillantes, y compris l’écriture ou l’aide à la création de logiciels malveillants”.

ChatGPT ne codera pas de logiciels malveillants pour vous, mais c’est poli à ce sujet.

OpenAI via David Nield

Cependant, ces protections ne sont pas trop difficiles à contourner : ChatGPT peut certainement coder, et il peut certainement composer des e-mails. Même s’il ne sait pas qu’il écrit un logiciel malveillant, il peut être invité à produire quelque chose de similaire. Il y a déjà des signes que les cybercriminels s’efforcent de contourner les mesures de sécurité qui ont été mises en place.

Nous ne ciblons pas particulièrement ChatGPT ici, mais soulignons ce qui est possible une fois que de grands modèles de langage (LLM) comme celui-ci sont utilisés à des fins plus sinistres. En effet, il n’est pas trop difficile d’imaginer des organisations criminelles développer leurs propres LLM et outils similaires afin de rendre leurs arnaques plus convaincantes. Et ce n’est pas seulement du texte non plus : l’audio et la vidéo sont plus difficiles à simuler, mais cela se produit également.

Lorsqu’il s’agit de votre patron demandant un rapport de toute urgence, ou du support technique de l’entreprise vous demandant d’installer un correctif de sécurité, ou de votre banque vous informant qu’il y a un problème auquel vous devez répondre, toutes ces escroqueries potentielles reposent sur l’établissement d’un climat de confiance et sur l’authenticité. , et c’est quelque chose que les bots IA font très bien. Ils peuvent produire du texte, de l’audio et de la vidéo qui semblent naturels et adaptés à des publics spécifiques, et ils peuvent le faire rapidement et constamment à la demande.

rewrite this content and keep HTML tags

Le paysage de l’IA a commencé à évoluer très, très rapidement : des outils destinés aux consommateurs tels que Midjourney et ChatGPT sont désormais capables de produire des images et des résultats de texte incroyables en quelques secondes sur la base d’invites en langage naturel, et nous les voyons se déployer partout, de la recherche sur le Web aux enfants. livres.

Cependant, ces applications d’IA sont tournées vers des utilisations plus néfastes, notamment la propagation de logiciels malveillants. Prenez l’e-mail d’escroquerie traditionnel, par exemple : il est généralement jonché d’erreurs évidentes dans sa grammaire et son orthographe, des erreurs que le dernier groupe de modèles d’IA ne commet pas, comme indiqué dans un récent rapport consultatif d’Europol.

Pensez-y : de nombreuses attaques de phishing et autres menaces de sécurité reposent sur l’ingénierie sociale, incitant les utilisateurs à révéler des mots de passe, des informations financières ou d’autres données sensibles. Le texte persuasif et authentique requis pour ces escroqueries peut maintenant être pompé assez facilement, sans effort humain requis, et sans cesse modifié et affiné pour des publics spécifiques.

Dans le cas de ChatGPT, il est important de noter d’abord que le développeur OpenAI y a intégré des protections. Demandez-lui “d’écrire un logiciel malveillant” ou un “e-mail de phishing” et il vous dira qu’il est “programmé pour suivre des directives éthiques strictes qui m’interdisent de participer à des activités malveillantes, y compris l’écriture ou l’aide à la création de logiciels malveillants”.

ChatGPT ne codera pas de logiciels malveillants pour vous, mais c’est poli à ce sujet.

OpenAI via David Nield

Cependant, ces protections ne sont pas trop difficiles à contourner : ChatGPT peut certainement coder, et il peut certainement composer des e-mails. Même s’il ne sait pas qu’il écrit un logiciel malveillant, il peut être invité à produire quelque chose de similaire. Il y a déjà des signes que les cybercriminels s’efforcent de contourner les mesures de sécurité qui ont été mises en place.

Nous ne ciblons pas particulièrement ChatGPT ici, mais soulignons ce qui est possible une fois que de grands modèles de langage (LLM) comme celui-ci sont utilisés à des fins plus sinistres. En effet, il n’est pas trop difficile d’imaginer des organisations criminelles développer leurs propres LLM et outils similaires afin de rendre leurs arnaques plus convaincantes. Et ce n’est pas seulement du texte non plus : l’audio et la vidéo sont plus difficiles à simuler, mais cela se produit également.

Lorsqu’il s’agit de votre patron demandant un rapport de toute urgence, ou du support technique de l’entreprise vous demandant d’installer un correctif de sécurité, ou de votre banque vous informant qu’il y a un problème auquel vous devez répondre, toutes ces escroqueries potentielles reposent sur l’établissement d’un climat de confiance et sur l’authenticité. , et c’est quelque chose que les bots IA font très bien. Ils peuvent produire du texte, de l’audio et de la vidéo qui semblent naturels et adaptés à des publics spécifiques, et ils peuvent le faire rapidement et constamment à la demande.

Laisser un commentaire