Le côté obscur des générateurs d’images IA Open Source

Que ce soit à travers le visage haute définition renfrogné d'un chimpanzé ou un visage psychédélique aux teintes roses et rouges. sosie de lui-même, Reuven Cohen utilise des images générées par l'IA pour attirer l'attention des gens. « J'ai toujours été intéressé par l'art, le design et la vidéo et j'aime repousser les limites », dit-il. Mais le consultant basé à Toronto, qui aide les entreprises à développer des outils d'IA, espère également sensibiliser aux utilisations plus sombres de la technologie.

“Il peut également être spécifiquement entraîné pour être assez horrible et mauvais de diverses manières”, explique Cohen. Il est fan de l'expérimentation en roue libre déclenchée par la technologie open source de génération d'images. Mais cette même liberté permet la création d’images explicites de femmes utilisées à des fins de harcèlement.

Après la diffusion récente d'images non consensuelles de Taylor Swift sur X, Microsoft a ajouté de nouveaux contrôles à son générateur d'images. Les modèles open source peuvent être réquisitionnés par à peu près n’importe qui et sont généralement dépourvus de garde-fous. Malgré les efforts de certains membres pleins d'espoir de la communauté pour décourager les utilisations abusives, le libre accès à l'open source est presque impossible à contrôler, disent les experts.

« L’Open Source a alimenté l’abus d’images fausses et la pornographie non consensuelle. C'est impossible à édulcorer ou à qualifier », déclare Henry Ajder, qui a passé des années à étudier l'utilisation nocive de l'IA générative.

Ajder dit qu'en même temps qu'il devient un favori des chercheurs, des créatifs comme Cohen et des universitaires travaillant sur l'IA, les logiciels de génération d'images open source sont devenus le fondement du deepfake porno. Certains outils basés sur des algorithmes open source sont spécialement conçus pour des utilisations salaces ou harcelantes, comme les applications de « nudification » qui suppriment numériquement les vêtements des femmes sur les images.

Mais de nombreux outils peuvent servir à des cas d’utilisation à la fois légitimes et harcelants. Un programme open source populaire d’échange de visages est utilisé par les gens de l’industrie du divertissement et comme « outil de choix pour les mauvais acteurs » créant des deepfakes non consensuels, explique Ajder. Le générateur d'images haute résolution Stable Diffusion, développé par la startup Stability AI, compterait plus de 10 millions d'utilisateurs et dispose de garde-fous installés pour empêcher la création d'images explicites et de politiques interdisant toute utilisation malveillante. Mais la société a également ouvert une version personnalisable du générateur d’images en 2022, et des guides en ligne expliquent comment contourner ses limitations intégrées.

Pendant ce temps, des modèles d'IA plus petits appelés LoRA facilitent le réglage d'un modèle de diffusion stable pour produire des images avec un style, un concept ou une pose particulier, comme l'image d'une célébrité ou certains actes sexuels. Ils sont largement disponibles sur les marchés de modèles d'IA tels que Civitai, un site communautaire où les utilisateurs partagent et téléchargent des modèles. Là-bas, un créateur d'un plug-in Taylor Swift a exhorté les autres à ne pas l'utiliser « pour les images NSFW ». Cependant, une fois téléchargé, son utilisation échappe au contrôle de son créateur. “La façon dont fonctionne l'open source signifie qu'il sera très difficile d'empêcher quelqu'un de potentiellement le pirater”, explique Ajder.

4chan, le site de forum de discussion basé sur des images réputé pour sa modération chaotique, héberge des pages consacrées au porno deepfake non consensuel, a découvert WIRED, réalisées avec des programmes librement disponibles et des modèles d'IA dédiés uniquement aux images sexuelles. Les forums de discussion pour les images pour adultes sont remplis de nus non consensuels de vraies femmes, générés par l'IA, allant d'actrices pornographiques à des actrices comme Cate Blanchett. WIRED a également observé que les utilisateurs de 4chan partageaient des solutions de contournement pour les images NSFW à l'aide de Dall-E 3 d'OpenAI.

Ce type d’activité a incité certains utilisateurs de communautés dédiées à la création d’images IA, notamment sur Reddit et Discord, à tenter de lutter contre la mer d’images pornographiques et malveillantes. Les créateurs expriment également leur inquiétude quant à la réputation du logiciel pour les images NSFW, encourageant les autres à signaler les images représentant des mineurs sur Reddit et les sites d'hébergement de modèles.

Que ce soit à travers le visage haute définition renfrogné d'un chimpanzé ou un visage psychédélique aux teintes roses et rouges. sosie de lui-même, Reuven Cohen utilise des images générées par l'IA pour attirer l'attention des gens. « J'ai toujours été intéressé par l'art, le design et la vidéo et j'aime repousser les limites », dit-il. Mais le consultant basé à Toronto, qui aide les entreprises à développer des outils d'IA, espère également sensibiliser aux utilisations plus sombres de la technologie.

“Il peut également être spécifiquement entraîné pour être assez horrible et mauvais de diverses manières”, explique Cohen. Il est fan de l'expérimentation en roue libre déclenchée par la technologie open source de génération d'images. Mais cette même liberté permet la création d’images explicites de femmes utilisées à des fins de harcèlement.

Après la diffusion récente d'images non consensuelles de Taylor Swift sur X, Microsoft a ajouté de nouveaux contrôles à son générateur d'images. Les modèles open source peuvent être réquisitionnés par à peu près n’importe qui et sont généralement dépourvus de garde-fous. Malgré les efforts de certains membres pleins d'espoir de la communauté pour décourager les utilisations abusives, le libre accès à l'open source est presque impossible à contrôler, disent les experts.

« L’Open Source a alimenté l’abus d’images fausses et la pornographie non consensuelle. C'est impossible à édulcorer ou à qualifier », déclare Henry Ajder, qui a passé des années à étudier l'utilisation nocive de l'IA générative.

Ajder dit qu'en même temps qu'il devient un favori des chercheurs, des créatifs comme Cohen et des universitaires travaillant sur l'IA, les logiciels de génération d'images open source sont devenus le fondement du deepfake porno. Certains outils basés sur des algorithmes open source sont spécialement conçus pour des utilisations salaces ou harcelantes, comme les applications de « nudification » qui suppriment numériquement les vêtements des femmes sur les images.

Mais de nombreux outils peuvent servir à des cas d’utilisation à la fois légitimes et harcelants. Un programme open source populaire d’échange de visages est utilisé par les gens de l’industrie du divertissement et comme « outil de choix pour les mauvais acteurs » créant des deepfakes non consensuels, explique Ajder. Le générateur d'images haute résolution Stable Diffusion, développé par la startup Stability AI, compterait plus de 10 millions d'utilisateurs et dispose de garde-fous installés pour empêcher la création d'images explicites et de politiques interdisant toute utilisation malveillante. Mais la société a également ouvert une version personnalisable du générateur d’images en 2022, et des guides en ligne expliquent comment contourner ses limitations intégrées.

Pendant ce temps, des modèles d'IA plus petits appelés LoRA facilitent le réglage d'un modèle de diffusion stable pour produire des images avec un style, un concept ou une pose particulier, comme l'image d'une célébrité ou certains actes sexuels. Ils sont largement disponibles sur les marchés de modèles d'IA tels que Civitai, un site communautaire où les utilisateurs partagent et téléchargent des modèles. Là-bas, un créateur d'un plug-in Taylor Swift a exhorté les autres à ne pas l'utiliser « pour les images NSFW ». Cependant, une fois téléchargé, son utilisation échappe au contrôle de son créateur. “La façon dont fonctionne l'open source signifie qu'il sera très difficile d'empêcher quelqu'un de potentiellement le pirater”, explique Ajder.

4chan, le site de forum de discussion basé sur des images réputé pour sa modération chaotique, héberge des pages consacrées au porno deepfake non consensuel, a découvert WIRED, réalisées avec des programmes librement disponibles et des modèles d'IA dédiés uniquement aux images sexuelles. Les forums de discussion pour les images pour adultes sont remplis de nus non consensuels de vraies femmes, générés par l'IA, allant d'actrices pornographiques à des actrices comme Cate Blanchett. WIRED a également observé que les utilisateurs de 4chan partageaient des solutions de contournement pour les images NSFW à l'aide de Dall-E 3 d'OpenAI.

Ce type d’activité a incité certains utilisateurs de communautés dédiées à la création d’images IA, notamment sur Reddit et Discord, à tenter de lutter contre la mer d’images pornographiques et malveillantes. Les créateurs expriment également leur inquiétude quant à la réputation du logiciel pour les images NSFW, encourageant les autres à signaler les images représentant des mineurs sur Reddit et les sites d'hébergement de modèles.