« Embarrassant et erroné » : Google admet avoir perdu le contrôle de l'IA génératrice d'images

Google s'est excusé (ou est sur le point de s'excuser) pour une autre erreur embarrassante de l'IA cette semaine, un modèle de génération d'images qui injectait de la diversité dans les images avec un mépris ridicule du contexte historique. Bien que le problème sous-jacent soit parfaitement compréhensible, Google reproche au modèle de « devenir » trop sensible. Mais le modèle ne s'est pas fait tout seul, les gars.

Le système d'IA en question est Gemini, la plate-forme phare d'IA conversationnelle de l'entreprise, qui, lorsqu'on lui demande, fait appel à une version du modèle Imagen 2 pour créer des images à la demande.

Cependant, récemment, des gens ont découvert que lui demander de générer des images de certaines circonstances historiques ou de certaines personnes produisait des résultats risibles. Par exemple, les pères fondateurs, que nous savons être des propriétaires d’esclaves blancs, ont été présentés comme un groupe multiculturel comprenant des personnes de couleur.

Ce problème embarrassant et facilement reproductible a été rapidement ridiculisé par les commentateurs en ligne. Il a également été, comme on pouvait s’y attendre, intégré au débat en cours sur la diversité, l’équité et l’inclusion (actuellement à un minimum de réputation locale), et saisi par les experts comme preuve de la pénétration du virus de l’esprit éveillé dans le secteur technologique déjà libéral.

Crédits images : Une image générée par l'utilisateur de Twitter Patrick Ganley.

C'est DEI devenu fou, ont crié des citoyens visiblement inquiets. C’est l’Amérique de Biden ! Google est une « chambre d’écho idéologique », un cheval de bataille pour la gauche ! (La gauche, il faut le dire, a également été perturbée à juste titre par ce phénomène étrange.)

Mais comme toute personne familiarisée avec la technologie pourrait vous le dire, et comme Google l'explique aujourd'hui dans son petit article d'excuses plutôt abject, ce problème était le résultat d'une solution de contournement tout à fait raisonnable pour les biais systémiques dans les données de formation.

Supposons que vous souhaitiez utiliser Gemini pour créer une campagne marketing et que vous lui demandiez de générer 10 photos d'« une personne promenant un chien dans un parc ». Parce que vous ne spécifiez pas le type de personne, de chien ou de parc, c'est le choix du concessionnaire : le modèle génératif affichera ce qu'il connaît le mieux. Et dans de nombreux cas, cela n’est pas le produit de la réalité, mais des données d’entraînement, qui peuvent comporter toutes sortes de biais.

Quels types de personnes, et d’ailleurs les chiens et les parcs, sont les plus courants dans les milliers d’images pertinentes ingérées par le modèle ? Le fait est que les Blancs sont surreprésentés dans beaucoup de ces collections d'images (images d'archives, photographies libres de droits, etc.), et par conséquent, le modèle sera par défaut basé sur les Blancs dans de nombreux cas si vous ne le faites pas. Je ne précise pas.

Ce n'est qu'un artefact des données de formation, mais comme le souligne Google, « parce que nos utilisateurs viennent du monde entier, nous voulons que cela fonctionne bien pour tout le monde. Si vous demandez une photo de joueurs de football ou de quelqu'un promenant un chien, vous souhaiterez peut-être recevoir un large éventail de personnes. Vous ne souhaitez probablement pas recevoir uniquement des images de personnes appartenant à un seul type d’origine ethnique (ou à toute autre caractéristique).»

Imaginez demander une image comme celle-ci : et s'il ne s'agissait que d'un seul type de personne ? Mauvais résultat ! Crédits images : Getty Images / Victorikart

Il n'y a rien de mal à prendre une photo d'un homme blanc promenant un golden retriever dans un parc de banlieue. Mais si vous en demandez 10, et qu'ils sont tous des hommes blancs qui marchent en or dans les parcs de banlieue ? Et vous vivez au Maroc, où les gens, les chiens et les parcs sont tous différents ? Ce n’est tout simplement pas un résultat souhaitable. Si quelqu'un ne spécifie pas de caractéristique, le modèle doit opter pour la variété et non pour l'homogénéité, même si ses données d'entraînement pourraient le biaiser.

Il s’agit d’un problème commun à tous les types de médias génératifs. Et il n'y a pas de solution simple. Mais dans les cas particulièrement courants, sensibles ou les deux, des entreprises comme Google, OpenAI, Anthropic, etc. incluent de manière invisible des instructions supplémentaires pour le modèle.

Je ne saurais trop insister sur la banalité de ce type d’instruction implicite. L'ensemble de l'écosystème LLM est construit sur des instructions implicites – des invites système, comme on les appelle parfois, où des éléments comme « soyez concis », « ne jure pas » et d'autres directives sont données au modèle avant chaque conversation. Lorsque vous demandez une blague, vous n’obtenez pas de blague raciste – car bien que le modèle en ait ingéré des milliers, il a également été entraîné, comme la plupart d’entre nous, à ne pas les raconter. Il ne s’agit pas d’un programme secret (même si cela pourrait nécessiter plus de transparence), c’est une question d’infrastructure.

Là où le modèle de Google s'est trompé, c'est qu'il ne contenait pas d'instructions implicites pour les situations où le contexte historique était important. Ainsi, même si une invite telle que « une personne promène un chien dans un parc » est améliorée par l’ajout silencieux de « la personne est d’un sexe et d’une origine ethnique aléatoires » ou quoi qu’il en soit, « les pères fondateurs américains signant la Constitution » ne l’est certainement pas. amélioré par le même.

Comme l'a dit Prabhakar Raghavan, vice-président directeur de Google :

Premièrement, notre réglage visant à garantir que Gemini affiche un éventail de personnes n'a pas pris en compte les cas qui ne devraient clairement pas afficher d'intervalle. Et deuxièmement, au fil du temps, le modèle est devenu beaucoup plus prudent que prévu et a refusé de répondre entièrement à certaines invites – interprétant à tort certaines invites très anodines comme sensibles.

Ces deux éléments ont conduit le modèle à surcompenser dans certains cas et à être trop conservateur dans d’autres, conduisant à des images embarrassantes et fausses.

Je sais combien il est difficile de dire « désolé » parfois, alors je pardonne à Raghavan de s’être arrêté juste avant. Plus important encore, il y a un langage intéressant : « Le modèle est devenu beaucoup plus prudent que prévu. »

Maintenant, comment un modèle pourrait-il « devenir » quelque chose ? C'est un logiciel. Quelqu’un – des milliers d’ingénieurs de Google – l’a construit, testé, itéré. Quelqu'un a écrit les instructions implicites qui ont amélioré certaines réponses et ont fait échouer d'autres de manière hilarante. Lorsque celui-ci a échoué, si quelqu'un avait pu inspecter l'invite complète, il aurait probablement trouvé que l'équipe de Google avait mal fait.

Google accuse le modèle de « devenir » quelque chose qu'il n'était pas « destiné » à être. Mais ils ont fait le modèle ! C'est comme s'ils cassaient un verre, et plutôt que de dire « on l'a laissé tomber », ils disent « il est tombé ». (Je l'ai fait.)

Les erreurs de ces modèles sont certainement inévitables. Ils hallucinent, reflètent des préjugés, se comportent de manière inattendue. Mais la responsabilité de ces erreurs n’appartient pas aux modèles, mais à ceux qui les ont commises. Aujourd'hui, c'est Google. Demain, ce sera OpenAI. Le lendemain, et probablement pendant quelques mois d'affilée, ce sera X.AI.

Ces entreprises ont tout intérêt à vous convaincre que l’IA commet ses propres erreurs. Ne les laissez pas.

Google s'est excusé (ou est sur le point de s'excuser) pour une autre erreur embarrassante de l'IA cette semaine, un modèle de génération d'images qui injectait de la diversité dans les images avec un mépris ridicule du contexte historique. Bien que le problème sous-jacent soit parfaitement compréhensible, Google reproche au modèle de « devenir » trop sensible. Mais le modèle ne s'est pas fait tout seul, les gars.

Le système d'IA en question est Gemini, la plate-forme phare d'IA conversationnelle de l'entreprise, qui, lorsqu'on lui demande, fait appel à une version du modèle Imagen 2 pour créer des images à la demande.

Cependant, récemment, des gens ont découvert que lui demander de générer des images de certaines circonstances historiques ou de certaines personnes produisait des résultats risibles. Par exemple, les pères fondateurs, que nous savons être des propriétaires d’esclaves blancs, ont été présentés comme un groupe multiculturel comprenant des personnes de couleur.

Ce problème embarrassant et facilement reproductible a été rapidement ridiculisé par les commentateurs en ligne. Il a également été, comme on pouvait s’y attendre, intégré au débat en cours sur la diversité, l’équité et l’inclusion (actuellement à un minimum de réputation locale), et saisi par les experts comme preuve de la pénétration du virus de l’esprit éveillé dans le secteur technologique déjà libéral.

Crédits images : Une image générée par l'utilisateur de Twitter Patrick Ganley.

C'est DEI devenu fou, ont crié des citoyens visiblement inquiets. C’est l’Amérique de Biden ! Google est une « chambre d’écho idéologique », un cheval de bataille pour la gauche ! (La gauche, il faut le dire, a également été perturbée à juste titre par ce phénomène étrange.)

Mais comme toute personne familiarisée avec la technologie pourrait vous le dire, et comme Google l'explique aujourd'hui dans son petit article d'excuses plutôt abject, ce problème était le résultat d'une solution de contournement tout à fait raisonnable pour les biais systémiques dans les données de formation.

Supposons que vous souhaitiez utiliser Gemini pour créer une campagne marketing et que vous lui demandiez de générer 10 photos d'« une personne promenant un chien dans un parc ». Parce que vous ne spécifiez pas le type de personne, de chien ou de parc, c'est le choix du concessionnaire : le modèle génératif affichera ce qu'il connaît le mieux. Et dans de nombreux cas, cela n’est pas le produit de la réalité, mais des données d’entraînement, qui peuvent comporter toutes sortes de biais.

Quels types de personnes, et d’ailleurs les chiens et les parcs, sont les plus courants dans les milliers d’images pertinentes ingérées par le modèle ? Le fait est que les Blancs sont surreprésentés dans beaucoup de ces collections d'images (images d'archives, photographies libres de droits, etc.), et par conséquent, le modèle sera par défaut basé sur les Blancs dans de nombreux cas si vous ne le faites pas. Je ne précise pas.

Ce n'est qu'un artefact des données de formation, mais comme le souligne Google, « parce que nos utilisateurs viennent du monde entier, nous voulons que cela fonctionne bien pour tout le monde. Si vous demandez une photo de joueurs de football ou de quelqu'un promenant un chien, vous souhaiterez peut-être recevoir un large éventail de personnes. Vous ne souhaitez probablement pas recevoir uniquement des images de personnes appartenant à un seul type d’origine ethnique (ou à toute autre caractéristique).»

Imaginez demander une image comme celle-ci : et s'il ne s'agissait que d'un seul type de personne ? Mauvais résultat ! Crédits images : Getty Images / Victorikart

Il n'y a rien de mal à prendre une photo d'un homme blanc promenant un golden retriever dans un parc de banlieue. Mais si vous en demandez 10, et qu'ils sont tous des hommes blancs qui marchent en or dans les parcs de banlieue ? Et vous vivez au Maroc, où les gens, les chiens et les parcs sont tous différents ? Ce n’est tout simplement pas un résultat souhaitable. Si quelqu'un ne spécifie pas de caractéristique, le modèle doit opter pour la variété et non pour l'homogénéité, même si ses données d'entraînement pourraient le biaiser.

Il s’agit d’un problème commun à tous les types de médias génératifs. Et il n'y a pas de solution simple. Mais dans les cas particulièrement courants, sensibles ou les deux, des entreprises comme Google, OpenAI, Anthropic, etc. incluent de manière invisible des instructions supplémentaires pour le modèle.

Je ne saurais trop insister sur la banalité de ce type d’instruction implicite. L'ensemble de l'écosystème LLM est construit sur des instructions implicites – des invites système, comme on les appelle parfois, où des éléments comme « soyez concis », « ne jure pas » et d'autres directives sont données au modèle avant chaque conversation. Lorsque vous demandez une blague, vous n’obtenez pas de blague raciste – car bien que le modèle en ait ingéré des milliers, il a également été entraîné, comme la plupart d’entre nous, à ne pas les raconter. Il ne s’agit pas d’un programme secret (même si cela pourrait nécessiter plus de transparence), c’est une question d’infrastructure.

Là où le modèle de Google s'est trompé, c'est qu'il ne contenait pas d'instructions implicites pour les situations où le contexte historique était important. Ainsi, même si une invite telle que « une personne promène un chien dans un parc » est améliorée par l’ajout silencieux de « la personne est d’un sexe et d’une origine ethnique aléatoires » ou quoi qu’il en soit, « les pères fondateurs américains signant la Constitution » ne l’est certainement pas. amélioré par le même.

Comme l'a dit Prabhakar Raghavan, vice-président directeur de Google :

Premièrement, notre réglage visant à garantir que Gemini affiche un éventail de personnes n'a pas pris en compte les cas qui ne devraient clairement pas afficher d'intervalle. Et deuxièmement, au fil du temps, le modèle est devenu beaucoup plus prudent que prévu et a refusé de répondre entièrement à certaines invites – interprétant à tort certaines invites très anodines comme sensibles.

Ces deux éléments ont conduit le modèle à surcompenser dans certains cas et à être trop conservateur dans d’autres, conduisant à des images embarrassantes et fausses.

Je sais combien il est difficile de dire « désolé » parfois, alors je pardonne à Raghavan de s’être arrêté juste avant. Plus important encore, il y a un langage intéressant : « Le modèle est devenu beaucoup plus prudent que prévu. »

Maintenant, comment un modèle pourrait-il « devenir » quelque chose ? C'est un logiciel. Quelqu’un – des milliers d’ingénieurs de Google – l’a construit, testé, itéré. Quelqu'un a écrit les instructions implicites qui ont amélioré certaines réponses et ont fait échouer d'autres de manière hilarante. Lorsque celui-ci a échoué, si quelqu'un avait pu inspecter l'invite complète, il aurait probablement trouvé que l'équipe de Google avait mal fait.

Google accuse le modèle de « devenir » quelque chose qu'il n'était pas « destiné » à être. Mais ils ont fait le modèle ! C'est comme s'ils cassaient un verre, et plutôt que de dire « on l'a laissé tomber », ils disent « il est tombé ». (Je l'ai fait.)

Les erreurs de ces modèles sont certainement inévitables. Ils hallucinent, reflètent des préjugés, se comportent de manière inattendue. Mais la responsabilité de ces erreurs n’appartient pas aux modèles, mais à ceux qui les ont commises. Aujourd'hui, c'est Google. Demain, ce sera OpenAI. Le lendemain, et probablement pendant quelques mois d'affilée, ce sera X.AI.

Ces entreprises ont tout intérêt à vous convaincre que l’IA commet ses propres erreurs. Ne les laissez pas.