Un pas de plus vers des avatars réalistes

Un pas de plus vers des avatars réalistes

La nouvelle approche basée sur l’IA peut créer des humains virtuels réalistes qui exécutent des mouvements inédits tels que la danse sauvage. Crédit : Xu Chen/ETH Zürich

Bientôt, les internautes pourront se rencontrer dans le cyberespace sous forme d’avatars animés en 3D. Des chercheurs de l’ETH Zurich ont développé de nouveaux algorithmes pour créer beaucoup plus facilement des humains virtuels.

De nos jours, les gens regardent leurs écrans de plus en plus souvent, surtout depuis le début de la pandémie de coronavirus. Les conférences, réunions et discussions avec les collègues de travail se déroulent toutes par appel vidéo. Si les grandes entreprises technologiques réussissent, de telles rencontres deviendront une expérience immersive dans le soi-disant métaverse dès l’année prochaine, grâce aux lunettes 3D et aux programmes informatiques spécialisés.

La clé pour permettre une expérience utilisateur naturelle dans les applications VR et AR est de créer ce que l’on appelle des avatars, qui sont des représentations dynamiques générées par ordinateur de personnes. Plus l’apparence et le comportement des avatars sont réalistes, plus il est probable que les gens acquièrent un sentiment d’interaction sociale réelle.

Cependant, modéliser un être humain en détail et en mouvement est une tâche qui continue de défier les développeurs de ces applications. Les programmes graphiques d’aujourd’hui peuvent déjà créer des avatars photoréalistes et statiques. Mais pour animer un visage souriant, par exemple, les graphistes doivent éditer manuellement presque chaque image sur l’ordinateur pour corriger les nuances telles que les rides et les ombres.

Des chercheurs dirigés par Otmar Hilliges, professeur d’informatique à l’ETH Zurich, ont montré comment faire cela plus facilement lors de la conférence internationale sur la vision par ordinateurcall_made en octobre 2021. Au lieu de modéliser chaque détail, ils utilisent des algorithmes intelligents qui apprennent à rendre automatiquement des avatars animés dans toutes les poses imaginables en observant des images 3D d’humains dans seulement quelques poses.







Crédit : Xu Chen/ETH Zurich

Le modèle d’ordinateur peut même gérer les ressorts

Les programmes informatiques qui utilisent l’intelligence artificielle pour créer des humains virtuels réalistes n’existent que depuis quelques années. Ces programmes apprennent à représenter de manière réaliste différentes positions du corps à l’aide de scans 3D d’une personne réelle, qui sont préalablement enregistrés à l’aide d’un système de caméra complexe.

Les algorithmes d’IA traitent les scans en mesurant d’innombrables points à l’intérieur et à l’extérieur du corps de la personne pour définir ses contours sous forme de fonction mathématique. De cette façon, les algorithmes construisent une forme modèle de la personne. Pour déplacer l’avatar vers de nouvelles poses, les algorithmes apprennent à mémoriser le chemin de la pose en mouvement vers le modèle.

Cependant, pour les poses extrêmes en dehors du répertoire connu des mouvements, de tels algorithmes n’ont pas la connaissance et prédisent les mauvais chemins, conduisant à des artefacts clairement visibles : les bras peuvent être détachés du corps ou les articulations situées au mauvais endroit. C’est pourquoi les modèles d’aujourd’hui sont formés sur autant de poses différentes que possible, ce qui implique un énorme effort pour la numérisation 3D et nécessite une énorme puissance de calcul.

À ce jour, les avatars IA ne sont guère applicables, en particulier pour les applications interactives. “Il n’est pas pratique de capturer tout le répertoire possible de mouvements”, explique Xu Chen, doctorant et auteur principal de l’étude.

Un pas de plus vers des avatars réalistes

Crédit : Xu Chen/ETH Zurich

La nouvelle méthode développée par Chen adopte l’approche inverse : le modèle calcule le chemin du modèle aux poses mobiles. Comme cela signifie que les calculs ont toujours le même point de départ, cela permet aux algorithmes intelligents de mieux apprendre à généraliser les mouvements.

En effet, pour la première fois, il met un tel modèle informatique en mesure de représenter facilement de nouveaux modèles de mouvement également. Il peut même produire des mouvements acrobatiques comme un saut périlleux ou un pont arrière.

N’importe quel nombre de nouveaux visages à partir d’une seule image

Les nouveaux avatars complets ne peuvent pas encore être personnalisés ; les représentations sont limitées à la personne scannée dans les images 3D originales. Chen et ses collègues aimeraient développer davantage leur modèle informatique afin qu’il puisse créer de nouvelles identités à volonté.

Marcel Bühler, un autre doctorant du groupe Hillige, a déjà trouvé une solution pour personnaliser les visages des avatars et les modifier à volonté. Comme Chen dans ses modèles de corps entier, Bühler a utilisé des algorithmes intelligents pour créer de nouveaux visages animés à partir d’une combinaison d’un modèle de visage 3D et d’une grande collection de photos de portraits.

Alors que les programmes informatiques précédents fournissaient déjà de bonnes animations de visages de face, le modèle de Bühler peut également représenter de manière réaliste des visages de côté ainsi que d’en haut et d’en bas.







Crédit : Marcel Bühler / ETH Zurich

Un examen attentif peut démasquer les deepfakes

Y a-t-il un danger que la nouvelle technologie permette bientôt de faire circuler des vidéos deepfake encore plus réalistes, par exemple pour truquer un discours d’un politicien important ? “Les vidéos Deepfake sont encore loin d’être parfaites”, déclare Bühler. La plupart des programmes informatiques, souligne-t-il, n’obtiennent de bons résultats que pour un cadre particulier. Par exemple, le nouveau modèle de visage ne peut pas encore représenter de manière réaliste des détails tels que les cheveux.

“Quiconque regarde de près trouvera toujours des artefacts”, déclare Bühler. Il pense qu’il est plus important de tenir le public informé et conscient de l’état actuel des choses. Rendre les recherches sur les techniques de rendu 3D, ainsi que leurs vulnérabilités, accessibles au public pourrait aider les experts en cybersécurité à détecter plus facilement les vidéos deepfake sur le Web, ajoute-t-il.

Pour les applications interactives de réalité virtuelle, les travaux de ces chercheurs de l’ETH représentent un progrès énorme. Il est tout à fait possible que des entreprises technologiques comme Facebook et Microsoft implémentent les techniques nouvellement développées par les deux doctorants dans leurs avatars.


Le système de fitness crée des avatars virtuels en 10 minutes


Plus d’information:
Chen X, Zheng Y, Black M, Hilliges O, Geiger A, VariTex : Textures de visage neurales variationnelles. openaccess.thecvf.com/content/ … ICCV_2021_paper.html

Bühler M, Meka A, Li G, Beeler T, Hilliges O, SNARF : Skinning avant différenciable pour l’animation de formes implicites neurales non rigides. openaccess.thecvf.com/content/ … ICCV_2021_paper.html

Citation: Un pas de plus vers des avatars réalistes (2022, 25 janvier) récupéré le 25 janvier 2022 sur https://techxplore.com/news/2022-01-closer-lifelike-avatars.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.