Concevoir un « marionnettiste neuronal » pour reconnaître les nœuds squelettiques

Marionnettiste neuronal

Crédit: Vision par ordinateur – ACCV 2022 (2023). DOI : 10.1007/978-3-031-26316-3_15

Imaginez un instant que nous sommes en safari en train de regarder une girafe paître. Après avoir détourné le regard une seconde, on voit alors l’animal baisser la tête et s’asseoir. Mais, on se demande, que s’est-il passé entre-temps ? Des informaticiens du Centre d’étude avancée du comportement collectif de l’Université de Constance ont trouvé un moyen d’encoder la pose et l’apparence d’un animal afin de montrer les mouvements intermédiaires qui sont statistiquement susceptibles d’avoir eu lieu.

L’un des principaux problèmes de la vision par ordinateur est que les images sont incroyablement complexes. Une girafe peut prendre une très large gamme de poses. Lors d’un safari, ce n’est généralement pas un problème de manquer une partie d’une séquence de mouvement, mais, pour l’étude du comportement collectif, cette information peut être critique. C’est là qu’interviennent les informaticiens avec le nouveau modèle “le marionnettiste neuronal”.

Silhouettes prédictives basées sur des points 3D

“Une idée en vision par ordinateur est de décrire l’espace très complexe des images en n’encodant que le moins de paramètres possible”, explique Bastian Goldlücke, professeur de vision par ordinateur à l’Université de Constance. Une représentation fréquemment utilisée jusqu’à présent est le squelette.

Dans un nouvel article publié dans les Actes de la 16e Conférence asiatique sur la vision par ordinateur, Bastian Goldlücke et les doctorants Urs Waldmann et Simon Giebenhain présentent un modèle de réseau neuronal qui permet de représenter des séquences de mouvement et de rendre l’apparence complète des animaux de n’importe quel point de vue. sur quelques points essentiels. La vue 3D est plus malléable et précise que les modèles squelettes existants.

“L’idée était de pouvoir prédire les points clés 3D et aussi de pouvoir les suivre indépendamment de la texture”, explique le doctorant Urs Waldmann. “C’est pourquoi nous avons construit un système d’IA qui prédit les images de silhouette depuis n’importe quelle perspective de caméra en fonction de points clés 3D.”






Crédit : Université de Constance

En inversant le processus, il est également possible de déterminer des points squelettiques à partir d’images de silhouette. Sur la base des points clés, le système d’IA est capable de calculer les étapes intermédiaires qui sont statistiquement probables. L’utilisation de la silhouette individuelle peut être importante. En effet, si vous ne travaillez qu’avec des points squelettiques, vous ne sauriez pas autrement si l’animal que vous regardez est assez massif ou proche de la famine.

Dans le domaine de la biologie notamment, il existe des applications à ce modèle : « Au Pôle d’Excellence ‘Centre for the Advanced Study of Collective Behaviour’, on constate que de nombreuses espèces différentes d’animaux sont traquées et qu’il faut aussi prédire les poses. dans ce contexte », dit Waldmann.

Objectif à long terme : appliquer le système à autant de données que possible sur les animaux sauvages

L’équipe a commencé par prédire les mouvements de la silhouette des humains, des pigeons, des girafes et des vaches. Les humains sont souvent utilisés comme cas de test en informatique, note Waldmann. Ses collègues du Pôle d’Excellence travaillent avec des pigeons. Cependant, leurs fines griffes posent un véritable défi. Il y avait de bonnes données modèles pour les vaches, tandis que le cou extrêmement long de la girafe était un défi que Waldmann était impatient de relever. L’équipe a généré des silhouettes basées sur quelques points clés, de 19 à 33 en tout.

Maintenant, les informaticiens sont prêts pour l’application dans le monde réel : dans le Imaging Hanger de l’Université de Constance, son plus grand laboratoire pour l’étude du comportement collectif, des données seront collectées sur les insectes et les oiseaux à l’avenir. Dans le hangar d’imagerie, il est plus facile de contrôler les aspects environnementaux tels que l’éclairage ou l’arrière-plan que dans la nature. Cependant, l’objectif à long terme est de former le modèle pour autant d’espèces d’animaux sauvages que possible, afin d’acquérir de nouvelles connaissances sur le comportement des animaux.






Crédit : Université de Constance

Plus d’information:
Simon Giebenhain et al, Neural Puppeteer: Rendu neuronal basé sur des points clés de formes dynamiques, Vision par ordinateur—ACCV 2022 (2023). DOI : 10.1007/978-3-031-26316-3_15

Fourni par l’Université de Constance

Citation: Concevoir un « marionnettiste neuronal » pour reconnaître les nœuds squelettiques (8 mars 2023) récupéré le 8 mars 2023 sur https://techxplore.com/news/2023-03-neural-puppeteer-skeletal-nodes.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.

Laisser un commentaire