Un réseau d’apprentissage multi-tâches pour reconnaître les numéros sur les maillots des joueurs des équipes sportives

Un réseau d'apprentissage multi-tâches pour reconnaître le numéro sur les maillots des joueurs d'équipes sportives

Figure décrivant le fonctionnement de la technique des chercheurs. L’image d’entrée passe par un réseau Resnet 34 après quoi les 512 caractéristiques dimensionnelles sont extraites de la couche pré-finale. Les 512 caractéristiques dimensionnelles sont transmises à trois couches linéaires distinctes pour obtenir les trois vecteurs de probabilité p et pi :i {1,2} utilisés pour former le réseau. ℒet ℒi:i {1,2} désignent les termes de perte correspondants. Crédit : Vats et al.

Lors de reportages sur des matchs de sport en direct ou à distance, les commentateurs devraient être en mesure de reconnaître rapidement les numéros sur les maillots des joueurs, car cela leur permet de suivre ce qui se passe et de le communiquer à leur public. Cependant, identifier rapidement les joueurs dans les vidéos de sport n’est pas toujours facile, car ces vidéos sont souvent prises à distance pour capturer la progression globale du jeu. Une autre difficulté est le mouvement rapide de la caméra de diffusion qui entraîne souvent un flou de mouvement.

Des chercheurs de l’Université de Waterloo ont récemment mis au point une technique d’apprentissage automatique capable de reconnaître automatiquement les numéros de maillot des joueurs dans des images extraites de vidéos sportives diffusées. Cette technique, présentée dans un article prépublié sur arXiv, pourrait aider à identifier les numéros de maillot des joueurs de l’équipe lors d’événements sportifs plus rapidement et plus efficacement que les autres méthodes de calcul existantes.

« Les réseaux de reconnaissance des numéros de maillot de sport dans la littérature existante considèrent la reconnaissance des numéros de maillot comme un problème de classification et soit (1) considèrent les numéros de maillot comme des classes distinctes (représentation holistique), soit (2) traitent les deux chiffres d’un numéro de maillot comme deux classes indépendantes (représentation numérique) », a déclaré Kanav Vats, l’un des chercheurs qui a mené l’étude Tech Xplore. « Par exemple, le numéro de maillot ’12’ peut être modélisé en considérant ’12’ comme une classe distincte et également en divisant le numéro ’12’ en deux chiffres constitutifs ‘1’ et ‘2’ et en traitant les deux chiffres comme des classes distinctes . »

Des études antérieures ont montré que l’apprentissage de plusieurs représentations de sortie peut améliorer les performances des réseaux de neurones profonds. En d’autres termes, les réseaux de neurones qui sont formés pour se concentrer sur différents aspects de la tâche qu’ils apprennent à accomplir se sont avérés plus performants que ceux qui se concentrent sur les aspects individuels de la tâche.

« L’entrée du réseau fédérateur Resnet34 est une image à un seul joueur », a déclaré Vats. « Le réseau génère trois vecteurs de probabilité. Le premier est la probabilité du numéro de maillot présent dans l’image en considérant chaque numéro de maillot dans l’ensemble de données comme une classe distincte, le second est la distribution de probabilité du premier chiffre du numéro de maillot et le troisième est la probabilité du deuxième chiffre du numéro de maillot. »

Un réseau d'apprentissage multi-tâches pour reconnaître le numéro sur les maillots des joueurs d'équipes sportives

Précision de la validation par rapport au nombre d’itérations pour les paramètres d’apprentissage multi-tâches (MTL), holistiques et de perte numérique. Le paramètre multitâche affiche les meilleures performances parmi les trois paramètres. Crédit : Vats et al.

Les chercheurs ont entraîné leur réseau de neurones avec la somme pondérée de la perte d’entropie croisée des trois sorties sur lesquelles ils se sont concentrés. Lorsqu’ils ont testé leur réseau, ils ont découvert que l’apprentissage des représentations à la fois holistiques (par exemple, « 12 ») et numériques (par exemple, « 1 » et « 2 » dans « 12 ») améliorait considérablement la capacité de leur réseau à reconnaître les numéros de maillot. . En fait, leur approche d’apprentissage multitâche a surpassé les autres techniques qui se concentraient uniquement sur la représentation holistique ou les représentations numériques.

« Lorsque le réseau de fonction de perte multitâche que nous avons proposé a été connecté à un réseau introduit dans une étude précédente, il a montré une amélioration significative des performances », a déclaré Vats. « En particulier, la fonction de perte multitâche est également facile à mettre en œuvre dans une bibliothèque d’apprentissage en profondeur moderne (telle que Pytorch) et peut être utilisée pour la reconnaissance des numéros de maillot dans d’autres sports tels que le football. »

À l’avenir, le réseau de neurones développé par cette équipe de chercheurs pourrait aider à identifier automatiquement plus rapidement et plus efficacement les numéros de maillot dans les vidéos de sport. En outre, Vats et ses collègues ont compilé un nouvel ensemble de données contenant 54 251 images annotées de joueurs de la LNH et de leurs numéros de maillot qui pourraient être utilisées pour entraîner d’autres techniques de reconnaissance des numéros de maillot et des joueurs.

Dans leurs prochaines études, les chercheurs prévoient d’améliorer encore leur numéro de maillot et leur système d’identification des joueurs. Par exemple, ils aimeraient concevoir un réseau de neurones qui tienne également compte de l’emplacement des joueurs de hockey sur glace sur la patinoire lorsqu’ils tentent de déterminer leur identité.

« L’étude actuelle ne prend pas en compte le contexte temporel, donc nos futurs travaux viseront à améliorer l’identification des joueurs en utilisant des données vidéo temporelles pour déduire le numéro de maillot à partir de clips diffusés », a déclaré Vats. « Cela peut être fait via un réseau convolutif temporel qui peut fonctionner directement sur les vidéos. La fonction de perte multitâche proposée sera incorporée dans le réseau temporel. »


Un scientifique développe un algorithme de reconnaissance d’images qui fonctionne 40 % plus rapidement que les analogues


Plus d’information:
Apprentissage multi-tâches pour la reconnaissance des numéros de maillot en hockey sur glace. arXiv : 2108.07848 [cs.CV]. arxiv.org/abs/2108.07848

Informations sur la revue :
arXiv

© 2021 Réseau Science X

Citation: Un réseau d’apprentissage multi-tâches pour reconnaître les numéros sur les maillots des joueurs d’équipes sportives (2021, 13 septembre) récupéré le 13 septembre 2021 sur https://techxplore.com/news/2021-09-multi-task-network-jerseys- equipe-sportive.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.