une méthode pour augmenter les données d’événements asynchrones

EventDrop : une méthode pour augmenter les données d'événements asynchrones

Un exemple d’événements augmentés avec EventDrop. Pour une meilleure visualisation, la représentation du cadre d’événement est utilisée pour visualiser le résultat des événements augmentés. Crédit : Gu et al.

Les capteurs d’événements, tels que les caméras d’événements DVS et les capteurs tactiles NeuTouch, sont des dispositifs bio-inspirés sophistiqués qui imitent les mécanismes de communication déclenchés par les événements se produisant naturellement dans le cerveau. Contrairement aux capteurs conventionnels, tels que les caméras RVB, qui sont conçus pour capturer de manière synchrone une scène à un taux fixe, les capteurs d’événements peuvent capturer des changements (c’est-à-dire des événements) se produisant dans une scène de manière asynchrone.

Par exemple, les caméras DVS peuvent capturer les changements de luminosité au fil du temps pour des pixels individuels, plutôt que de collecter des images d’intensité, comme le feraient les caméras RVB classiques. Les capteurs d’événements présentent de nombreux avantages par rapport aux technologies de détection conventionnelles, notamment une plage dynamique plus élevée, une résolution temporelle plus élevée, une latence temporelle plus faible et une efficacité énergétique plus élevée.

En raison de leurs nombreux avantages, ces capteurs bio-inspirés sont devenus l’objet de nombreuses études de recherche, y compris des études visant à former des algorithmes d’apprentissage en profondeur pour analyser des données d’événements. Bien que de nombreuses méthodes d’apprentissage en profondeur se soient avérées performantes sur des tâches impliquant l’analyse de données d’événements, leurs performances peuvent diminuer considérablement lorsqu’elles sont appliquées à de nouvelles données (c’est-à-dire pas aux données sur lesquelles elles ont été initialement formées), un problème connu sous le nom de surapprentissage.

Des chercheurs de l’Université de Chongqing, de l’Université nationale de Singapour, du Centre aérospatial allemand et de l’Université Tsinghua ont récemment créé EventDrop, une nouvelle méthode pour augmenter les données d’événements asynchrones et limiter les effets néfastes du surapprentissage. Cette méthode, introduite dans un article prépublié sur arXiv et qui sera présentée à la Conférence internationale conjointe sur l’intelligence artificielle 2021 (IJCAI-21) en juillet, pourrait améliorer la généralisation des modèles d’apprentissage en profondeur entraînés sur des données d’événements.

« Un problème difficile dans l’apprentissage en profondeur est le surapprentissage, ce qui signifie qu’un modèle peut présenter d’excellentes performances sur les données d’entraînement, tout en dégradant considérablement les performances lorsqu’il est validé par rapport à des données nouvelles et inédites », a déclaré Fuqiang Gu, l’un des chercheurs qui ont développé EventDrop. TechXplore. « Une solution simple au problème de surapprentissage consiste à augmenter considérablement la quantité de données étiquetées, ce qui est théoriquement faisable, mais peut être d’un coût prohibitif dans la pratique. Le problème de surapprentissage est plus grave dans l’apprentissage avec des données d’événement car les ensembles de données d’événement restent petits par rapport à ensembles de données conventionnels (par exemple, ImageNet). »

L’augmentation des données est connue pour être une technique efficace pour générer des données artificielles et améliorer la capacité des modèles d’apprentissage en profondeur à bien se généraliser lorsqu’ils sont appliqués à de nouveaux ensembles de données. Des exemples de techniques d’augmentation pour les données d’image comprennent la translation, la rotation, le retournement, le recadrage, le cisaillement et la modification du contraste/de la netteté.

EventDrop : une méthode pour augmenter les données d'événements asynchrones

Stratégies utilisées par EventDrop, où t indique la dimension temporelle, x désigne la coordonnée du pixel (une seule dimension est montrée ici pour plus de clarté). Les points noirs représentent les événements originaux et les points bleus sont les événements à supprimer. Les lignes pointillées rouges représentent les frontières de seuil. (a) Événements originaux déclenchés de manière asynchrone. (b) Stratégie de chute aléatoire. (c) Stratégie de baisse par le temps. (d) Stratégie de largage par zone. Crédit : Gu et al.

Les données d’événement diffèrent considérablement des données de type cadre (par exemple, des images statiques). Par conséquent, les techniques d’augmentation développées pour les données de type trame ne peuvent généralement pas être utilisées pour augmenter également les données d’événements asynchrones. Dans cet esprit, Gu et ses collègues ont créé EventDrop, une nouvelle technique spécialement conçue pour augmenter les données d’événements asynchrones.

« Notre travail a été motivé par deux observations », a déclaré Gu. « La première est que la sortie des caméras événementielles pour la même scène dans les mêmes conditions d’éclairage peut varier considérablement au fil du temps. Cela peut être dû au fait que les caméras événementielles sont en quelque sorte bruyantes, et les événements sont généralement déclenchés lorsque le changement sur la scène atteint ou dépasse un seuil. En supprimant aléatoirement une proportion d’événements, il est possible d’améliorer la diversité des données d’événements et donc d’augmenter les performances des applications en aval.

La deuxième observation qui a inspiré le développement d’EventDrop est que lors de l’exécution de certaines tâches sur des données réelles, telles que la reconnaissance et le suivi d’objets, les scènes des images traitées par des algorithmes d’apprentissage en profondeur peuvent être partiellement occluses. Par conséquent, la capacité des algorithmes d’apprentissage automatique à bien se généraliser sur différentes données dépend fortement de la diversité des données sur lesquelles ils sont entraînés en termes d’occlusion.

En d’autres termes, les données d’apprentissage devraient idéalement contenir des images avec divers degrés d’occlusion. Malheureusement, cependant, la plupart des ensembles de données d’entraînement disponibles ont une variance limitée en termes d’occlusion.

« Un modèle d’apprentissage automatique formé sur les données avec une variance d’occlusion limitée ou inexistante (totalement visible) peut mal se généraliser sur de nouveaux échantillons partiellement occlus », a expliqué Gu. « En générant de nouveaux échantillons qui simulent des cas partiellement occlus, le modèle est capable de mieux reconnaître les objets avec une occlusion partielle. »

EventDrop fonctionne en « supprimant » les événements sélectionnés avec diverses stratégies pour augmenter la diversité des données d’entraînement (par exemple, en simulant différents niveaux d’occlusion). Pour « abandonner » des événements, il utilise trois stratégies, appelées goutte aléatoire, goutte par temps et goutte par zone. La première stratégie prépare le modèle pour les données d’événements bruyants, tandis que les deux autres stratégies simulent l’occlusion dans les images.

EventDrop : une méthode pour augmenter les données d'événements asynchrones

Cadre général pour la conversion d’événements en représentations d’événements populaires. Les événements asynchrones originaux peuvent être transformés en données de type trame par quantification ou apprentissage (par exemple, réseaux de neurones). Crédit : Gu et al.

« L’objectif de base de la chute aléatoire est de supprimer au hasard une proportion d’événements dans la séquence, pour surmonter le bruit provenant des capteurs d’événements », a déclaré Gu. « Le drop by time consiste à supprimer les événements déclenchés au cours d’une période de temps aléatoire, en essayant d’augmenter la diversité des données d’entraînement, en stimulant le cas où les objets sont partiellement occlus pendant une certaine période. Enfin, le drop by area supprime les événements déclenchés au hasard dans un délai zone de pixels sélectionnée, tout en essayant également d’améliorer la diversité des données en simulant divers cas dans lesquels certaines parties des objets sont partiellement occluses. »

La technique est facile à mettre en œuvre et à faible coût de calcul. De plus, il ne nécessite aucun apprentissage de paramètres, il peut donc être appliqué à diverses tâches impliquant l’analyse de données d’événements.

« Au meilleur de notre connaissance, EventDrop est la première méthode qui augmente les données d’événements asynchrones en supprimant des événements », a déclaré Gu. « Il peut fonctionner avec des données d’événement et traite à la fois le bruit du capteur et l’occlusion. En supprimant les événements sélectionnés avec diverses stratégies, il peut augmenter la diversité des données d’entraînement (par exemple, pour simuler différents niveaux d’occlusion). »

EventDrop peut améliorer considérablement la généralisation des algorithmes d’apprentissage en profondeur sur différents ensembles de données d’événements. En outre, il peut améliorer l’apprentissage basé sur les événements dans les réseaux de neurones profonds (DNN) et les réseaux de neurones à pics (SNN).

Les chercheurs ont évalué EventDrop dans une série d’expériences utilisant deux ensembles de données d’événements différents, appelés N-Caltech101 et N-Cars. Ils ont découvert qu’en supprimant des événements, leur méthode pouvait améliorer considérablement la précision de différents réseaux de neurones profonds sur les tâches de classification d’objets, pour les deux ensembles de données qu’ils utilisaient.

« Alors que dans notre article, nous avons montré l’application de notre approche pour l’apprentissage basé sur les événements avec des réseaux profonds, elle peut également être appliquée à l’apprentissage avec les SNN », a déclaré Gu. « Dans nos futurs travaux, nous appliquerons notre approche à d’autres tâches d’apprentissage basées sur des événements pour améliorer la robustesse et la fiabilité, telles que l’odométrie inertielle visuelle, la reconnaissance de lieux, l’estimation de la pose, l’estimation du flux de trafic et la localisation et la cartographie simultanées. »


L’apprentissage en profondeur avec SPECT prédit avec précision les événements cardiaques indésirables majeurs


Plus d’information:
EventDrop : augmentation des données pour l’apprentissage basé sur les événements. arXiv:2106.05836 [cs.LG]. arxiv.org/abs/2106.05836

© 2021 Réseau Science X

Citation: EventDrop : une méthode pour augmenter les données d’événements asynchrones (2021, 6 juillet) récupérée le 6 juillet 2021 à partir de https://techxplore.com/news/2021-07-eventdrop-method-augment-asynchronous-event.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.