Un système d’interaction homme-essaim pour l’exploration de l’environnement et la peinture artistique

DronePaint : Un système d'interaction homme-essaim pour l'exploration de l'environnement et la peinture artistique

Peinture en lumière longue exposition du logo « Siggraph » par drone. Crédit : Serpiva et al.

Des chercheurs de l’Institut des sciences et technologies de Skolkovo (Skoltech) en Russie ont récemment développé un système innovant pour les interactions homme-essaim qui permet aux utilisateurs de contrôler directement les mouvements d’une équipe de drones dans des environnements complexes. Ce système, présenté dans un article prépublié sur arXiv, repose sur une interface qui reconnaît les gestes humains et adapte les trajectoires des drones en conséquence.

Les quadricoptères, des drones à quatre rotors capables de voler pendant de longues périodes, pourraient avoir de nombreuses applications intéressantes. Par exemple, ils pourraient être utilisés pour capturer des images ou des vidéos dans des environnements naturels ou éloignés, peuvent faciliter les missions de recherche et de sauvetage et aider à livrer des marchandises à des emplacements spécifiques.

Jusqu’à présent, cependant, les drones ont rarement été déployés pour ces applications et ont plutôt été principalement utilisés à des fins de divertissement. L’une des raisons en est que les missions complexes dans des environnements inconnus nécessitent que les utilisateurs utilisant les drones aient une compréhension de base des algorithmes et des interfaces sophistiqués.

« Par exemple, imaginez-vous en tant que membre d’une équipe de secours explorant un bâtiment après une catastrophe naturelle cruciale », a déclaré à TechXplore Valerii Serpiva, l’un des chercheurs de Skoltech qui a mené l’étude. « Lorsque vous arrivez sur place, vous ne connaissez pas son état actuel, son plan d’étage, etc., donc si vous prévoyez d’utiliser des drones avec des lampes de poche et des caméras à bord, vous devez soit vous asseoir et les programmer longtemps, soit les faire fonctionner manuellement, en ne comptant que sur votre propre dextérité. »

Les défis associés au fonctionnement des drones dans des environnements inconnus ont jusqu’à présent considérablement limité leur applicabilité. Les chercheurs ont donc entrepris de créer un système qui pourrait simplifier le fonctionnement des drones pour le compte d’utilisateurs experts et non experts.






« Un autre bon exemple de la façon dont les drones pourraient être utilisés est l’industrie de l’art, où les spectacles de lumière à base de drones et la peinture de graffitis sont récemment devenus très populaires », a déclaré Serpiva. « En mars de cette année, par exemple, la société GENESIS a déployé 3281 drones clignotants dans le ciel nocturne, battant le précédent record du monde. Quoi de plus intéressant que de rendre interactif un spectacle aussi incroyable, offrant aux spectateurs la possibilité de changer le vol d’essaim en vrai -temps? »

L’objectif principal de ces travaux récents était de fournir aux opérateurs de drones une interface plus simple et plus intuitive pour contrôler des essaims de robots à grande échelle dans des environnements connus et inconnus. Le système créé par l’équipe, baptisé DronePaint, pourrait également être utilisé pour réaliser de belles expositions d’art ou produire des peintures artistiques à l’aide de drones.

« Notre travail a été inspiré par plusieurs systèmes précédemment développés qui intégraient des drones dans l’art, comme DroneGraffiti et BitDrones », a déclaré Serpiva. « DronePaint, cependant, introduit une nouvelle approche pour générer des trajectoires d’essaim, avec une idée simple derrière elle : l’un des moyens les plus intuitifs de transmettre le chemin souhaité à l’essaim pourrait simplement être de le dessiner dans les airs, de la même manière que nous dessinons un chemin dans les énigmes du labyrinthe. »

Le système d’interaction homme-drone développé par les chercheurs comporte trois modules principaux, tous basés sur des réseaux de neurones profonds (DNN). Ces modules sont : une interface homme-essaim, un module de traitement de trajectoire et un module de contrôle d’essaim.

« Lorsqu’un humain veut déployer l’essaim et lui donner la commande suivante, il se positionne devant la caméra, pointant un index vers le haut : pour DronePaint, il signale qu’il est temps d’enregistrer la trajectoire de l’essaim. » expliqua Serpiva. « Dans notre travail, nous avons conçu une interface de dessin de trajectoire basée sur le MediaPipe Deep Neural Network, développé par l’équipe Google et formé sur notre ensemble de données. »

DronePaint : Un système d'interaction homme-essaim pour l'exploration de l'environnement et la peinture artistique

L’utilisateur contrôle la formation d’essaim via l’interface DronePaint. Crédit : Serpiva et al.

L’interface de dessin de trajectoire DronePaint permet aux utilisateurs de générer une trajectoire d’entrée pour l’essaim de drones. Un opérateur peut également observer en temps réel la trajectoire résultant de son dessin et l’effacer s’il repère une erreur.

Les dessins bruts produits par les utilisateurs ne peuvent pas être appliqués d’emblée aux drones, car les trajectoires proposées doivent d’abord être corrigées par le module de traitement de trajectoire. Après avoir filtré et interpolé une trajectoire tracée, ce module la divise en segments égaux adaptés aux robots et envoie les données qu’il a dérivées au module de contrôle du drone.

« Chaque drone porte un anneau LED à bord avec un ruban rétroréfléchissant visant à la luminosité de l’image, répétant la figure dessinée à la main à plus grande échelle. Pour expérimenter le motif lumineux dans les airs, nous utilisons le mode vidéo time-lapse pour enregistrer la trajectoire lumineuse continue au milieu l’air », a déclaré Serpiva. « Lors du développement de DronePaint, nous nous sommes concentrés sur l’idée de base du système de contrôle multimode, nous permettant d’ajuster plusieurs paramètres d’essaim avec un nombre limité de gestes de la main. »

Le module de contrôle de drone du système utilise les données qu’il a reçues du module de traitement de trajectoire pour générer les commandes de drone nécessaires pour effectuer une trajectoire donnée. De plus, il garantit que ces commandes se traduisent par un vol d’essaim robuste avec peu de retards.

« L’idée derrière nos recherches était de rendre la navigation de l’essaim pour l’opérateur aussi simple que possible », explique Dzmitry Tsetserukou, professeur, Ph.D., responsable du laboratoire de robotique spatiale intelligente à Skoltech. « La question raisonnable est de savoir pourquoi ne pas utiliser la reconnaissance vocale. Le problème est que les drones génèrent un bruit fort qui nuit à la perception de la voix. Les gestes semblaient être l’outil universel d’interaction de l’humain avec l’essaim de drones. utiliser des gestes pour signaler des choses et communiquer entre eux. »

DronePaint : Un système d'interaction homme-essaim pour l'exploration de l'environnement et la peinture artistique

Peinture à la lumière à longue exposition de « SK » (Skoltech Institute of Science and Technologies). Crédit: Serpiva et al.

L’interface de contrôle d’essaim introduite par cette équipe de chercheurs de Skoltech est parmi les premiers systèmes qui permettent aux utilisateurs de faire fonctionner des drones et de générer des trajectoires pour eux simplement en dessinant des chemins avec leurs mains. Cela pourrait grandement simplifier le fonctionnement des drones et permettre aux artistes, aux équipes de recherche et de sauvetage ou à d’autres utilisateurs non experts d’utiliser plus facilement des drones dans leur travail.

« Lors de la conception d’un spectacle de lumière artistique, par exemple, l’opérateur peut également passer du tracé du tracé à la correction de forme et ajuster la taille ou la forme de l’essaim, de la même manière que nous ajustons le pinceau dans une application graphique », a déclaré Serpiva. « Les scénarios d’interaction proposés dans notre article (par exemple, la peinture artistique et l’exploration de l’environnement) pourraient certainement bénéficier des avantages du contrôle gestuel séquentiel pour préserver le contrôle de la formation tout en effectuant le dessin intuitif des trajectoires d’essaim, inapplicable par téléopération directe. »

Le système DronePaint est facilement accessible et utilisé par les utilisateurs du monde entier, car il est disponible sous forme de boîte à outils logicielle et ne nécessite pas l’utilisation d’appareils portables ou d’autres systèmes. Dans une série de tests initiaux, Serpiva, Tsetserukou et leurs collègues ont découvert qu’il pouvait reconnaître les gestes avec une grande précision (99,75 %) et pouvait produire avec succès divers comportements d’essaim.

« Il existe diverses manières d’élargir la recherche et de continuer à améliorer la technologie DronePaint », a déclaré Serpiva. « Concentrons-nous cependant sur certains points clés. Tout d’abord, nous essaierons de résoudre les limitations que la version actuelle du système pourrait avoir dans différentes conditions d’éclairage, telles qu’un faible taux de détection des mains ou la latence dans la reconnaissance des formes. Plus tard dans le futur, nous prévoient d’appliquer un contrôle gestuel sur tout le corps pour augmenter la variété des commandes, en gardant le processus de contrôle naturel et intuitif pour l’utilisateur. »

Serpiva, Tsetserukou et leurs collègues prévoient désormais d’augmenter le nombre de drones que les utilisateurs pourront faire fonctionner à l’aide du système. À terme, cela pourrait débloquer de nouvelles fonctionnalités, permettant par exemple aux utilisateurs de dessiner ou de construire des structures de drones dans des environnements 3D en utilisant la même interface de contrôle gestuel.

Les chercheurs ont jusqu’à présent évité l’intégration de dispositifs portables pour un retour tactile, tels que des gants, car cela contredirait l’idée de base de la technologie qu’ils ont développée. Ils essaient ainsi actuellement de concevoir des stratégies pour améliorer la perception par les utilisateurs de l’espace et des distances contrôlés qui n’impliquent pas d’appareils externes encombrants.

« À l’avenir, nous prévoyons également de concevoir des systèmes pour lire les gestes de la main imaginés à partir du cortex pariétal postérieur (PPC), en utilisant l’IMC », a déclaré Tsetserukou. « Avec le décodage DNN des modèles d’activité neuronale, nous pouvons potentiellement non seulement guider l’essaim dans une certaine direction, mais aussi diviser la formation de l’essaim en morceaux ou décider du drone principal afin que d’autres le suivront. Comportement dynamique (vitesse, accélération, secousse) de chaque agent peut être lié au niveau d’anxiété/de calme de l’opérateur pour obtenir des trajectoires de drones fluides. »


Aider les essaims de drones à éviter les obstacles sans se heurter


Plus d’information:
Valerii Serpiva, DronePaint : peinture à la lumière en essaim avec reconnaissance des gestes basée sur DNN (2021). arXiv : 2107.11288v1 [cs.RO], arxiv.org/abs/2107.11288

© 2021 Réseau Science X

Citation: DronePaint : Un système d’interaction homme-essaim pour l’exploration de l’environnement et la peinture artistique (2021, 23 septembre) récupéré le 23 septembre 2021 sur https://techxplore.com/news/2021-09-dronepaint-human-swarm-interaction-environment- exploration.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.