Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots

Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots

Credit: Allshire et al.

L’année dernière, le Max Planck Institute for Intelligent Systems a organisé le Real Robot Challenge, un concours qui a mis au défi les laboratoires universitaires de trouver des solutions au problème du repositionnement et de la réorientation d’un cube à l’aide d’une main robotique à faible coût. Les équipes participant au défi ont été invitées à résoudre une série de problèmes de manipulation d’objets avec différents niveaux de difficulté.

Pour s’attaquer à l’un des problèmes posés par le Real Robot Challenge, des chercheurs du Vector Institute de l’Université de Toronto, de l’ETH Zurich et du MPI Tubingen ont développé un système qui permet aux robots d’acquérir des compétences de manipulation adroites difficiles, transférant efficacement ces compétences des simulations à un vrai robot. Ce système, présenté dans un article prépublié sur arXiv, a obtenu un taux de réussite remarquable de 83 % en permettant au système à distance TriFinger proposé par les organisateurs du défi d’accomplir des tâches difficiles impliquant une manipulation adroite.

« Notre objectif était d’utiliser des méthodes basées sur l’apprentissage pour résoudre le problème introduit dans le Real Robot Challenge de l’année dernière à faible coût », a déclaré à TechXplore Animesh Garg, l’un des chercheurs qui a mené l’étude. « Nous sommes particulièrement inspirés par des travaux antérieurs sur le système Dactyl d’OpenAI, qui ont montré qu’il est possible d’utiliser l’apprentissage par renforcement sans modèle en combinaison avec la randomisation de domaine pour résoudre des tâches de manipulation complexes. »

Essentiellement, Garg et ses collègues voulaient démontrer qu’ils pouvaient résoudre des tâches de manipulation adroites à l’aide d’un système robotique Trifinger, transférant les résultats obtenus dans les simulations dans le monde réel en utilisant moins de ressources que celles utilisées dans les études précédentes. Pour ce faire, ils ont formé un agent d’apprentissage par renforcement en simulations et créé une technique d’apprentissage en profondeur qui peut planifier des actions futures en fonction des observations d’un robot.

Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots

Credit: Allshire et al.

« Le processus que nous avons suivi se compose de quatre étapes principales : configurer l’environnement dans la simulation physique, choisir le bon paramétrage pour une spécification de problème, apprendre une politique robuste et déployer notre approche sur un vrai robot », a expliqué Garg. « Tout d’abord, nous avons créé un environnement de simulation correspondant au scénario du monde réel que nous essayions de résoudre. »

L’environnement simulé a été créé à l’aide du récent Isaac Gym Simulator de NVIDIA. Ce simulateur peut réaliser des simulations très réalistes, en tirant parti de la puissance des GPU NVIDIA. En utilisant la plate-forme Isaac Gym, Garg et ses collègues ont pu réduire considérablement la quantité de calculs nécessaires pour traduire les compétences de manipulation adroites des simulations aux paramètres du monde réel, diminuant les exigences de leur système d’un cluster avec des centaines de CPU et plusieurs GPU à un GPU unique.

« L’apprentissage par renforcement nous oblige à utiliser des représentations de variables dans notre problème appropriées pour résoudre la tâche », a déclaré Garg. « Le défi Real Robot obligeait les concurrents à reposer les cubes à la fois en position et en orientation. Cela a rendu la tâche beaucoup plus difficile que les efforts précédents, car le contrôleur de réseau neuronal appris devait être capable de faire un compromis entre ces deux objectifs. »

Pour résoudre le problème de manipulation d’objets posé par le défi Real Robot, Garg et ses collègues ont décidé d’utiliser la « représentation par points clés », une façon de représenter des objets en se concentrant sur les principaux « points d’intérêt » dans une image. Ce sont des points qui restent inchangés indépendamment de de la taille, de la rotation, des distorsions ou d’autres variations d’une image.

Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots

Credit: Allshire et al.

Dans leur étude, les chercheurs ont utilisé des points clés pour représenter la pose d’un cube que le robot devait manipuler dans les données d’image transmises à leur réseau de neurones. Ils les ont également utilisés pour calculer la fonction dite de récompense, qui peut finalement permettre aux algorithmes d’apprentissage par renforcement d’améliorer leurs performances au fil du temps.

« Enfin, nous avons ajouté des randomisations à l’environnement », a déclaré Garg. « Ceux-ci incluent la randomisation des entrées du réseau, les actions qu’il entreprend, ainsi que divers paramètres d’environnement tels que la friction du cube et l’ajout de forces aléatoires sur celui-ci. Le résultat est de forcer le contrôleur de réseau neuronal à présenter un comportement qui est robuste à une gamme de paramètres environnementaux. »

Les chercheurs ont entraîné leur modèle d’apprentissage par renforcement dans l’environnement simulé qu’ils ont créé à l’aide d’Isaac Gym, au cours d’une journée. En simulation, l’algorithme a été présenté avec 16 000 robots simulés, produisant environ 50 000 pas / seconde de données qui ont ensuite été utilisées pour entraîner le réseau.

« La politique a ensuite été téléchargée sur la ferme de robots, où elle a été déployée sur un robot aléatoire à partir d’un pool de plusieurs robots similaires », a déclaré Garg. « Ici, la politique n’est pas réformée en fonction des paramètres uniques de chaque robot – elle est déjà capable de s’y adapter. Une fois la tâche de manipulation terminée, les données sont téléchargées pour être consultées par les chercheurs. »

Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots

Credit: Allshire et al.

Garg et ses collègues ont finalement pu transférer efficacement les résultats obtenus par leur algorithme d’apprentissage par renforcement en profondeur dans des simulations à de vrais robots, avec une puissance de calcul bien inférieure à celle requise par les autres équipes dans le passé. En outre, ils ont démontré l’intégration efficace d’outils de simulation hautement parallèles avec des méthodes modernes d’apprentissage par renforcement en profondeur pour résoudre efficacement des tâches de manipulation adroites difficiles.

Les chercheurs ont également découvert que l’utilisation de la représentation des points clés entraînait une formation plus rapide et un taux de réussite plus élevé dans les tâches du monde réel. À l’avenir, le cadre qu’ils ont développé pourrait aider à accélérer la recherche sur la manipulation adroite et le transfert sim2real, permettant par exemple aux chercheurs de développer des politiques entièrement en simulation avec des ressources de calcul modérées et de les déployer sur de vrais robots à faible coût.






Credit: Allshire et al.

« Nous espérons maintenant nous appuyer sur notre cadre pour continuer à faire progresser l’état de la manipulation en main pour une manipulation plus générale au-delà du repos en main », a déclaré Garg. « Ce travail jette les bases pour nous permettre d’étudier les concepts de base du langage de la manipulation, en particulier les tâches qui impliquent une saisie directe et une réorientation d’objets allant de l’ouverture de bouteilles d’eau à la saisie de tasses à café. »


Résoudre un Rubik’s Cube avec une main habile


Plus d’information:
Arthur Allshire et al, Transférer une manipulation adroite de la simulation GPU à un tridoigt distant du monde réel. arXiv : 2108.09779v1 [cs.RO], arxiv.org/abs/2108.09779

s2r2-ig.github.io/

© 2021 Réseau Science X

Citation: Un système pour transférer les compétences de manipulation adroite robotique des simulations aux vrais robots (2021, 20 octobre) récupéré le 20 octobre 2021 à partir de https://techxplore.com/news/2021-10-robotic-dexterous-skills-simulations-real.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.