Un nouveau cadre qui pourrait simplifier l’apprentissage par imitation en robotique

Un nouveau cadre qui pourrait simplifier l'apprentissage par imitation en robotique

Figure montrant les deux « moitiés » de la méthode des chercheurs, avec l’apprentissage de la représentation à gauche et l’imitation du comportement par les plus proches voisins à droite. Crédit : Pari et al.

Au cours des dernières décennies, les informaticiens ont essayé de former des robots pour s’attaquer à une variété de tâches, y compris les tâches ménagères et les processus de fabrication. L’apprentissage par imitation est l’une des stratégies les plus connues pour entraîner des robots à des tâches manuelles.

Comme son nom l’indique, l’apprentissage par imitation consiste à enseigner à un robot comment faire quelque chose à l’aide de démonstrations humaines. Bien que dans certaines études, cette stratégie d’entraînement ait obtenu des résultats très prometteurs, elle nécessite souvent des ensembles de données volumineux et annotés contenant des centaines de vidéos où des humains accomplissent une tâche donnée.

Des chercheurs de l’Université de New York ont ​​​​récemment développé VINN, un cadre d’apprentissage par imitation alternatif qui ne nécessite pas nécessairement de grands ensembles de données de formation. Cette nouvelle approche, présentée dans un article pré-publié sur arXiv, fonctionne en découplant deux aspects différents de l’apprentissage par imitation, à savoir l’apprentissage des représentations visuelles d’une tâche et des actions associées.

“J’étais intéressé de voir comment nous pouvons simplifier l’apprentissage par imitation”, a déclaré Jyo Pari, l’un des chercheurs qui a mené l’étude, à TechXplore. “L’apprentissage par imitation nécessite deux composants fondamentaux : l’un consiste à apprendre ce qui est pertinent dans votre scène et l’autre à savoir comment vous pouvez utiliser les fonctionnalités pertinentes pour effectuer une tâche. Nous voulions découpler ces composants, qui sont traditionnellement couplés en un seul système, et comprendre le rôle et l’importance de chacun d’eux.

La plupart des méthodes d’apprentissage par imitation existantes combinent l’apprentissage de la représentation et du comportement en un seul système. La nouvelle technique créée par Pari et ses collègues, quant à elle, se concentre sur l’apprentissage de la représentation, le processus par lequel les agents d’IA et les robots apprennent à identifier les caractéristiques pertinentes pour une tâche dans une scène.

“Nous avons utilisé des méthodes existantes dans l’apprentissage de représentation auto-supervisé qui est un domaine populaire dans la communauté de la vision”, a expliqué Pari. “Ces méthodes peuvent prendre une collection d’images sans étiquettes et extraire les caractéristiques pertinentes. L’application de ces méthodes à l’imitation est efficace car nous pouvons identifier quelle image dans l’ensemble de données de démonstration est la plus similaire à celle que le robot voit actuellement grâce à une simple recherche du plus proche voisin sur les représentations. Par conséquent, nous pouvons simplement faire en sorte que le robot copie les actions à partir d’images de démonstration similaires.

En utilisant la nouvelle stratégie d’apprentissage par imitation qu’ils ont développée, Pari et ses collègues ont pu améliorer les performances des modèles d’imitation visuelle dans des environnements simulés. Ils ont également testé leur approche sur un vrai robot, lui apprenant efficacement à ouvrir une porte en regardant des images de démonstration similaires.

“Je pense que notre travail est une base pour les travaux futurs qui peuvent utiliser l’apprentissage par représentation pour améliorer les modèles d’apprentissage par imitation”, a déclaré Pari. “Cependant, même si nos méthodes étaient capables de mener une simple tâche de plus proche voisin, elles présentent encore quelques inconvénients.”

À l’avenir, le nouveau cadre pourrait contribuer à simplifier les processus d’apprentissage par imitation en robotique, en facilitant leur mise en œuvre à grande échelle. Jusqu’à présent, Pari et ses collègues n’utilisaient leur stratégie que pour former des robots à des tâches simples. Dans leurs prochaines études, ils envisagent ainsi d’explorer des stratégies possibles qui leur permettraient de l’implémenter sur des tâches plus complexes.

“Comprendre comment utiliser la robustesse du voisin le plus proche sur des tâches plus complexes avec la capacité des modèles paramétriques est une direction intéressante”, a ajouté Pari. “Nous travaillons actuellement à l’extension de VINN pour pouvoir non seulement effectuer une tâche, mais plusieurs tâches différentes.”


Une approche d’apprentissage par imitation pour former des robots sans avoir besoin de véritables démonstrations humaines


Plus d’information:
Jyothish Pari, Nur Muhammad Shafiullah, Sridhar Pandian Arunachalam, Lerrel Pinto, L’efficacité surprenante de l’apprentissage de la représentation pour l’imitation visuelle. arXiv:2112.01511v2 [cs.RO], arxiv.org/abs/2112.01511

© 2022 Réseau Science X

Citation: Un nouveau cadre qui pourrait simplifier l’apprentissage par imitation en robotique (14 janvier 2022) récupéré le 14 janvier 2022 sur https://techxplore.com/news/2022-01-framework-imitation-robotics.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.