Un algorithme Q-learning pour générer des plans pour les robots marcheurs dans les simulations de football

Un algorithme Q-learning pour générer des plans pour les robots marcheurs dans les simulations de football

Crédit : CM, Unsplash

La RoboCup, initialement nommée J-League, est une compétition annuelle de robotique et d’intelligence artificielle (IA) organisée par la Fédération internationale de RoboCup. Pendant RoboCup, les robots rivalisent avec d’autres tournois de football de robots.

L’idée du concours est née en 1992, lorsque le professeur Alan Mackworth de l’Université de la Colombie-Britannique au Canada a écrit un article intitulé « On Seeing Robots ». En 1993, une équipe de recherche au Japon s’est inspirée de cet article pour organiser la première compétition de football robotique.

Bien que RoboCup puisse être très divertissant, son objectif principal est de présenter les progrès de la robotique et de l’IA dans un environnement réel. Les systèmes robotiques participant au concours sont le résultat d’efforts de recherche intensifs menés par de nombreux chercheurs du monde entier.

En plus de la compétition dans le monde réel, les informaticiens et les roboticiens peuvent tester leurs outils de calcul pour le football robotique à la ligue de simulation de football RoboCup 3D. Il s’agit essentiellement d’une plate-forme qui reproduit l’environnement RoboCup en simulation, servant de “salle de sport” virtuelle pour les techniques d’IA et les systèmes robotiques conçus pour jouer au football.

Des chercheurs de l’Institut de technologie de Yantai en Chine et de l’Université de Rahjuyan Danesh Borazjan en Iran ont récemment développé une nouvelle technique qui pourrait améliorer la capacité des robots participant à des matchs de football à tirer le ballon en marchant. Cette technique, présentée dans un article publié dans Springer Link’s Journal de l’intelligence ambiante et de l’informatique humanisée, est basé sur une approche informatique connue sous le nom d’algorithme Q-learning.

“L’un des objectifs les plus importants des équipes participant à la ligue RoboCup3D est la capacité d’augmenter le nombre de coups”, ont écrit Yun Lin, Yibin Song et Amin Rezaeipanah, les trois chercheurs qui ont développé la technique, dans leur article. “La raison de cette importance est que la supériorité sur l’adversaire nécessite un tir puissant et précis.”

La plupart des techniques pour générer des plans en simulation sont basées sur deux approches appelées cinématique inverse (IK) et analyse ponctuelle. Ce sont des méthodes mathématiques qui peuvent être utilisées à la fois pour créer des animations informatiques et en robotique pour prédire les paramètres articulaires nécessaires à un robot pour atteindre une position donnée ou accomplir une action.

“L’hypothèse de ces méthodes est que les positions du robot et de la balle sont fixes”, ont expliqué les chercheurs dans leur article. “Cependant, ce n’est pas toujours le cas pour le tir.”

Pour surmonter les limitations des méthodes proposées précédemment, Lin et ses collègues ont créé une nouvelle stratégie de tir basée sur un algorithme d’apprentissage Q, qui peut améliorer la capacité des robots à tirer le ballon tout en marchant. Les algorithmes d’apprentissage Q sont des approches de calcul sans modèle basées sur l’apprentissage par renforcement. Ces algorithmes sont particulièrement utiles dans les cas où les agents tentent d’apprendre à naviguer de manière optimale dans leur environnement ou à effectuer des actions complexes.

“Une trajectoire incurvée est conçue pour déplacer le robot vers la balle, afin qu’il ait finalement une position optimale pour tirer”, ont écrit les chercheurs dans leur article. “En général, le précepteur de vision dans RoboCup3D a du bruit. Par conséquent, les paramètres de mouvement du robot tels que la vitesse et l’angle sont ajustés plus précisément par l’algorithme Q-learning. Enfin, lorsque le robot est dans la position optimale par rapport au ballon et au but , le module IK est appliqué à la stratégie de tir.”

Lin, Song et Rezaeipanah ont évalué leur algorithme d’apprentissage Q dans une série d’expériences et de simulations. Remarquablement, ils ont découvert que cela permettait aux robots de tirer le ballon tout en marchant bien mieux que les robots de la plupart des équipes participant à la ligue RoboCupSoccer et à la ligue iranienne RoboCup3D. À terme, il pourrait ainsi améliorer considérablement les performances des robots lors des matchs de football RoboCup.


Un algorithme de recherche heuristique pour planifier des attaques dans le football robotique


Plus d’information:
Génération d’un tir sur la marche pour la ligue 3D de simulation de football en utilisant l’algorithme Q-learning. Journal de l’intelligence ambiante et de l’informatique humanisée(2021). DOI : 10.1007/s12652-021-03551-9

© 2021 Réseau Science X

Citation: Un algorithme Q-learning pour générer des plans pour les robots marcheurs dans les simulations de football (2021, 25 novembre) récupéré le 25 novembre 2021 à partir de https://techxplore.com/news/2021-11-q-learning-algorithm-shots-robots- football.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.