Technique pour découvrir automatiquement les configurations de simulation pour les comportements difficiles à tester

Technique pour découvrir automatiquement les configurations de simulation pour les comportements difficiles à tester

L’équipe de recherche du National Institute of Informatics a développé une technique pour rechercher automatiquement des configurations de simulation qui testent divers comportements de systèmes de conduite automatisés. Cette recherche a été menée dans le cadre du projet ERATO-MMSD. La technique proposée itère des essais sur des simulations à l’aide d’une méthode d’optimisation appelée calcul évolutif afin de découvrir des configurations de simulation qui conduisent à des caractéristiques spécifiques des comportements de conduite telles que des accélérations, des décélérations et des opérations de direction élevées. Cette recherche a été présentée dans ICST 2021. Crédit: © National Institute of Informatics

Une équipe de recherche dirigée par Fuyuki Ishikawa au National Institute of Informatics (NII, Japon) a développé une technique pour rechercher automatiquement des configurations de simulation qui testent divers comportements de systèmes de conduite automatisés. Cette recherche a été menée dans le cadre du projet ERATO-MMSD financé par l’Agence japonaise pour la science et la technologie (JST, Japon). La technique proposée itère des essais sur des simulations à l’aide d’une méthode d’optimisation appelée calcul évolutif afin de découvrir des configurations de simulation qui conduisent à des caractéristiques spécifiques des comportements de conduite telles que des accélérations, des décélérations et des opérations de direction élevées. Les résultats de cette recherche ont été présentés à ICST 2021, une conférence phare sur les tests de logiciels qui s’est tenue du 12 au 16 avril 2021.

Arrière-plan

Une plus grande attention est portée aux systèmes de conduite automatisés (ADS) ou aux systèmes avancés d’aide à la conduite. De nouveaux modèles de voitures avec le niveau 3 de conduite autonome font leur apparition, ceux qui ne nécessitent pas de conducteur humain pour superviser l’opération de conduite dans certaines conditions. Cependant, la fonctionnalité ADS mise en pratique est limitée à des situations spécifiques telles que les embouteillages sur les autoroutes ou les itinéraires fixes. Des augmentations de la sécurité et de la fiabilité sont nécessaires pour l’utilisation de l’ADS dans des environnements avec d’énormes situations telles que les zones urbaines.

L’une des fonctions clés de l’ADS est la planification des trajets, qui met à jour en permanence la direction et la vitesse en examinant l’environnement environnant, y compris les autres voitures et les piétons. La fonctionnalité de planification de trajectoire doit gérer non seulement la sécurité, mais également plusieurs aspects tels que l’étendue de l’accélération / décélération, le fonctionnement de la direction et la conformité de la voie.

Les tests basés sur la simulation sont couramment utilisés pour ADS. Une approche typique est que les testeurs humains énumèrent des scénarios. Un exemple est « la voiture de l’ego va prendre un virage à droite, mais une voiture s’approche de la direction opposée. » Cependant, le comportement de l’ADS peut différer dans le même scénario de virage à droite, par exemple, soit prendre un virage sans avoir besoin de freiner, soit décélérer et attendre longtemps avant de prendre le virage. Il est essentiel de vérifier les différents comportements que l’ADS peut adopter avant de l’utiliser dans la société. Cependant, il est peu probable que des comportements spécifiques tels qu’une longue décélération se produisent lorsque les chercheurs exécutent de nombreuses simulations sous des configurations avec différentes positions d’autres voitures, etc. De plus, l’ADS a des comportements spécifiques plus possibles, par exemple, des occurrences simultanées de forte accélération et de grandes quantités d’opération de direction. Configurer des simulations pour provoquer intentionnellement de tels comportements spécifiques est très difficile.

Dans cette recherche, les chercheurs ont proposé une technique de génération de tests qui recherche automatiquement des configurations de simulation conduisant à des caractéristiques spécifiques des comportements de conduite telles que des accélérations et des décélérations élevées et des opérations de direction élevées. Ils ont utilisé une technique d’optimisation appelée calcul évolutif, qui répète les essais de simulation pour ajuster les configurations afin que les comportements de conduite spécifiés durent longtemps. De cette manière, la technique permet de découvrir des configurations de simulation, telles que les positions d’autres voitures, conduisant aux caractéristiques souhaitées des comportements de conduite.

La technique proposée évite également de générer uniquement des configurations de simulation qui ne conduisent qu’à des situations dangereuses telles que des collisions. Par conséquent, il révèle des caractéristiques des comportements de conduite qui ne se limitent pas aux situations d’urgence. De plus, il peut rechercher et déclencher des combinaisons de comportements tels que des occurrences simultanées d’accélération élevée et de grandes quantités d’opérations de direction.

Nous avons appliqué et évalué la technique de génération de tests à un programme de planification de trajectoire proposé par Mazda. La technique pourrait générer des comportements spécifiques qui étaient rarement provoqués dans des simulations aléatoires. Par exemple, il a généré une forte accélération ainsi que des opérations de direction élevées ainsi qu’une forte accélération après une forte décélération dans un scénario pour un virage à droite à une intersection. Ces cas se sont produits uniquement avec des horaires très précis d’autres voitures entrant dans l’intersection. De cette manière, les chercheurs ont montré que la technique peut déclencher intentionnellement des combinaisons de comportements spécifiques en utilisant des configurations de simulation qui sont très difficiles à concevoir pour les ingénieurs humains.

Perspectives d’avenir

Cette recherche a été menée dans le cadre du projet JST ERATO-MMSD. Dans le cadre du projet, les chercheurs ont étudié d’autres techniques pour découvrir des scénarios de simulation qui conduisent à des accidents, des techniques qui expliquent les causes des accidents et des techniques qui corrigent les comportements pour éviter les accidents détectés. Cette fois, la recherche visait à accroître la confiance dans la sécurité du système en vérifiant diverses situations, en plus des techniques de détection et de correction des comportements problématiques. Ainsi, les chercheurs ont établi une approche globale pour tester l’ADS avec à la fois des tests de détection de problèmes et des tests de vérification de divers cas, qui ont été réalisés pour des logiciels conventionnels.

La fin de 2020 a présenté un concours pour les outils de génération de tests sur les systèmes avancés d’assistance à la conduite (ADAS) (en conjonction avec l’atelier SBST qui se tiendra en mai 2021). Le projet ERATO-MMSD a soumis un outil appelé Frenetic au concours. Frenetic a obtenu des résultats significatifs en termes de taux de cas de défaillance générés et de leur diversité. Cela vient exactement de l’expérience de recherche susmentionnée.

Les scientifiques ont fourni des techniques de test complètes pour l’ADS. Bien qu’ils aient utilisé le programme fourni par Mazda dans les évaluations, les techniques sont génériques et peuvent être adaptées aux demandes spécifiques de chaque constructeur automobile. Par exemple, ils peuvent adapter les techniques au cadre émergent appelé sécurité sensible à la responsabilité proposé par Intel et Mobileye. Ils s’efforceront de rendre les techniques disponibles en les adaptant aux normes internationales émergentes, ainsi qu’aux demandes de chaque constructeur automobile.

Commentaire de Fuyuki Ishikawa

«Nous avons mené des recherches actives sur le composant de planification de trajectoire en collaboration avec Mazda. Nous avons mis en place un ensemble holistique de techniques de test et de débogage, y compris celle mentionnée ci-dessus, en adaptant des techniques au code de programme conventionnel. La clé de ces techniques est de rechercher pour des solutions telles que les tests souhaitables et les actions correctives souhaitables. Nous étendrons et validerons empiriquement les techniques en fonction des normes émergentes ainsi que des différentes demandes dans chaque application ADS.  »


LUCIDGames: une technique pour planifier des trajectoires adaptatives pour les véhicules autonomes


Plus d’information:
Paolo Arcaini et coll. Targeting Patterns of Driving Characteristics in Testing Autonomous Driving Systems, IEEE International Conference on Software Testing, Verification and Validation (ICST 2021 Industry Track)

Fourni par l’organisation de recherche de l’information et des systèmes

Citation: Technique pour découvrir automatiquement les configurations de simulation pour les comportements difficiles à tester (2021, 3 mai) récupérée le 3 mai 2021 sur https://techxplore.com/news/2021-05-technique-automatically-simulation-configurations-behaviors.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.