Une technique d’optimisation basée sur les réseaux de neurones inspirée du principe de recuit

Une technique d'optimisation basée sur les réseaux de neurones inspirée du principe de recuit

Une image illustrant l’utilisation d’un réseau de neurones récurrents (RNN) dans le but de trouver le point le plus bas dans un problème d’optimisation par recuit classique. (a) Initialement à haute température, le RNN chaud (en rouge) explore le paysage, défini par un problème d’optimisation d’intérêt, en effectuant des déplacements plus intelligents dans l’espace des configurations. Après la température de refroidissement pendant le recuit, le RNN froid de la figure (b) indique la configuration d’énergie la plus basse dans le paysage accidenté. Crédit : Hibat-Allah et al.

Les problèmes d’optimisation impliquent l’identification de la meilleure solution possible parmi plusieurs possibilités. Ces problèmes peuvent être rencontrés dans des contextes réels, ainsi que dans la plupart des domaines de recherche scientifique.

Ces dernières années, les informaticiens ont développé des méthodes de calcul de plus en plus avancées pour résoudre les problèmes d’optimisation. Certaines des techniques les plus prometteuses développées jusqu’à présent sont basées sur les réseaux de neurones artificiels (ANN).

Des chercheurs du Vector Institute, de l’Université de Waterloo et du Perimeter Institute for Theoretical Physics au Canada ont récemment développé le recuit neuronal variationnel, une nouvelle méthode d’optimisation qui fusionne les réseaux de neurones récurrents (RNN) avec le principe du recuit. Cette nouvelle technique, présentée dans un article publié dans Nature Machine Intelligence, fonctionne en généralisant la distribution des solutions possibles à un problème donné à l’aide d’un modèle paramétré.

“Le sujet de nos recherches récentes se situe à l’intersection entre l’apprentissage automatique, la physique statistique et la physique quantique”, a déclaré à TechXplore Mohamed Hibat-Allah, l’un des chercheurs qui a mené l’étude. “Plus précisément, il vise à résoudre l’optimisation du monde réel grâce à un nouvel algorithme basé sur la théorie du recuit et des RNN empruntés au domaine du traitement du langage naturel (NLP).”

L’idée de ce récent article est née lors d’une série de conversations entre Hibat-Allah et ses collaborateurs. En fin de compte, les chercheurs ont entrepris de créer un nouvel algorithme qui surpasserait les méthodes d’optimisation existantes basées sur les principes de recuit classique et quantique.

“À l’époque, j’enseignais dans une école de Bogotá avec Juan Carrasquilla et Roger Melko”, a déclaré à TechXplore Estelle M. Inack, une autre chercheuse impliquée dans l’étude. “Au cours d’une de nos conversations, Juan m’a suggéré l’idée d’utiliser le recuit dans un montage variationnel de Monte Carlo. De retour à Waterloo, il m’a mis en contact avec Mohamed, son doctorant à l’époque. C’est comment notre projet a commencé.”

Certains des problèmes d’optimisation les plus difficiles sont connus pour être des problèmes difficiles en temps polynomial (NP) non déterministes. Essentiellement, cela signifie qu’ils sont très complexes et qu’ils ne peuvent pas être résolus à l’aide de méthodes de calcul simples ou que leur résolution nécessiterait d’énormes quantités de temps.

Comme les algorithmes simples ne peuvent pas résoudre efficacement ces problèmes, les chercheurs du monde entier ont essayé de créer des techniques plus efficaces qui pourraient les résoudre dans des délais réalistes. L’approche créée par Hibat-Allah, Inack et leurs collègues est l’un des efforts les plus récents visant à résoudre plus efficacement les problèmes d’optimisation.

“Le cadre que nous avons présenté est basé sur le principe du recuit”, a expliqué Hibat-Allah. “Ce dernier est inspiré du recuit en métallurgie, où l’on peut chauffer un matériau et le laisser refroidir de manière lente pour l’amener à un état d’énergie plus faible qui est plus robuste et plus stable. Ce procédé a inspiré l’invention du recuit simulé , qui vise à trouver des solutions numériques à des problèmes d’optimisation.”

La caractéristique la plus caractéristique de la méthode d’optimisation introduite par ce groupe de recherche est qu’elle fusionne l’efficacité et la puissance de calcul des ANN avec les avantages des techniques de recuit simulé. Plus précisément, Hibat-Allah, Inack et leurs collègues ont utilisé des RNN, une classe d’algorithmes qui s’est avérée particulièrement prometteuse pour les applications NLP. Alors que dans les études de PNL, ces algorithmes sont entraînés à traiter le langage humain, les chercheurs les ont réutilisés et entraînés à résoudre des problèmes d’optimisation.

“En termes simples, si vous considérez un problème d’optimisation comme un paysage accidenté rempli de vallées, la version classique du recuit vise à trouver le point le plus bas du paysage en sautant à travers des barrières à l’aide de fluctuations thermiques”, a déclaré Hibat-Allah. “D’un autre côté, la version quantique du recuit tente de résoudre ce problème en creusant des tunnels à travers les barrières dans l’espoir de trouver des vallées plus profondes.”

En utilisant les RNN, Hibat-Allah, Inack et leurs collègues ont découvert qu’ils étaient capables de résoudre les problèmes d’optimisation plus efficacement. En fait, contrairement aux implémentations numériques plus conventionnelles du recuit, leur méthode basée sur RNN a fait des choix plus intelligents, améliorant l’efficacité des méthodes de recuit classique et quantique.

“Nous avons démontré la capacité de coder le paradigme de recuit avec des réseaux autorégressifs et les performances dérivées par rapport au recuit classique et quantique simulé standard sont la réalisation la plus importante de notre étude”, a déclaré Inack. “Notre travail porte la résolution de problèmes d’optimisation à une nouvelle dimension qui exploite directement les infrastructures utilisées pour former des réseaux de neurones avancés, via une itération rapide en utilisant par exemple TensorFlow ou Pytorch accéléré sur des GPU / TPU.”

Hibat-Allah, Inack et leurs collègues ont évalué leur approche dans une série de tests, comparant ses performances à celles des méthodes d’optimisation de recuit standard basées sur des simulations numériques. Leur cadre a surpassé toutes les techniques auxquelles ils l’ont comparé sur différents problèmes d’optimisation prototypiques. À l’avenir, l’algorithme introduit par cette équipe de chercheurs pourrait être appliqué à de nombreux problèmes d’optimisation du monde réel, aidant les spécialistes de divers domaines à résoudre ces problèmes plus efficacement.

“Notre article récent a abouti à un dépôt de brevet”, a déclaré Inack. « Mon plan est d’utiliser le cadre que nous avons développé dans ma nouvelle startup, yiyaniQ, pour obtenir des calculs de prix dérivés plus rapides et plus précis. »

Dans leurs prochaines études, les chercheurs prévoient de tester les performances de leur algorithme sur des problèmes plus réalistes, tout en le comparant à celui d’autres techniques d’optimisation de pointe. De plus, ils espèrent développer davantage leur technique, en substituant certains de ses composants ou en en intégrant d’autres.

“Il serait également intéressant d’améliorer notre méthode en utilisant des architectures de réseaux de neurones plus avancées ou en choisissant différents schémas de refroidissement lors du recuit”, a ajouté Hibat-Allah. “Nous ne savons pas encore quelle amélioration nous pouvons obtenir, mais nous pouvons apprendre beaucoup grâce à ces enquêtes et potentiellement trouver un meilleur algorithme qui peut améliorer les solutions actuelles aux problèmes d’optimisation.”


Une nouvelle approche « quantique » aide à résoudre un vieux problème de la science des matériaux


Plus d’information:
Mohamed Hibat-Allah et al, Recuit neuronal variationnel, Nature Machine Intelligence (2021). DOI : 10.1038 / s42256-021-00401-3

© 2021 Réseau Science X

Citation: Une technique d’optimisation basée sur un réseau de neurones inspirée du principe de recuit (2021, 11 novembre) récupérée le 11 novembre 2021 sur https://techxplore.com/news/2021-11-neural-network-based-optimization-technique-principle .html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.