Utiliser des attaques contradictoires pour affiner les prédictions d’énergie moléculaire

Utiliser des attaques contradictoires pour affiner les prédictions d'énergie moléculaire

Les réseaux de neurones (NN) peuvent s’adapter à des fonctions compliquées et contourner une modélisation coûteuse. Cependant, NN a du mal à extrapoler et à donner des prédictions peu fiables pour les entrées loin de leurs données d’entraînement. En quantifiant l’incertitude et grâce à une technique connue sous le nom d’« attaques contradictoires », les NN eux-mêmes peuvent suggérer où rassembler des points d’entraînement supplémentaires qui amélioreront leur fiabilité. Crédits : Aik Rui Tan et Daniel Schwalbe-Koda

Les réseaux de neurones (NN) sont de plus en plus utilisés pour prédire de nouveaux matériaux, la vitesse et le rendement des réactions chimiques et les interactions médicament-cible, entre autres. Pour ces applications, ce sont des ordres de grandeur plus rapides que les méthodes traditionnelles telles que les simulations de mécanique quantique.

Le prix de cette agilité, cependant, est la fiabilité. Étant donné que les modèles d’apprentissage automatique ne font qu’interpoler, ils peuvent échouer lorsqu’ils sont utilisés en dehors du domaine des données d’entraînement.

Mais la partie qui inquiétait Rafael Gómez-Bombarelli, le professeur Jeffrey Cheah en développement de carrière au département de science et génie des matériaux du MIT, et les étudiants diplômés Daniel Schwalbe-Koda et Aik Rui Tan était d’établir les limites de ces modèles d’apprentissage automatique (ML). est fastidieux et laborieux.

Cela est particulièrement vrai pour prédire les « surfaces d’énergie potentielle » (PES), ou la carte de l’énergie d’une molécule dans toutes ses configurations. Ces surfaces encodent les complexités d’une molécule en plaines, vallées, pics, creux et ravins. les configurations stables d’un système se trouvent généralement dans les fosses profondes – des gouffres de mécanique quantique d’où les atomes et les molécules ne s’échappent généralement pas.

Dans un récent Communication Nature article, l’équipe de recherche a présenté un moyen de délimiter la « zone de sécurité » d’un réseau de neurones en utilisant des « attaques contradictoires ». Les attaques adverses ont été étudiées pour d’autres classes de problèmes, comme la classification d’images, mais c’est la première fois qu’elles sont utilisées pour échantillonner des géométries moléculaires dans un PES.

« Les gens utilisent l’incertitude pour l’apprentissage actif depuis des années dans les potentiels ML. La principale différence est qu’ils doivent exécuter la simulation ML complète et évaluer si le NN était fiable, et si ce n’était pas le cas, acquérir plus de données, se recycler et re -simuler. Cela signifie qu’il faut beaucoup de temps pour définir le bon modèle et qu’il faut exécuter la simulation ML plusieurs fois « , explique Gómez-Bombarelli.

Le laboratoire Gómez-Bombarelli du MIT travaille sur une synthèse synergique de la simulation des premiers principes et de l’apprentissage automatique qui accélère considérablement ce processus. Les simulations réelles ne sont exécutées que pour une petite fraction de ces molécules, et toutes ces données sont introduites dans un réseau de neurones qui apprend à prédire les mêmes propriétés pour le reste des molécules. Ils ont démontré avec succès ces méthodes pour une classe croissante de nouveaux matériaux qui comprend des catalyseurs pour la production d’hydrogène à partir d’eau, des électrolytes polymères moins chers pour les véhicules électriques, des zéolites pour le tamisage moléculaire, des matériaux magnétiques, etc.

Le défi, cependant, est que ces réseaux de neurones ne sont aussi intelligents que les données sur lesquelles ils sont formés. Compte tenu de la carte PES, 99 pour cent des données peuvent tomber dans une seule fosse, manquant totalement les vallées qui sont plus intéressantes.

De telles prédictions erronées peuvent avoir des conséquences désastreuses – pensez à une voiture autonome qui ne parvient pas à identifier une personne qui traverse la rue.

Une façon de découvrir l’incertitude d’un modèle consiste à exécuter les mêmes données à travers plusieurs versions de celui-ci.

Utiliser des attaques contradictoires pour affiner les prédictions d'énergie moléculaire

Légende : Dans la procédure d’entraînement contradictoire des chercheurs, les configurations atomiques sont déformées vers une incertitude croissante et une énergie décroissante pour identifier de nouvelles entrées qui sont réalistes, mais difficiles à trouver. Étant donné que l’incertitude est quantifiée comme le désaccord entre les réseaux de neurones indépendants, l’astuce algorithmique utilisée pour former les réseaux de neurones trouve également la direction de l’incertitude maximale. Crédits : Daniel Schwalbe-Koda

Pour ce projet, les chercheurs ont demandé à plusieurs réseaux de neurones de prédire la surface d’énergie potentielle à partir des mêmes données. Lorsque le réseau est assez sûr de la prédiction, la variation entre les sorties des différents réseaux est minime et les surfaces convergent largement. Lorsque le réseau est incertain, les prédictions des différents modèles varient considérablement, produisant une gamme de sorties, dont chacune pourrait être la surface correcte.

La propagation des prédictions d’un « comité de réseaux de neurones » est l' »incertitude » à ce stade. Un bon modèle ne doit pas seulement indiquer la meilleure prédiction, mais aussi indiquer l’incertitude concernant chacune de ces prédictions. C’est comme si le réseau de neurones disait « cette propriété pour le matériau A aura une valeur de X et j’en suis très confiant ».

Cela aurait pu être une solution élégante sans l’ampleur de l’espace combinatoire. « Chaque simulation (qui est l’alimentation au sol pour le réseau de neurones) peut prendre des dizaines à des milliers d’heures CPU », explique Schwalbe-Koda. Pour que les résultats soient significatifs, plusieurs modèles doivent être exécutés sur un nombre suffisant de points dans le PES, un processus extrêmement long.

Au lieu de cela, la nouvelle approche échantillonne uniquement les points de données des régions de faible confiance de prédiction, correspondant à des géométries spécifiques d’une molécule. Ces molécules sont ensuite étirées ou légèrement déformées afin que l’incertitude du comité du réseau neuronal soit maximisée. Des données supplémentaires sont calculées pour ces molécules par le biais de simulations, puis ajoutées au pool d’entraînement initial.

Les réseaux de neurones sont à nouveau entraînés et un nouvel ensemble d’incertitudes est calculé. Ce processus est répété jusqu’à ce que l’incertitude associée à divers points de la surface devienne bien définie et ne puisse plus être diminuée.

Gómez-Bombarelli explique : « Nous aspirons à avoir un modèle parfait dans les régions qui nous intéressent (c’est-à-dire celles que la simulation visitera) sans avoir à exécuter la simulation ML complète, en veillant à ce que nous la rendions très bon dans les régions à forte probabilité où ce n’est pas le cas. »

L’article présente plusieurs exemples de cette approche, notamment la prédiction d’interactions supramoléculaires complexes dans les zéolites. Ces matériaux sont des cristaux caverneux qui agissent comme des tamis moléculaires avec une sélectivité de forme élevée. Ils trouvent des applications dans la catalyse, la séparation de gaz et l’échange d’ions, entre autres.

Étant donné que la réalisation de simulations de grandes structures de zéolite est très coûteuse, les chercheurs montrent comment leur méthode peut permettre des économies significatives dans les simulations informatiques. Ils ont utilisé plus de 15 000 exemples pour entraîner un réseau de neurones à prédire les surfaces énergétiques potentielles de ces systèmes. Malgré le coût élevé requis pour générer l’ensemble de données, les résultats finaux sont médiocres, avec seulement environ 80 % des simulations basées sur le réseau de neurones qui réussissent. Pour améliorer les performances du modèle à l’aide de méthodes d’apprentissage actif traditionnelles, les chercheurs ont calculé 5 000 points de données supplémentaires, ce qui a amélioré les performances des potentiels du réseau neuronal à 92 %.

Cependant, lorsque l’approche contradictoire est utilisée pour recycler les réseaux de neurones, les auteurs ont constaté une augmentation des performances à 97% en utilisant seulement 500 points supplémentaires. C’est un résultat remarquable, disent les chercheurs, d’autant plus que chacun de ces points supplémentaires prend des centaines d’heures CPU.

Cela pourrait être la méthode la plus réaliste pour sonder les limites des modèles que les chercheurs utilisent pour prédire le comportement des matériaux et la progression des réactions chimiques.


Accélérer l’optimisation de la géométrie dans la simulation moléculaire


Plus d’information:
Daniel Schwalbe-Koda et al, Échantillonnage différentiable de géométries moléculaires avec des attaques contradictoires basées sur l’incertitude, Communication Nature (2021). DOI : 10.1038/s41467-021-25342-8

Fourni par le Massachusetts Institute of Technology

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.

Citation: Utilisation d’attaques contradictoires pour affiner les prédictions d’énergie moléculaire (2021, 2 septembre) extrait le 2 septembre 2021 de https://techxplore.com/news/2021-09-adversarial-refine-molecular-energy.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.