Un modèle basé sur un réseau neuronal profond pour approximer les opérateurs linéaires et non linéaires

DeepONet: un modèle basé sur un réseau neuronal profond pour approximer les opérateurs linéaires et non linéaires

Crédit: Lu et al.

Les réseaux de neurones artificiels sont connus pour être des approximateurs très efficaces de fonctions continues, qui sont des fonctions sans changement soudain de valeurs (c’est-à-dire, discontinuités, trous ou sauts dans les représentations graphiques). Alors que de nombreuses études ont exploré l’utilisation des réseaux de neurones pour approximer des fonctions continues, leur capacité à se rapprocher des opérateurs non linéaires a rarement été étudiée jusqu’à présent.

Des chercheurs de l’Université Brown ont récemment développé DeepONet, un nouveau modèle basé sur un réseau neuronal qui peut apprendre à la fois les opérateurs linéaires et non linéaires. Ce modèle de calcul, présenté dans un article publié dans Intelligence artificielle de la nature, s’inspire d’une série d’études antérieures menées par un groupe de recherche de l’Université de Fudan.

George Em Karniadakis, l’un des chercheurs qui ont mené l’étude, a déclaré à TechXplore: «Il y a environ cinq ans, alors que j’étais en classe à enseigner le calcul variationnel, je me suis demandé si un réseau de neurones peut se rapprocher d’une fonctionnelle (nous savons qu’il se rapproche d’une fonction J’ai cherché et je n’ai rien trouvé, jusqu’au jour où je suis tombé sur un article de Chen & Chen publié en 1993, où les chercheurs ont réalisé une approximation fonctionnelle en utilisant une seule couche de neurones. Finalement, j’ai aussi lu un autre article de la même équipe sur opérateur de régression, que nous avons utilisé comme point de départ pour notre étude. Depuis, le professeur T Chen m’a contacté par mail et m’a remercié d’avoir découvert ses papiers oubliés.

Inspiré par les articles de Chen et Chen de l’Université de Fudan, Karniadakis a décidé d’explorer la possibilité de développer un réseau de neurones qui pourrait se rapprocher des opérateurs linéaires et non linéaires. Il a discuté de cette idée avec l’un de ses doctorants. étudiants, Lu Lu, qui a commencé à développer DeepONet.

Contrairement aux réseaux de neurones conventionnels, qui s’approchent des fonctions, DeepONet se rapproche à la fois des opérateurs linéaires et non linéaires. Le modèle comprend deux réseaux neuronaux profonds: un réseau qui code l’espace de fonction d’entrée discrète (c’est-à-dire, le réseau de branche) et un qui code le domaine des fonctions de sortie (c’est-à-dire, le réseau interurbain). Essentiellement, DeepONet prend des fonctions comme entrées, qui sont des objets de dimensions infinies, et les mappe à d’autres fonctions dans l’espace de sortie.

DeepONet: un modèle basé sur un réseau neuronal profond pour approximer les opérateurs linéaires et non linéaires

Crédit: Lu et al.

« Avec les réseaux neuronaux standard, nous approchons des fonctions, qui prennent des points de données comme points de données d’entrée et de sortie », a déclaré Karniadakis. « Donc DeepOnet est une toute nouvelle façon de voir les réseaux de neurones, car ses réseaux peuvent représenter tous les opérateurs mathématiques connus, mais aussi des équations différentielles dans un espace de sortie continu. »

Une fois qu’il a appris un opérateur donné, DeepONet peut effectuer des opérations et effectuer des prédictions plus rapidement que les autres réseaux de neurones. Dans une série d’évaluations initiales, Karniadakis et ses collègues ont constaté qu’il pouvait faire des prédictions en fractions de seconde, même celles liées à des systèmes très complexes.

« DeepONet peut être extrêmement utile pour les véhicules autonomes, car il peut faire des prédictions en temps réel », a déclaré Karniadakis. « Il pourrait également être utilisé comme élément de base pour simuler des jumeaux numériques, des systèmes de systèmes et même des systèmes dynamiques sociaux complexes. En d’autres termes, les réseaux que nous avons développés peuvent représenter des systèmes complexes de type boîte noire après une formation intensive hors ligne. »

Dans le cadre de leur étude, les chercheurs ont étudié différentes formulations de l’espace des fonctions d’entrée de DeepONet et évalué l’impact de ces formulations sur l’erreur de généralisation pour 16 applications distinctes. Leurs résultats sont très prometteurs, car leur modèle pourrait implicitement acquérir une variété d’opérateurs linéaires et non linéaires.

À l’avenir, DeepONet pourrait avoir un large éventail d’applications possibles. Par exemple, cela pourrait permettre le développement de robots capables de résoudre des problèmes de calcul ou de résoudre des équations différentielles, ainsi que de véhicules autonomes plus réactifs et sophistiqués.

«Je collabore maintenant avec des laboratoires du ministère de l’Énergie et également avec de nombreuses industries pour appliquer DeepONet à des applications complexes, par exemple dans l’hypersonique, dans la modélisation du climat telles que les applications pour modéliser la fonte des glaces en Antarctique et dans de nombreuses applications de conception.


La recherche montre la nature intrinsèquement non linéaire des champs réceptifs dans la vision


Plus d’information:
Apprentissage des opérateurs non linéaires via DeepONet basé sur le théorème d’approximation universelle des opérateurs. Intelligence artificielle de la nature(2021). DOI: 10.1038 / s42256-021-00302-5.

© Réseau Science X 2021

Citation: DeepONet: A deep neural network-based model to approximate linear and non linear operators (2021, 12 avril) récupéré le 14 avril 2021 sur https://techxplore.com/news/2021-04-deeponet-deep-neural-network-based -approximate.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.