Un nouvel outil de workflow s’attaque aux obstacles de modélisation de la gestion des données, des scénarios et de la collaboration

flux de travail

Crédit : Pixabay/CC0 domaine public

Le contrôle de grandes quantités de données, l’exécution d’une multitude de scénarios et le partage d’informations entre un certain nombre de modélisateurs sont des défis courants dans les efforts de modélisation, quel que soit le domaine, qu’il s’agisse de systèmes énergétiques, de conception de processus ou de modélisation épidémique. Même lors de l’utilisation d’outils de modélisation de pointe, les problèmes de pré- et post-traitement, de partage et de maintenance de différentes versions de données peuvent réduire l’efficacité et altérer la qualité des projets. Outil de gestion de flux de travail open source Spine Toolbox développé dans le cadre d’un projet européen de quatre ans axé sur la gestion de données complexes, la facilité de création de scénarios ainsi que l’exécution à distance et la division du travail au sein d’une équipe de modélisation. Cela permet de l’utiliser dans de nombreux domaines même si les mêmes données doivent être introduites dans plusieurs modèles dans le même workflow.

Facilité de création de scénarios et de workflows complexes pour une meilleure prise de décision

Lorsque des modèles sont utilisés pour évaluer les options futures et pour comprendre des systèmes complexes dans n’importe quel domaine, la prise en compte des incertitudes est souvent un facteur clé pour une modélisation fiable et reproductible. Alors que les outils de workflow génériques conventionnels peuvent être puissants pour exécuter des chaînes d’outils, des capacités de gestion de données supplémentaires peuvent être importantes : d’une part, la prise en charge de la création et de la comparaison de scénarios et, d’autre part, la prise en charge de la gestion non seulement des données, mais également des structures de données arbitraires.

Pour le travail de scénario, la capacité de gérer des valeurs alternatives pour les paramètres de données, de les utiliser pour construire des scénarios et de les comparer systématiquement peut améliorer le processus de modélisation et la gestion des sensibilités dans les données d’entrée. Pour les workflows complexes avec plusieurs modèles qui utilisent partiellement les mêmes données, les données doivent être converties dans des formats et des structures spécifiques au modèle. Cela peut être mieux facilité si les données incluent des informations structurelles telles que les relations entre les entités et les classes qui catégorisent les entités. Spine Toolbox stocke les données en SQL avec une structure de type graphique qui permet de stocker et de modifier non seulement les données, mais également les relations au sein des données.

La collaboration de workflow nécessite une exécution à distance, une facilité d’utilisation et une flexibilité

Un troisième point de départ dans le développement de Toolbox était la facilité de collaboration. Spine Toolbox dispose d’interfaces graphiques pour gérer et éditer les données, éditer le flux de travail et pour importer et exporter des données tabulées. Tout workflow particulier peut être un projet local, mais il peut également être partagé via un référentiel git partagé. Les workflows locaux peuvent également inclure des éléments partagés, comme des bases de données ou des outils de git-repositories. Cela permet une division flexible du travail au sein des équipes de modélisation. Les flux de travail ou des parties de flux de travail peuvent être exécutés localement ou à l’aide d’un serveur distant doté de meilleures capacités de calcul. La parallélisation peut également accélérer le processus de modélisation et Toolbox le prend en charge non seulement pour tous les outils, mais également pour tous les scénarios et les analyses de sensibilité.

Des outils avancés offrent le prototypage rapide de nouveaux modèles et la liaison avec des projets commerciaux

Alors que les flux de travail et les données peuvent être modifiés par les utilisateurs réguliers, Spine Toolbox propose des fonctionnalités supplémentaires sous le capot pour les utilisateurs orientés développement. Il est écrit en Python pour permettre une intégration facile des outils basés sur Python qui sont répandus dans la communauté des chercheurs. De plus, le package SpineInterface permet de créer et de tester rapidement de nouveaux modèles d’optimisation à l’aide de Toolbox et de Julia/JuMP. Toutes les données et structures de données des bases de données Spine peuvent être directement utilisées lors de l’écriture d’équations pour les modèles d’optimisation. Spine Toolbox est entièrement open source et est également disponible pour une utilisation commerciale et une liaison avec des modèles commerciaux. Bien que l’outil soit récemment publié et en constante évolution, il manque de nombreuses capacités de traitement de données spécifiques présentes dans les outils plus matures. Cependant, les workflows de Spine Toolbox peuvent incorporer d’autres outils de traitement de données disponibles dans la communauté open source.

Une gestion efficace des flux de travail fait perdre du temps à court terme et le sauve à long terme

Les développeurs de Spine Toolbox comprennent des modélisateurs de systèmes énergétiques expérimentés, qui ont construit leurs propres systèmes de gestion de flux de travail ou des projets spécifiques et ont utilisé des outils existants. Ils ont une expérience directe de ce qui peut mal tourner dans des projets complexes avec de nombreux collaborateurs, perdant du temps sur des parties non essentielles du projet. En tant que ressources pour concevoir et mettre en œuvre un outil de workflow pour la gestion des données et des scénarios pariés, ils ont entrepris de développer un outil que les chercheurs, les ingénieurs et les chefs de projet pourraient passer quelques semaines à déployer, et l’économiser plusieurs fois dans les années à venir sans avoir à passer du temps avec une gestion imprécise des données.


Un nouvel outil change la donne pour la modélisation de matériaux hétérogènes


Plus d’information:
En savoir plus sur les fonctionnalités, l’installation et les propriétés techniques du modèle : github.com/Spine-project

Fourni par le Centre de recherche technique VTT de Finlande

Citation: Un nouvel outil de workflow s’attaque aux obstacles de modélisation de la gestion des données, des scénarios et de la collaboration (2021, 10 décembre) récupéré le 10 décembre 2021 à partir de https://techxplore.com/news/2021-12-workflow-tool-tackles-hurdles-scenario.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.