Eve, la “robot scientifique”, découvre que moins d’un tiers des résultats scientifiques sont reproductibles

Eve, la

Le processus global de test de la reproductibilité et de la robustesse de la littérature sur la biologie du cancer par robot. Premièrement, l’exploration de texte est utilisée pour extraire des déclarations sur l’effet des médicaments sur l’expression des gènes dans le cancer du sein. Ensuite, deux équipes différentes ont testé semi-automatiquement ces déclarations en utilisant deux protocoles différents et deux lignées cellulaires différentes (MCF7 et MDA-MB-231) en utilisant le système d’automatisation de laboratoire Eve. Crédit: Journal de l’interface de la société royale (2022). DOI : 10.1098 / rsif.2021.0821

Les chercheurs ont utilisé une combinaison d’analyse de texte automatisée et du “robot scientifique” Eve pour semi-automatiser le processus de reproduction des résultats de la recherche. Le problème du manque de reproductibilité est l’une des plus grandes crises auxquelles la science moderne est confrontée.

Les chercheurs, dirigés par l’Université de Cambridge, ont analysé plus de 12 000 articles de recherche sur la biologie des cellules du cancer du sein. Après avoir réduit l’ensemble à 74 articles de grand intérêt scientifique, moins d’un tiers – 22 articles – se sont révélés reproductibles. Dans deux cas, Eve a pu faire des découvertes fortuites.

Les résultats, rapportés dans le Journal de l’interface de la société royaledémontrent qu’il est possible d’utiliser la robotique et l’intelligence artificielle pour aider à résoudre la crise de reproductibilité.

Une expérience réussie est une expérience où un autre scientifique, dans un laboratoire différent dans des conditions similaires, peut obtenir le même résultat. Mais plus de 70 % des chercheurs ont tenté en vain de reproduire les expériences d’un autre scientifique, et plus de la moitié ont échoué à reproduire certaines de leurs propres expériences : c’est la crise de la reproductibilité.

“Une bonne science repose sur la reproductibilité des résultats ; sinon, les résultats n’ont pratiquement aucun sens”, a déclaré le professeur Ross King du département de génie chimique et de biotechnologie de Cambridge, qui a dirigé la recherche. “C’est particulièrement critique en biomédecine : si je suis un patient et que je lis à propos d’un nouveau traitement potentiel prometteur, mais que les résultats ne sont pas reproductibles, comment suis-je censé savoir quoi croire ? Le résultat pourrait être que les gens perdent confiance en la science.”

Il y a plusieurs années, King a développé le robot scientifique Eve, un système informatique/robotique qui utilise des techniques d’intelligence artificielle (IA) pour réaliser des expériences scientifiques.

“L’un des grands avantages de l’utilisation de machines pour faire de la science est qu’elles sont plus précises et enregistrent les détails plus exactement qu’un humain ne le peut”, a déclaré King. “Cela les rend bien adaptés au travail consistant à tenter de reproduire des résultats scientifiques.”

Dans le cadre d’un projet financé par la DARPA, King et ses collègues du Royaume-Uni, des États-Unis et de Suède ont conçu une expérience qui utilise une combinaison d’IA et de robotique pour aider à résoudre la crise de la reproductibilité, en permettant aux ordinateurs de lire des articles scientifiques et de les comprendre, et amener Eve à tenter de reproduire les expériences.

Pour le document actuel, l’équipe s’est concentrée sur la recherche sur le cancer. “La littérature sur le cancer est énorme, mais personne ne fait jamais la même chose deux fois, ce qui fait de la reproductibilité un énorme problème”, a déclaré King. “Étant donné les énormes sommes d’argent dépensées pour la recherche sur le cancer et le grand nombre de personnes touchées par le cancer dans le monde, c’est un domaine où nous devons de toute urgence améliorer la reproductibilité.”

À partir d’un ensemble initial de plus de 12 000 articles scientifiques publiés, les chercheurs ont utilisé des techniques automatisées d’exploration de texte pour extraire des déclarations liées à une modification de l’expression génique en réponse au traitement médicamenteux du cancer du sein. De cet ensemble, 74 articles ont été sélectionnés.

Deux équipes humaines différentes ont utilisé Eve et deux lignées cellulaires de cancer du sein et ont tenté de reproduire les 74 résultats. Des preuves statistiquement significatives de la répétabilité ont été trouvées pour 43 articles, ce qui signifie que les résultats étaient reproductibles dans des conditions identiques ; et des preuves significatives de reproductibilité ou de robustesse ont été trouvées dans 22 articles, ce qui signifie que les résultats étaient reproductibles par différents scientifiques dans des conditions similaires. Dans deux cas, l’automatisation a fait des découvertes fortuites.

Alors que seulement 22 des 74 articles se sont révélés reproductibles dans cette expérience, les chercheurs affirment que cela ne signifie pas que les articles restants ne sont pas scientifiquement reproductibles ou robustes. “Il existe de nombreuses raisons pour lesquelles un résultat particulier peut ne pas être reproductible dans un autre laboratoire”, a déclaré King. “Par exemple, les lignées cellulaires peuvent parfois changer de comportement dans différents laboratoires et dans différentes conditions. La différence la plus importante que nous ayons constatée est qu’il importe de savoir qui fait l’expérience, car chaque personne est différente.”

King dit que ce travail montre que les techniques automatisées et semi-automatisées pourraient être un outil important pour aider à résoudre la crise de reproductibilité, et que la reproductibilité devrait devenir un élément standard du processus scientifique.

“C’est assez choquant de voir à quel point la reproductibilité est un problème en science, et cela va nécessiter une refonte complète de la façon dont beaucoup de science est faite”, a déclaré King. “Nous pensons que les machines ont un rôle clé à jouer pour aider à le réparer.”


Un nouvel outil s’attaque à la crise de la reproductibilité en science


Plus d’information:
Tester la reproductibilité et la robustesse de la littérature sur la biologie du cancer par robot, Journal de l’interface de la société royale (2022). DOI : 10.1098/rsif.2021.0821. rsif.royalsocietypublishing.or … .1098/rsif.2021.0821

Fourni par l’Université de Cambridge

Citation: ‘Robot scientist’ Eve constate que moins d’un tiers des résultats scientifiques sont reproductibles (2022, 5 avril) récupéré le 5 avril 2022 sur https://techxplore.com/news/2022-04-robot-scientist-eve-one -troisième-scientifique.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.