Un nouveau jeu de données pour une meilleure réalité augmentée et mixte

Un nouveau jeu de données pour une meilleure réalité augmentée et mixte

OpenRooms crée des scènes synthétiques photoréalistes à partir d’images d’entrée ou de numérisations, avec un contrôle sans précédent sur la forme, les matériaux et l’éclairage. Crédit : Université de Californie – San Diego

Les informaticiens de l’Université de Californie à San Diego ont publié OpenRooms, un nouvel ensemble de données open source avec des outils qui aideront les utilisateurs à manipuler des objets, des matériaux, des éclairages et d’autres propriétés dans des scènes 3D intérieures pour faire progresser la réalité augmentée et la robotique.

“Ce fut un effort énorme, impliquant 11 étudiants en doctorat et en master de mon groupe et des collaborateurs de l’UC San Diego et d’Adobe”, a déclaré Manmohan Chandraker, professeur au département d’informatique et d’ingénierie de l’UC San Diego. “C’est un développement important, avec un grand potentiel d’impact à la fois sur les universités et l’industrie dans les domaines de la vision par ordinateur, des graphiques, de la robotique et de l’apprentissage automatique.”

L’ensemble de données OpenRooms et les mises à jour associées sont accessibles au public sur ce site Web, avec des détails techniques décrits dans un document associé présenté au CVPR 2021 en mai.

Applications

OpenRooms permet aux utilisateurs d’ajuster de manière réaliste les scènes à leur convenance. Si une famille souhaite visualiser une rénovation de cuisine, elle peut changer les matériaux du plan de travail, l’éclairage ou à peu près n’importe quoi dans la pièce.

“Avec OpenRooms, nous pouvons calculer toutes les connaissances sur les formes 3D, les matériaux et l’éclairage de la scène par pixel”, a déclaré Chandraker. “Les gens peuvent prendre une photo d’une pièce et insérer et manipuler des objets virtuels. Ils pourraient regarder une chaise en cuir, puis changer le matériau en une chaise en tissu et voir laquelle est la meilleure.”

OpenRooms peut même montrer à quoi pourrait ressembler cette chaise le jour sous la lumière naturelle d’une fenêtre ou sous une lampe la nuit. Cela peut également aider à résoudre des problèmes de robotique, tels que le meilleur itinéraire pour prendre en charge des sols avec des profils de friction variables. Ces capacités suscitent beaucoup d’intérêt dans la communauté de la simulation car, auparavant, les données étaient propriétaires ou n’étaient pas disponibles avec un photoréalisme comparable.

“Ces outils sont désormais disponibles de manière véritablement démocratique”, a déclaré Chandraker, “fournissant des ressources accessibles pour les applications de réalité augmentée photoréalistes et de robotique”.

Rendre la réalité augmentée plus réelle

L’équipe de Chandraker utilise des méthodes informatiques pour donner un sens au monde visuel. Ils se concentrent particulièrement sur la façon dont les formes, les matériaux et l’éclairage interagissent pour former des images.

“Nous voulons essentiellement comprendre comment le monde est créé et comment nous pouvons agir en conséquence”, a-t-il déclaré. “Nous pouvons insérer des objets dans des scènes existantes ou faire progresser la conduite autonome, mais pour faire ces choses, nous devons comprendre divers aspects d’une scène et comment ils interagissent les uns avec les autres.”

Cette compréhension profonde est essentielle pour atteindre le photoréalisme en réalité mixte. L’insertion d’un objet dans une scène nécessite un raisonnement sur l’ombrage de diverses sources lumineuses, les ombres projetées par d’autres objets ou les inter-réflexions de la scène environnante. Le cadre doit également gérer des interactions à longue portée similaires entre des parties éloignées de la scène pour modifier les matériaux ou l’éclairage dans des scènes d’intérieur complexes.

Hollywood résout ces problèmes avec des plates-formes basées sur des mesures, telles que le tournage de l’acteur Andy Serkis à l’intérieur d’un portique et la conversion de ces images en Gollum dans la trilogie du Seigneur des Anneaux. Le laboratoire souhaite obtenir des effets similaires sans systèmes coûteux.

Boîte à outils open source

Pour y arriver, le groupe devait trouver des façons créatives de représenter les formes, les matériaux et l’éclairage. Mais l’acquisition de ces informations peut prendre du temps, être gourmande en données et coûteuse, en particulier lorsqu’il s’agit de scènes d’intérieur complexes comportant des meubles et des murs de formes et de matériaux différents et éclairés par plusieurs sources lumineuses, telles que des fenêtres, des plafonniers ou des lampes.

“Il faudrait mesurer l’éclairage et les propriétés des matériaux à chaque point de la pièce”, a déclaré Chandraker. “C’est faisable, mais cela n’évolue tout simplement pas.”

OpenRooms utilise des données synthétiques pour restituer ces images, ce qui constitue un moyen précis et peu coûteux de fournir une géométrie, des matériaux et un éclairage de vérité terrain. Les données peuvent être utilisées pour former de puissants réseaux de neurones profonds qui estiment ces propriétés dans des images réelles, permettant l’insertion d’objets photoréalistes et l’édition de matériaux.

Ces possibilités ont été démontrées dans une présentation orale CVPR 2020 par Zhengqin Li, doctorant en cinquième année. étudiant conseillé par Chandraker, et premier auteur de l’article OpenRooms. Le logiciel fournit des outils automatisés qui permettent aux utilisateurs de prendre de vraies images et de les convertir en contreparties synthétiques photoréalistes.

“Nous créons un cadre où les utilisateurs peuvent utiliser leurs téléphones portables ou scanners 3D pour développer des ensembles de données qui permettent leurs propres applications de réalité augmentée”, a déclaré Chandraker. “Ils peuvent simplement utiliser des scans ou des séries de photographies.”

Chandraker et son équipe étaient motivés, en partie, par la nécessité de créer une plate-forme du domaine public. Les grandes entreprises technologiques disposent d’énormes ressources pour créer des données de formation et d’autres IP, ce qui rend difficile l’implantation des petits acteurs.

Cela a été récemment illustré lorsqu’une société lituanienne, appelée Planner 5D, a poursuivi Facebook et Princeton, affirmant qu’ils utilisaient illégalement ses données propriétaires.

“Vous pouvez imaginer que de telles données sont vraiment utiles pour de nombreuses applications”, a déclaré Chandraker. “Mais les progrès dans cet espace ont été limités à quelques grands acteurs qui ont la capacité de faire ce genre de mesures complexes ou de travailler avec des actifs coûteux créés par des artistes.”


Une nouvelle approche d’apprentissage automatique redonne vie aux photos numériques


Plus d’information:
Zhengqin Li et al, OpenRooms : un cadre ouvert de bout en bout pour les ensembles de données de scènes d’intérieur photoréalistes, arXiv:2007.12868v2 [cs.CV] arxiv.org/abs/2007.12868

Fourni par l’Université de Californie – San Diego

Citation: Un nouvel ensemble de données pour une meilleure réalité augmentée et mixte (2021, 10 septembre) récupéré le 10 septembre 2021 sur https://techxplore.com/news/2021-09-dataset-augmented-reality.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.