Un algorithme pour permettre une cinématographie autonome basée sur un drone

CineMPC: un algorithme pour permettre une cinématographie autonome basée sur un drone

CineMPC en action. En haut à gauche: une représentation des instructions d’utilisation. La zone bleue représente la partie de l’image qui doit être floue tandis que la zone rouge représente la partie de l’image qui doit être mise au point. Les lignes jaunes sont les lignes directrices souhaitées de la composition. En haut à droite: la sortie étiquetée auxiliaire représentant les informations de base utilisées par CineMPC. L’image est étiquetée avec les cadres de délimitation obtenus à partir du module de perception et les directives de composition souhaitées. En bas à gauche: le drone de tournage et les cibles d’une vue à la troisième personne. En bas à droite: La sortie de la caméra lorsque vous n’utilisez pas CineMPC pour contrôler les paramètres intrinsèques de la caméra (c’est-à-dire, longueur focale et ouverture constantes et pas de mise au point). Crédit: Pueyo et al.

Les technologies émergentes telles que les algorithmes d’intelligence artificielle (IA), les robots mobiles et les véhicules aériens sans pilote (UAV) pourraient améliorer les pratiques dans divers domaines, y compris la cinématographie. Ces dernières années, de nombreux directeurs de la photographie et sociétés de divertissement ont spécifiquement commencé à explorer l’utilisation des drones pour capturer des séquences vidéo aériennes de haute qualité (c.-à-d. Des vidéos de lieux spécifiques prises d’en haut).

Des chercheurs de l’Université de Saragosse et de l’Université de Stanford ont récemment créé CineMPC, un outil de calcul qui peut être utilisé pour contrôler de manière autonome les caméras vidéo embarquées d’un drone. Cette technique, introduite dans un article pré-publié sur arXiv, pourrait considérablement améliorer les pratiques cinématographiques actuelles basées sur l’utilisation des drones.

« En lisant la littérature existante sur la cinématographie autonome et, en particulier, les drones de tournage autonomes, nous avons remarqué que les solutions existantes se concentrent sur le contrôle des extrinsèques de la caméra (par exemple, la position et les rotations de la caméra) », Pablo Pueyo, l’un des chercheurs qui a réalisé l’étude, a déclaré à TechXplore. « Selon la littérature cinématographique, cependant, l’un des facteurs les plus décisifs qui déterminent une bonne ou une mauvaise séquence est de contrôler les paramètres intrinsèques de l’objectif de la caméra, tels que la distance de mise au point, la distance focale et l’ouverture de mise au point. »

Les paramètres intrinsèques d’une caméra (par exemple, la distance focale, la longueur et l’ouverture) sont ceux qui déterminent quelles parties d’une image sont nettes ou floues, ce qui peut en fin de compte modifier la perception d’un spectateur d’une scène donnée. Le fait de pouvoir modifier ces paramètres permet aux cinéastes de créer des effets spécifiques, par exemple, produire des séquences avec une profondeur de champ variable ou zoomer efficacement sur des parties spécifiques d’une image. L’objectif général des travaux récents de Pueyo et de ses collègues était de parvenir à un contrôle optimal des mouvements d’un drone de manière à produire automatiquement ces types d’effets.






Dans l’une de leurs études précédentes, Pueyo et ses collègues ont développé une approche appelée CinemAirSim. Cette technique leur a permis de simuler des drones avec une caméra cinématographique embarquée qu’ils pouvaient contrôler. En intégrant CinemAirSim à CineMPC, le nouvel algorithme qu’ils ont développé, les chercheurs ont pu simuler les effets que des changements spécifiques des paramètres intrinsèques d’un objectif auraient sur l’ensemble des séquences vidéo collectées par un drone.

« En utilisant le bien connu Model Predictive Control (MPC), une méthode avancée de contrôle de processus, nous optimisons les paramètres extrinsèques et intrinsèques de la caméra du drone pour satisfaire un ensemble de directives artistiques et de composition données par l’utilisateur », a expliqué Pueyo. «MPC trouve les paramètres optimaux pour configurer l’appareil photo, minimisant les fonctions de coût liées aux contraintes de l’utilisateur. Ces fonctions de coût sont des expressions mathématiques qui nous aident à contrôler certains aspects artistiques tels que la profondeur de champ, les plans canoniques décrits par le la littérature, ou la position des éléments de la scène, tels que les acteurs dans une position particulière de l’image résultante (par exemple, satisfaisant la «règle des tiers»). « 

CineMPC peut détecter des objets ou des personnes spécifiques dans une scène et les suivre sur une trajectoire de caméra spécifique spécifiée par un utilisateur. Notamment, cette trajectoire «approximative» comprend également des informations associées liées aux paramètres intrinsèques les plus souhaitables.

« À ce jour, et au meilleur de nos connaissances, il n’y a pas de solutions préalables qui optimisent les paramètres de l’objectif de la caméra pour atteindre les objectifs cinématographiques », a déclaré Pueyo. « C’est très pratique en termes de tournage par drone autonome. Les non-experts et experts en cinématographie peuvent énoncer certaines contraintes cinématographiques que notre solution satisfera en peaufinant les paramètres extrinsèques et intrinsèques de la caméra. »

À l’avenir, le nouvel outil pourrait améliorer la cinématographie basée sur des drones, permettant aux cinéastes de capturer des images de meilleure qualité à partir d’une vue aérienne. Contrairement aux méthodes précédemment développées, en fait, CineMPC permet aux chercheurs d’adapter en permanence les paramètres intrinsèques de la caméra pour atteindre leurs objectifs artistiques.

«Nous prévoyons maintenant d’améliorer CineMPC avec des idées artistiques et robotiques plus sophistiquées», a déclaré Pueyo. «Par exemple, nous aimerions introduire plus de drones de tournage (c’est-à-dire concevoir une approche multi-robot) et optimiser l’intelligence artistique supplémentaire pour que le drone puisse décider de manière autonome les meilleures orientations artistiques, plutôt que de suivre les contraintes introduites par un utilisateur.  »


Drone Sony Airpeak: un petit véhicule aérien sans pilote qui filme des vidéos de film 4K d’en haut


Plus d’information:
CineMPC: Contrôle des intrinsèques et extrinsèques de la caméra pour une cinématographie autonome. arXiv: 2104.03634 [cs.RO]. arxiv.org/abs/2104.03634

© Réseau Science X 2021

Citation: CineMPC: Un algorithme pour activer la cinématographie autonome basée sur des drones (2021, 5 mai) récupéré le 5 mai 2021 sur https://techxplore.com/news/2021-05-cinempc-algorithm-enable-autonomous-drone-based.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.