Un nouveau modèle qui génère automatiquement des bandes-annonces de films

Un nouveau modèle qui génère automatiquement des bandes-annonces de films

Aperçu de l’architecture créée par les chercheurs. Deux réseaux traitent différentes vues du film avec différents degrés de granularité. Le réseau vidéo prend en entrée des représentations multimodales à grain fin basées sur le flux vidéo du film. Le réseau basé sur le scénario traite des représentations textuelles de scènes qui sont à gros grains et basées sur le scénario du film. Les réseaux sont entraînés conjointement sur l’identification des TP avec des pertes imposant la cohérence de prédiction et de représentation entre eux. Crédit : Papalampidi, Keller & Lapata.

Les bandes-annonces, de courts clips vidéo présentant de nouveaux films, sont souvent des éléments cruciaux des stratégies promotionnelles employées par les sociétés de production cinématographique. Pour être plus efficaces, les bandes-annonces doivent résumer brièvement l’intrigue d’un film, en véhiculant son style artistique et son humeur générale de manière attrayante.

Jusqu’à présent, les bandes-annonces de films ont été principalement créées par des humains. Récemment, cependant, certains informaticiens ont commencé à explorer la possibilité que ces clips promotionnels puissent également être générés automatiquement par des machines.

Des chercheurs de l’Université d’Édimbourg ont développé un modèle basé sur un réseau de neurones artificiels qui peut générer automatiquement des bandes-annonces de films. Ce modèle, présenté dans un article pré-publié sur arXiv, est basé sur un algorithme d’apprentissage automatique non supervisé et basé sur des graphes.

Pour aborder au mieux la tâche de génération automatique de bandes-annonces de film, les chercheurs l’ont décomposé en deux sous-tâches, à savoir l’identification de la structure narrative du film et la prédiction du sentiment (c’est-à-dire l’humeur et le sentiment) véhiculé par celui-ci. La technique qu’ils ont créée traite donc à la fois les parties du film (c’est-à-dire les vidéos) et les extraits de texte du scénario d’un film.

“Nous modélisons les films sous forme de graphiques, où les nœuds sont des plans et les bords dénotent des relations sémantiques entre eux”, ont écrit Pinelopi Papalamidi, Frank Keller et Mirella Lapata, les trois chercheurs qui ont mené l’étude. “Nous apprenons ces relations à l’aide d’un entraînement contrastif conjoint, qui exploite des informations textuelles privilégiées (par exemple, des personnages, des actions, des situations), à partir de scénarios. Un algorithme non supervisé parcourt ensuite le graphique et génère des bandes-annonces.”

Essentiellement, la méthode de génération de bande-annonce de film qu’ils ont créée est composée de deux réseaux de neurones. Tandis que l’un de ces réseaux traite des représentations de plans multimodales dérivées du flux vidéo du film, l’autre analyse des représentations textuelles de scènes basées sur le scénario du film.

Combinés, les deux réseaux de neurones peuvent identifier les points tournants du film, qui sont des parties du film particulièrement saillantes et qui devraient figurer dans les bandes-annonces. Les tournants dans les films incluent généralement une opportunité, un changement de plan, le point de non-retour, un revers majeur et un point culminant.

Papalampidi, Keller et Lapata ont évalué leur technique de génération de bandes-annonces de films dans une série de tests. Remarquablement, ils ont découvert qu’il pouvait identifier les points tournants dans les films avec une précision nettement supérieure à celle des autres méthodes de base pour la génération de bandes-annonces de films.

De plus, les chercheurs ont utilisé leur modèle pour créer des bandes-annonces pour 41 films différents. Ils ont ensuite comparé la qualité des bandes-annonces produites à celle des bandes-annonces générées par des techniques entraînées avec un apprentissage supervisé en demandant à des téléspectateurs humains recrutés sur Amazon Mechanical Turk (AMT) lesquelles ils préféraient. Fait intéressant, la plupart des répondants ont préféré les bandes-annonces créées par leur technique à celles produites par des modèles supervisés.

Bien que le modèle créé par Papalampidi, Keller et Lapata ne crée peut-être pas encore de bandes-annonces parfaites, il pourrait éventuellement être utilisé par les sociétés de production cinématographique pour faciliter et accélérer la production de bandes-annonces. Pendant ce temps, l’équipe prévoit de continuer à travailler sur sa technique, afin d’améliorer encore la qualité des remorques qu’elle produit.

“À l’avenir, nous aimerions nous concentrer sur des méthodes de prédiction des émotions à grain fin (par exemple, le chagrin, le dégoût, la terreur, la joie) dans les films”, ont ajouté les chercheurs dans leur article. “Dans ce travail, nous considérons le sentiment positif/négatif comme un substitut aux émotions, en raison de l’absence d’ensembles de données étiquetés dans le domaine. Les pistes pour les travaux futurs incluent de nouveaux ensembles de données d’émotion pour les films, ainsi que des modèles de détection d’émotion basés sur des et des indices audiovisuels.”


Enquêter sur les meilleures fonctionnalités pour prédire le genre d’un film et son budget estimé


Plus d’information:
Pinelopi Papalampidi, Frank Keller, Mirella Lapata, Génération de bande-annonce de film via la décomposition de tâches. arXiv : 2111.08774v1 [cs.CV], arxiv.org/abs/2111.08774

© 2021 Réseau Science X

Citation: Un nouveau modèle qui génère automatiquement des bandes-annonces de films (2021, 29 novembre) récupéré le 29 novembre 2021 sur https://techxplore.com/news/2021-11-automatically-movie-trailers.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.