Est-ce un film d’horreur ou une comédie romantique ? L’IA peut prédire en se basant uniquement sur la musique

Est-ce un film d'horreur ou une comédie romantique ?  L'IA peut prédire en se basant uniquement sur la musique

Fig 1. Le pipeline Score Stamper. Un film est divisé en segments de cinq secondes qui ne se chevauchent pas. Pour chaque segment, Dejavu prédira si une piste de la bande originale du film est en cours de lecture. Les indices, ou exemples d’utilisation d’une chanson dans un film, sont construits en combinant des prédictions de fenêtre. Dans cet exemple, la queue « Cantina Band » dure 15 secondes car elle a été prédite par Dejavu dans deux fenêtres voisines. Crédit : DOI : 10.1371/journal.pone.0249957

La musique est un élément indispensable dans un film : elle crée l’atmosphère et l’ambiance, stimule les réactions émotionnelles du spectateur et influence de manière significative l’interprétation de l’histoire par le public.

Dans un article récent publié dans PLOS UN, une équipe de recherche de l’USC Viterbi School of Engineering, dirigée par le professeur Shrikanth Narayanan, a cherché à examiner objectivement l’effet de la musique sur les genres cinématographiques. Leur étude visait à déterminer si la technologie basée sur l’IA pouvait prédire le genre d’un film en se basant uniquement sur la bande originale.

« En comprenant mieux comment la musique affecte la perception d’un film par le spectateur, nous comprenons comment les créateurs de films peuvent atteindre leur public de manière plus convaincante », a déclaré Narayanan, professeur d’université et titulaire de la chaire Niki et Max Nikias en ingénierie, professeur d’électricité et génie informatique et informatique et directeur du Laboratoire d’analyse et d’interprétation des signaux de l’USC Viterbi (SAIL).

L’idée que différents genres de films sont plus susceptibles d’utiliser certains éléments musicaux dans leur bande originale est plutôt intuitive : une romance légère peut inclure de riches passages de cordes et des mélodies lyriques luxuriantes, tandis qu’un film d’horreur peut plutôt présenter des fréquences troublantes et perçantes et des notes étrangement discordantes. .

Mais alors que des travaux antérieurs indiquent qualitativement que les différents genres de films ont leurs propres ensembles de conventions musicales – des conventions qui font que ce film d’amour sonne différemment de ce film d’horreur – Narayanan et son équipe ont cherché des preuves quantitatives que des éléments de la bande originale d’un film pourraient être utilisés pour caractériser le genre du film.

L’étude de Narayanan et de son équipe a été la première à appliquer des modèles d’apprentissage en profondeur à la musique utilisée dans un film pour voir si un ordinateur pouvait prédire le genre d’un film en se basant uniquement sur la bande originale. Ils ont découvert que ces modèles étaient capables de classer avec précision le genre d’un film à l’aide de l’apprentissage automatique, soutenant l’idée que les caractéristiques musicales peuvent être de puissants indicateurs de la façon dont nous percevons différents films.

Selon Timothy Greer, Ph.D. étudiant à l’USC Viterbi dans le département d’informatique qui a travaillé avec Narayanan sur l’étude, leur travail pourrait avoir des applications précieuses pour les entreprises de médias et les créateurs pour comprendre comment la musique peut améliorer d’autres formes de médias. Cela pourrait permettre aux sociétés de production et aux superviseurs musicaux de mieux comprendre comment créer et placer de la musique à la télévision, au cinéma, dans des publicités et des documentaires afin de susciter certaines émotions chez les téléspectateurs.

En plus de Narayanan et Greer, l’équipe de recherche de l’étude comprenait Dillon Knox, un Ph.D. étudiant au département de génie électrique et informatique, et Benjamin Ma, diplômé de l’USC en 2021 avec un BS en informatique, une maîtrise en informatique et une mineure en production musicale. (Ma a également été nommé l’un des deux boursiers 2021 de l’USC Schwarzman.) L’équipe a travaillé au sein du Center for Computational Media Intelligence, un groupe de recherche de SAIL.

Prédire le genre à partir de la bande-son

Dans leur étude, le groupe a examiné un ensemble de données de 110 films populaires sortis entre 2014 et 2019. Ils ont utilisé la classification des genres répertoriée sur Internet Movie Database (IMDb), pour étiqueter chaque film comme action, comédie, drame, horreur, romance ou science. -fiction, avec de nombreux films couvrant plus d’un de ces genres.

Ensuite, ils ont appliqué un réseau d’apprentissage en profondeur qui a extrait les informations auditives, telles que le timbre, l’harmonie, la mélodie, le rythme et le ton de la musique et de la partition de chaque film. Ce réseau a utilisé l’apprentissage automatique pour analyser ces caractéristiques musicales et s’est avéré capable de classer avec précision le genre de chaque film en se basant uniquement sur ces caractéristiques.

Le groupe a également interprété ces modèles pour déterminer quelles caractéristiques musicales étaient les plus révélatrices des différences entre les genres. Les modèles n’ont pas donné de détails sur les types de notes ou d’instruments associés à chaque genre, mais ils ont pu établir que les caractéristiques tonales et timbrales étaient les plus importantes pour prédire le genre du film.

« Jeter ces bases est vraiment passionnant car nous pouvons désormais être plus précis dans le type de questions que nous voulons poser sur la façon dont la musique est utilisée dans les films », a déclaré Knox. « L’expérience globale du film est très compliquée et être capable d’analyser informatiquement son impact et les choix et les tendances qui entrent dans sa construction est très excitant. »

Directions futures

Narayanan et son équipe ont examiné les informations auditives de chaque film à l’aide d’une technologie connue sous le nom d’empreintes digitales audio, la même technologie qui permet à des services comme Shazam d’identifier des chansons à partir d’une base de données en écoutant des enregistrements, même en présence d’effets sonores ou d’autres bruits de fond. Cette technologie leur a permis de voir où se produisent les signaux musicaux dans un film et pendant combien de temps.

« L’utilisation de l’empreinte audio pour écouter tout l’audio du film nous a permis de surmonter une limitation des études précédentes sur la musique de film, qui ne regardaient généralement que l’intégralité de l’album de la bande originale du film sans savoir si ou quand les chansons de l’album apparaissent dans le film,  » dit Maman. À l’avenir, le groupe souhaite tirer parti de cette capacité pour étudier comment la musique est utilisée à des moments spécifiques d’un film et comment les indices musicaux dictent l’évolution de la narration du film au cours de son déroulement.

« Avec l’accès toujours croissant au cinéma et à la musique, il n’a jamais été aussi crucial d’étudier quantitativement comment ce média nous affecte », a déclaré Greer. « Comprendre comment la musique fonctionne en conjonction avec d’autres formes de médias peut nous aider à concevoir de meilleures expériences de visionnage et à créer un art émouvant et percutant. »


L’outil d’IA caractérise le genre d’une chanson et fournit des informations sur la perception de la musique


Plus d’information:
Benjamin Ma et al, Une lentille computationnelle sur la façon dont la musique caractérise le genre au cinéma, PLOS UN (2021). DOI : 10.1371 / journal.pone.0249957

Fourni par l’Université de Californie du Sud

Citation: Est-ce un film d’horreur ou une comédie romantique ? L’IA peut prédire uniquement sur la base de la musique (2021, 15 septembre) récupérée le 15 septembre 2021 à partir de https://techxplore.com/news/2021-09-horror-rom-com-ai-based-solely.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.