Un système qui peut générer des paroles pour la musique instrumentale en direct

LyricJam : Un système qui peut générer des paroles pour la musique instrumentale en direct

Présentation du modèle LyricJam. À l’étape 1, les chercheurs ont entraîné un auto-encodeur variationnel (VAE) à spectrogramme pour apprendre les représentations audio. Dans l’étape 2, ils ont formé une VAE conditionnelle (CVAE) pour apprendre les représentations des paroles conditionnées sur leurs clips audio correspondants. Enfin, à l’étape 3, un modèle d’alignement basé sur un réseau accusatoire génératif (GAN) a été formé pour aligner les paroles et les représentations audio. Au moment de l’inférence, un clip audio musical enregistré en temps réel est converti en un spectrogramme, que le modèle utilise pour générer de nouvelles paroles correspondant à la musique. Crédit : Vechtomova, Sahu & Kumar.

Au cours des dernières décennies, les informaticiens ont développé des outils informatiques capables de générer des types de données spécifiques, tels que des images, des mots ou des enregistrements audio. Ces systèmes pourraient avoir une variété d’applications précieuses, en particulier dans les domaines créatifs qui impliquent la production d’œuvres d’art nouvelles et uniques.

Des chercheurs de l’Université de Waterloo ont récemment développé LyricJam, un système informatique avancé qui peut générer des paroles pour la musique instrumentale en direct. Ce système, présenté dans un document qui sera présenté à la Conférence internationale sur la créativité informatique et prépublié sur arXiv, pourrait aider les artistes à composer de nouvelles paroles qui correspondent bien à la musique qu’ils créent.

« J’ai toujours eu un amour profond de la musique et un intérêt à en savoir plus sur les processus créatifs derrière certaines de mes chansons préférées », a déclaré à TechXplore Olga Vechtomova, l’une des chercheuses qui a mené l’étude. « Cela m’a amené à faire des recherches sur la musique et les paroles et sur la façon dont l’apprentissage automatique pourrait être utilisé pour concevoir des outils qui inspireraient les artistes musicaux. »

Vechtomova et ses collègues mènent depuis quelques années des recherches axées sur la génération de paroles. Initialement, ils ont développé un système qui peut apprendre des caractéristiques ou des aspects spécifiques du style lyrique d’un artiste, en analysant les enregistrements audio de leurs chansons et paroles qu’ils ont composées dans le passé. Ce système utilise ensuite les informations recueillies dans ses analyses pour générer des paroles alignées sur le style d’un artiste particulier.

Plus récemment, les chercheurs ont également commencé à étudier la possibilité de générer des paroles pour des clips audio de musique instrumentale enregistrée. Dans leur nouvelle étude, ils ont essayé de faire un pas en avant en développant un système capable de générer des paroles appropriées pour la musique live.

« Le but de cette recherche était de concevoir un système capable de générer des paroles reflétant l’humeur et les émotions exprimées à travers divers aspects de la musique, tels que les accords, les instruments, le tempo, etc. », a déclaré Vechtomova. « Nous avons décidé de créer un outil que les musiciens pourraient utiliser pour s’inspirer de leur propre composition de chansons. »

Essentiellement, Vechtomova et ses collègues ont entrepris de créer un système qui pourrait traiter la musique live brute jouée par un musicien individuel ou un groupe et générer des paroles qui correspondent aux émotions exprimées par la musique. Les artistes seraient alors en mesure de revoir ces paroles générées et de s’en inspirer ou de les adapter, découvrant ainsi de nouveaux thèmes intéressants ou des idées de paroles qu’ils n’avaient pas envisagées auparavant.

« Le scénario que nous envisageons est celui d’un système d’IA qui agit en tant que partenaire co-créatif avec un musicien », a expliqué Vechtomova. « Du point de vue de l’utilisateur, l’application LyricJam est très simple : un artiste musical joue de la musique en direct et le système affiche les lignes de paroles qu’il génère en temps réel en réponse à la musique qu’il entend. Les lignes générées sont enregistrées pour la durée de la session, pour que l’artiste puisse les regarder une fois qu’ils ont fini de jouer. »

LyricJam : Un système qui peut générer des paroles pour la musique instrumentale en direct

Exemples de paroles générées par LyricJam pour différents types de musique instrumentale. Les clips audio sont représentés sous forme de spectrogrammes qui capturent diverses caractéristiques musicales. Au cours de la formation, le modèle apprend à associer des thèmes lyriques, des mots et des expressions à divers aspects de la musique, tels que le rythme, l’instrumentation et les harmonies. Une fois entraîné, le système imaginé par les chercheurs peut générer de nouvelles paroles qui reflètent les émotions véhiculées par l’artiste à travers sa musique. Crédit : Vechtomova, Sahu & Kumar

Le système créé par les chercheurs fonctionne en convertissant des fichiers audio bruts en spectrogrammes, puis en utilisant des modèles d’apprentissage en profondeur pour générer des paroles qui correspondent à la musique qu’ils ont traitée en temps réel. L’architecture du modèle est composée de deux autoencodeurs variationnels, l’un conçu pour apprendre les représentations de l’audio musical et l’autre pour apprendre les paroles.

Vechtomova et ses collègues ont ensuite conçu deux nouveaux mécanismes qui alignent les représentations de la musique et des paroles traitées par les deux auto-encodeurs. En fin de compte, ces mécanismes permettent à leur système d’apprendre quels types de paroles vont bien avec une musique instrumentale particulière.

« Nous laissons la machine apprendre ces associations à partir des données de manière non supervisée », a déclaré Vechtomova. « En conséquence, la machine apprend les thèmes lyriques, les mots et les expressions associés à différents types de musique. Par exemple, nous avons observé que les paroles générées pour la musique calme et ambiante sont très différentes de celles générées pour la musique au son plus agressif. »

La principale caractéristique qui distingue LyricJam des autres systèmes de génération de paroles développés dans le passé est qu’il peut créer des paroles appropriées en temps réel, comme un artiste joue de la musique en direct. Les musiciens et autres utilisateurs intéressés à essayer le système peuvent accéder à une version en direct sur https://lyricjam.ai.

« Je tiens à souligner que la motivation principale de cette recherche n’est pas d’écrire une chanson pour l’artiste, mais d’inspirer la propre créativité de l’artiste en suggérant de nouvelles idées et expressions que le système a générées en entendant sa musique », a déclaré Vechtomova. « Nous ne voulons pas rendre le processus d’écriture des paroles plus facile ou plus rapide. Au lieu de cela, nous voulons le rendre plus épanouissant, en aidant les artistes à entrer dans le flux créatif et à réaliser leur propre créativité en collaborant avec le système. »

Pour évaluer le système qu’ils ont développé, Vechtomova et ses collègues ont réalisé une étude d’utilisateurs dans laquelle ils ont demandé à des musiciens de jouer de la musique en direct et de partager leurs commentaires sur les paroles créées par leur système. Fait intéressant, la plupart des musiciens qui ont participé à cette étude ont déclaré qu’ils percevaient LyricJam comme un partenaire de jam non critique qui les encourageait à improviser et à expérimenter des expressions musicales inhabituelles.

« Par exemple, en modifiant leur style musical ou en essayant de nouvelles progressions d’accords, les artistes participant à notre étude d’utilisateurs ont observé un changement en temps réel des thèmes lyriques, ce qu’ils ont trouvé encourageant », a déclaré Vechtomova. « Cela suggère que le système pourrait être utile non seulement pour l’écriture de paroles, mais aussi pour l’improvisation et la composition musicale. »

À l’avenir, LyricJam pourrait s’avérer être un outil très précieux pour les musiciens et les artistes du monde entier, les aidant à composer des paroles uniques et intéressantes pour leurs chansons. Vechtomova et ses collègues travaillent actuellement sur une version finale du système qui pourrait être facilement accessible par les artistes du monde entier, tout en essayant de concevoir d’autres outils qui pourraient améliorer les processus d’écriture des paroles.

« Concevoir des outils qui aident les artistes musicaux à libérer leur créativité est l’un de mes principaux intérêts de recherche », a déclaré Vechtomova. « J’ai un certain nombre de projets de recherche en cours dans mon laboratoire, où nous examinons d’autres aspects des paroles et de la musique, tels que les caractéristiques phonétiques des paroles et la structure musicale des chansons, afin que nous puissions potentiellement incorporer ces aspects dans des modèles génératifs de paroles.  »


Un système pour générer de nouvelles paroles de chansons qui correspondent au style d’artistes spécifiques


Plus d’information:
LyricJam : Un système pour générer des paroles pour la musique instrumentale en direct. arXiv : 2106.01960 [cs.SD]. arxiv.org/abs/2106.01960

lyricjam.ai

© 2021 Réseau Science X

Citation: LyricJam : Un système qui peut générer des paroles pour la musique instrumentale en direct (2021, 28 juin) récupéré le 28 juin 2021 sur https://techxplore.com/news/2021-06-lyricjam-lyrics-instrumental-music.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.