La nouvelle fonctionnalité “DJ” de Spotify est la première étape vers l’avenir du streamer alimenté par l’IA

Spotify a de plus grands projets pour la technologie derrière sa nouvelle fonctionnalité AI DJ après avoir vu la réaction positive des consommateurs à la nouvelle fonctionnalité. Lancé juste avant l’événement Stream On de la société à Los Angeles la semaine dernière, le DJ AI organise une sélection personnalisée de musique combinée à des commentaires parlés livrés dans une voix réaliste générée par l’IA. Mais sous le capot, la fonctionnalité exploite les dernières technologies d’intelligence artificielle et les grands modèles de langage, ainsi que la voix générative, qui s’ajoutent aux investissements existants de Spotify dans la personnalisation et l’apprentissage automatique.

Ces nouveaux outils ne doivent pas nécessairement se limiter à une seule fonctionnalité, estime Spotify, c’est pourquoi il expérimente maintenant d’autres applications de la technologie.

Bien que le point culminant de l’événement Stream On de Spotify ait été la refonte de l’application mobile, qui se concentre désormais sur les flux de découverte de type TikTok pour la musique, les podcasts et les livres audio, l’AI DJ est désormais un élément important de la nouvelle expérience du service de streaming. Présenté fin février aux abonnés Premium de Spotify aux États-Unis et au Canada, le DJ est conçu pour connaître si bien les utilisateurs qu’il peut jouer tout ce que vous voulez entendre en appuyant simplement sur un bouton.

Avec la refonte de l’application, le DJ apparaîtra en haut de l’écran sous le sous-flux Musique pour les abonnés, servant à la fois de moyen simple de diffuser de la musique préférée et de moyen de pousser les utilisateurs gratuits à se mettre à niveau.

Pour créer le commentaire qui accompagne la musique diffusée par le DJ, Spotify affirme avoir tiré parti de la base de connaissances et des connaissances de ses propres experts en musique. En utilisant la technologie Generative AI d’OpenAI, le DJ est alors en mesure d’adapter ses commentaires aux utilisateurs finaux de l’application. Et contrairement à ChatGPT, qui tente de créer des réponses en distillant des informations trouvées sur le Web, la base de données plus limitée de connaissances musicales de Spotify garantit que les commentaires du DJ finissent par être à la fois pertinents et précis.

Les sélections musicales réelles choisies par le DJ proviennent de sa compréhension existante des goûts et des intérêts d’un utilisateur, reflétant ce qui aurait été programmé auparavant dans des listes de lecture personnalisées, comme Discover Weekly et d’autres.

La voix de l’AI DJ, quant à elle, a été créée à l’aide de la technologie acquise par Spotify auprès de Sonatic l’année dernière et est basée sur celle du responsable des partenariats culturels de Spotify, Xavier “X” Jernigan, animateur du podcast de l’émission matinale aujourd’hui disparu de Spotify, “The Get Up”. Étonnamment, la voix semble incroyablement réaliste et pas du tout robotique. (Lors de l’événement en direct de Spotify, Jernigan a parlé aux côtés de son double IA et les différences étaient difficiles à repérer. “Je peux écouter ma voix toute la journée”, a-t-il plaisanté).

“La raison pour laquelle ça sonne si bien – c’est en fait l’objectif de la technologie Sonatic, l’équipe que nous avons acquise. Il s’agit de l’émotion dans la voix », explique le responsable de la personnalisation de Spotify, Ziad Sultan, dans une conversation avec TechCrunch après la fin de Stream On. “Lorsque vous entendez l’AI DJ, vous entendez où se trouve la pause pour respirer. Vous entendrez les différentes intonations. Vous pouvez entendre de l’excitation pour certains types de genres », dit-il.

Une voix d’IA au son naturel n’est pas nouvelle, bien sûr – Google a impressionné le monde avec sa propre création d’IA au son humain il y a des années. Mais sa mise en œuvre au sein de Duplex a suscité des critiques, car l’IA a appelé les entreprises au nom de l’utilisateur final, initialement sans révéler qu’il ne s’agissait pas d’une personne réelle. Il ne devrait pas y avoir de problème similaire avec la fonctionnalité de Spotify, étant donné qu’elle est même appelée “AI DJ”.

Pour rendre la voix de l’IA de Spotify naturelle, Jernigan est allé en studio pour produire des enregistrements vocaux de haute qualité, tout en travaillant avec des experts en technologie vocale. Là, il a été chargé de lire différentes lignes en utilisant différentes émotions, qui sont ensuite introduites dans le modèle d’IA. Spotify ne dirait pas combien de temps ce processus prend, ni ne détaillerait les détails, notant que la technologie évolue et la qualifiant de “sauce secrète”.

“A partir de cette entrée de haute qualité qui a beaucoup de permutations différentes, [Jernigan] alors n’a plus besoin de dire quoi que ce soit – maintenant c’est purement généré par l’IA », explique Sultan à propos de la voix générée. Pourtant, Jernigan apparaîtra parfois dans la salle des écrivains de Spotify pour offrir des commentaires sur la façon dont il avait lu une ligne pour s’assurer qu’il a une contribution continue.

Crédits image : Capture d’écran Spotify

Mais alors que l’AI DJ est construit à l’aide d’une combinaison de technologies Sonantic et OpenAI, Spotify investit également dans la recherche interne pour mieux comprendre les dernières nouveautés en matière d’IA et de grands modèles de langage.

“Nous avons une équipe de recherche qui travaille sur les derniers modèles de langage”, a déclaré Sultan à TechCrunch. En fait, quelques centaines de personnes travaillent sur la personnalisation et l’apprentissage automatique. Dans le cas de l’AI DJ, l’équipe utilise le modèle OpenAI, note Sultan. «Mais, en général, nous avons une grande équipe de recherche qui comprend toutes les possibilités à travers les grands modèles de langage, à travers la voix générative, à travers la personnalisation. Cela va vite », dit-il. “Nous voulons être reconnus pour notre expertise en IA.”

Cependant, Spotify peut ou non utiliser sa propre technologie d’intelligence artificielle interne pour alimenter les développements futurs. Il peut décider qu’il est plus logique de travailler avec un partenaire, comme c’est le cas actuellement avec OpenAI. Mais il est trop tôt pour le dire.

« Nous publions constamment des articles », dit Sultan. «Nous allons investir dans les dernières technologies – comme vous pouvez l’imaginer, dans cette industrie, les LLM sont une telle technologie. Nous allons donc développer l’expertise.

Grâce à cette technologie fondamentale, Spotify peut aller de l’avant dans d’autres domaines impliquant l’IA, les LLM et la technologie d’IA générative. Quant à ce que ces domaines pourraient être en termes de produits de consommation, la société ne le dira pas encore. (Nous avons entendu dire qu’un chatbot de type ChatGPT faisait partie des options expérimentées. Mais rien n’est réglé en termes de lancement, car c’est une expérience parmi tant d’autres).

« Nous n’avons pas annoncé les plans exacts de notre expansion vers de nouveaux marchés, de nouvelles langues, etc. Mais c’est une technologie qui est une plate-forme. Nous pouvons le faire et nous espérons partager davantage au fur et à mesure de son évolution », déclare Sultan.

Les premiers retours des consommateurs sur l’IA sont prometteurs, selon Spotify

La société n’avait pas voulu développer une suite complète de produits d’IA car elle n’était pas sûre de la réaction des consommateurs face au DJ. Les gens voudraient-ils un DJ IA ? S’engageraient-ils avec la fonctionnalité ? Rien de tout cela n’était clair. Après tout, l’assistant vocal de Spotify (“Hey Spotify”) avait été supprimé faute d’adoption.

Mais il y avait des signes avant-coureurs que la fonction DJ pourrait bien fonctionner. Spotify avait testé le produit en interne auprès des employés avant son lancement, et les mesures d’utilisation et de réengagement avaient été “très, très bonnes”.

L’adoption publique, jusqu’à présent, correspond à ce que Spotify a vu en interne, nous dit Sultan. Cela signifie qu’il est possible de développer de futurs produits en utilisant les mêmes fondations sous-jacentes.

“Les gens passent des heures par jour avec ce produit… il les aide à faire des choix, à découvrir, il leur raconte la prochaine musique qu’ils devraient écouter et leur explique pourquoi… alors la réaction – si vous consultez divers médias sociaux, vous verra c’est très positif, c’est émouvant », dit Sultan.

De plus, Spotify a partagé que, les jours où les utilisateurs se connectaient, ils passaient 25 % de leur temps à écouter avec le DJ, et plus de la moitié des nouveaux auditeurs revenaient pour utiliser la fonctionnalité dès le lendemain. Ces mesures sont cependant précoces, car la fonctionnalité n’est pas encore déployée à 100 % aux États-Unis et au Canada. Mais ils sont prometteurs, estime l’entreprise.

“Je pense que c’est une étape incroyable dans la construction d’une relation entre des produits vraiment précieux et des utilisateurs”, déclare Sultan. Mais il prévient que le défi à venir sera de “trouver la bonne application, puis de la construire correctement”.

“Dans ce cas, nous avons dit qu’il s’agissait d’un DJ IA pour la musique. Nous avons créé la salle des écrivains pour cela. Nous le mettons entre les mains des utilisateurs pour qu’il fasse exactement le travail qu’il était censé faire. Ça marche super bien. Mais c’est vraiment amusant de rêver de ce que nous pourrions faire d’autre et à quelle vitesse nous pourrions le faire », ajoute-t-il.

Laisser un commentaire