Améliorer l’organisation des vidéos

Améliorer l'organisation des vidéos

Netra utilise l’intelligence artificielle pour aider les entreprises à comprendre et à organiser leur contenu vidéo. Crédit: Christine Daniloff, MIT

À tout moment, des milliers de nouvelles vidéos sont publiées sur des sites comme YouTube, TikTok et Instagram. Un nombre croissant de ces vidéos sont enregistrées et diffusées en direct. Mais les entreprises de technologie et de médias ont encore du mal à comprendre ce qui se passe dans tout ce contenu.

Aujourd’hui, Netra, une ancienne élève du MIT, utilise l’intelligence artificielle pour améliorer l’analyse vidéo à grande échelle. Le système de l’entreprise peut identifier les activités, les objets, les émotions, les lieux, etc. pour organiser et fournir un contexte aux vidéos de nouvelles manières.

Les entreprises utilisent la solution de Netra pour regrouper des contenus similaires dans des bobines ou des segments d’actualité, signaler la nudité et la violence et améliorer le placement des annonces. Dans le domaine de la publicité, Netra veille à ce que les vidéos soient associées à des publicités pertinentes afin que les marques puissent s’éloigner du suivi des personnes individuelles, ce qui a conduit à des problèmes de confidentialité.

« Le secteur dans son ensemble s’oriente vers la publicité basée sur le contenu, ou ce qu’ils appellent la publicité d’affinité, et s’éloigne du suivi basé sur les cookies et basé sur les pixels, qui était toujours assez effrayant », déclare Shashi Kant, co-fondateur et CTO de Netra. .

Netra pense également qu’il améliore la capacité de recherche du contenu vidéo. Une fois les vidéos traitées par le système de Netra, les utilisateurs peuvent lancer une recherche avec un mot-clé. De là, ils peuvent cliquer sur les résultats pour voir un contenu similaire et trouver des événements de plus en plus spécifiques.

Par exemple, le système de Netra peut traiter la vidéo d’une saison de baseball et aider les utilisateurs à trouver tous les célibataires. En cliquant sur certaines pièces pour en voir plus, ils peuvent également trouver tous les singles qui étaient presque sortis et ont conduit les fans à huer avec colère.

«La vidéo est de loin la plus grande source d’information aujourd’hui», déclare Kant. « Il éclipse le texte par des ordres de grandeur en termes de richesse et de taille de l’information, mais personne ne l’a même touché avec la recherche. C’est le plus blanc des espaces blancs. »

Poursuivre une vision

Sir Tim Berners-Lee, pionnier de l’Internet et professeur au MIT, travaille depuis longtemps pour améliorer la capacité des machines à donner un sens aux données sur Internet. Kant a fait des recherches sous Berners-Lee en tant qu’étudiant diplômé et a été inspiré par sa vision d’améliorer la façon dont les informations sont stockées et utilisées par les machines.

« Le Saint Graal pour moi est un nouveau paradigme dans la recherche d’informations », dit Kant. « Je pense que la recherche sur le Web est toujours 1.0. Même Google est 1.0. C’est la vision de l’initiative Web sémantique de Sir Tim Berners-Lee et c’est ce que j’ai retenu de cette expérience. »

Au MIT, Kant était également membre de l’équipe gagnante du MIT $ 100K Entrepreneurship Competition (le MIT $ 50K à l’époque). Il a aidé à écrire le code informatique d’une solution appelée Active Joint Brace, qui était une orthèse électromécanique pour les personnes handicapées.

Après avoir obtenu son diplôme en 2006, Kant a lancé une entreprise qui utilisait l’IA dans sa solution appelée Cognika. L’IA avait toujours mauvaise réputation d’être surexcitée, de sorte que Kant utilisait des termes tels que l’informatique cognitive pour présenter son entreprise aux investisseurs et aux clients.

Kant a lancé Netra en 2013 pour utiliser l’IA pour l’analyse vidéo. Ces jours-ci, il doit faire face à l’extrémité opposée du spectre du battage médiatique, avec tant de startups affirmant utiliser l’IA dans leur solution.

Netra essaie de couper à travers le battage médiatique avec des démonstrations de son système. Netra peut analyser rapidement les vidéos et organiser le contenu en fonction de ce qui se passe dans différents clips, y compris des scènes où des personnes font des choses similaires, expriment des émotions similaires, utilisent des produits similaires, etc. L’analyse de Netra génère des métadonnées pour différentes scènes, mais Kant affirme que le système de Netra fournit bien plus que le marquage par mot-clé.

«Ce avec quoi nous travaillons, ce sont les intégrations», explique Kant, faisant référence à la manière dont son système classe le contenu. «S’il y a une scène où quelqu’un frappe un coup de circuit, il y a une certaine signature à cela, et nous générons une imbrication pour cela. Une imbrication est une séquence de nombres, ou« vecteur », qui capture l’essence d’un contenu. Les balises ne sont que des représentations lisibles par l’homme. Donc, nous allons former un modèle qui détecte tous les circuits, mais sous la couverture, il y a un réseau de neurones, et il crée une intégration de cette vidéo, et qui différencie la scène d’une autre manière d’une sortie ou d’une promenade. « 

En définissant les relations entre les différents clips, le système de Netra permet aux clients d’organiser et de rechercher leur contenu de nouvelles manières. Les entreprises de médias peuvent déterminer les moments les plus excitants des événements sportifs en fonction des émotions des fans. Ils peuvent également regrouper le contenu en fonction de leurs sujets, de leur emplacement ou du fait qu’ils incluent ou non un contenu sensible ou dérangeant.

Ces capacités ont des implications majeures pour la publicité en ligne. Une société de publicité représentant une marque comme la société de vêtements de plein air Patagonia pourrait utiliser le système de Netra pour placer les publicités de Patagonia à côté du contenu de randonnée. Les entreprises de médias pourraient proposer à des marques comme Nike des espaces publicitaires autour de clips d’athlètes sponsorisés.

Ces capacités aident les annonceurs à adhérer aux nouvelles réglementations en matière de confidentialité du monde entier qui imposent des restrictions sur la collecte de données sur des personnes individuelles, en particulier les enfants. Cibler certains groupes de personnes avec des publicités et les suivre sur le Web est également devenu controversé.

Kant pense que le moteur d’IA de Netra est un pas en avant pour donner aux consommateurs plus de contrôle sur leurs données, une idée défendue depuis longtemps par Berners-Lee.

«Ce n’est pas la mise en œuvre de mon travail sur CSAIL, mais je dirais que les idées conceptuelles que je poursuivais chez CSAIL sont issues de la solution de Netra», déclare Kant.

Transformer la façon dont les informations sont stockées

Netra compte actuellement parmi ses clients certaines des plus grandes sociétés de médias et de publicité du pays. Kant pense que le système de Netra pourrait un jour aider n’importe qui à rechercher et à organiser l’océan croissant de contenu vidéo sur Internet. À cette fin, il voit la solution de Netra continuer à évoluer.

«La recherche n’a pas beaucoup changé depuis qu’elle a été inventée pour le Web 1.0», déclare Kant. « À l’heure actuelle, il y a beaucoup de recherche basée sur les liens. Les liens sont obsolètes à mon avis. Vous ne voulez pas visiter différents documents. Vous voulez que les informations de ces documents soient regroupées en quelque chose de contextuel et personnalisable, y compris uniquement les informations dont vous avez besoin. »

Kant pense qu’une telle contextualisation améliorerait considérablement la manière dont les informations sont organisées et partagées sur Internet.

«Il s’agit de s’appuyer de moins en moins sur des mots-clés et de plus en plus sur des exemples», explique Kant. « Par exemple, dans cette vidéo, si Shashi fait une déclaration, est-ce parce qu’il est un cinglé ou y a-t-il plus? Imaginez un système qui pourrait dire: » Cet autre scientifique a dit quelque chose de similaire pour valider cette déclaration et ce scientifique a répondu de la même manière à cette question. « Pour moi, ce genre de choses est l’avenir de la recherche d’informations, et c’est la passion de ma vie. C’est pourquoi je suis venu au MIT. C’est pourquoi j’ai passé une décennie et demie de ma vie à mener cette bataille de AI, et c’est ce que je vais continuer à faire.  »


Google bombarde les utilisateurs australiens de la recherche alors que la campagne de relations publiques s’intensifie


Plus d’information:
www.netra.io/

Fourni par le Massachusetts Institute of Technology

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.

Citation: Améliorer l’organisation des vidéos (2021, 20 mai) récupéré le 20 mai 2021 sur https://techxplore.com/news/2021-05-videos.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.