Un système pour garder les joueurs basés sur le cloud synchronisés

Le cloud gaming, qui consiste à jouer à un jeu vidéo à distance depuis le cloud, a connu une croissance sans précédent lors des confinements et des pénuries de matériel de jeu survenus au cœur de la pandémie de COVID-19. Aujourd’hui, cette industrie en plein essor englobe un marché mondial de 6 milliards de dollars et plus de 23 millions d’acteurs dans le monde.

Cependant, la synchronisation entre appareils reste un problème persistant dans le cloud gaming et dans le domaine plus large des réseaux. Dans le cloud gaming, les retours vidéo, audio et haptiques sont diffusés depuis une source centrale vers plusieurs appareils, tels que l’écran et la manette d’un joueur, qui fonctionnent généralement sur des réseaux distincts. Ces réseaux ne sont pas synchronisés, ce qui entraîne un décalage entre ces deux flux distincts. Un joueur peut voir quelque chose se produire sur l’écran, puis l’entendre sur sa manette une demi-seconde plus tard.

Inspirés par ce problème, des scientifiques du MIT et de Microsoft Research ont adopté une approche unique pour synchroniser les flux transmis vers deux appareils. Leur système, appelé Ekho, ajoute des séquences de bruit blanc inaudibles à l’audio du jeu diffusé depuis le serveur cloud. Ensuite, il écoute ces séquences dans l’audio enregistré par le contrôleur du lecteur.

Ekho utilise la disparité entre ces séquences de bruit pour mesurer et compenser en continu le délai entre flux.

Lors de véritables sessions de cloud gaming, les chercheurs ont montré qu’Ekho est très fiable. Le système peut maintenir les flux synchronisés à moins de 10 millisecondes les uns des autres, la plupart du temps. D’autres méthodes de synchronisation entraînaient des retards constants de plus de 50 millisecondes.

Et même si Ekho a été conçu pour le cloud gaming, cette technique pourrait être utilisée plus largement pour synchroniser les flux multimédias transmis vers différents appareils, par exemple dans des situations de formation utilisant plusieurs casques de réalité augmentée ou virtuelle.

“Parfois, pour qu’une bonne solution émerge, il suffit de penser en dehors de ce qui a été défini pour vous. Toute la communauté a été déterminée à résoudre ce problème en se synchronisant via le réseau. Synchroniser deux flux en écoutant l’audio dans la pièce semblait fou, mais cela s’est avéré être une très bonne solution”, déclare Pouya Hamadanian, étudiant diplômé en génie électrique et informatique (EECS) et auteur principal d’un article décrivant Ekho.

Hamadanian est rejoint sur le papier par Doug Gallatin, développeur de logiciels chez Microsoft ; Mohammad Alizadeh, professeur agrégé de génie électrique et d’informatique et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) ; et l’auteur principal Krishna Chintalapudi, chercheur principal chez Microsoft Research. L’article sera présenté à la conférence ACM SIGCOMM.

Hors de l’horloge

Au cœur du retard entre flux dans le cloud gaming se trouve un problème fondamental de mise en réseau connu sous le nom de synchronisation d’horloge.

“Si le contrôleur et l’écran pouvaient regarder leur montre et voir en même temps la même chose, alors nous pourrions tout synchroniser avec l’horloge. Mais de nombreux travaux théoriques sur la synchronisation de l’horloge montrent qu’il existe certaines limites que l’on ne peut jamais dépasser. “, dit Hamadanian.

De nombreuses approches tentent de synchroniser l’horloge par messagerie ping-pong, où un appareil envoie un message ping au serveur, qui renvoie un message pong. L’appareil compte le temps nécessaire au retour du message et réduit cette valeur de moitié pour calculer le délai du réseau.

Mais le chemin sur le réseau est probablement asymétrique, de sorte que le message peut prendre plus de temps pour atteindre le serveur que pour le message de retour. Par conséquent, cette méthode n’est pas fiable et peut introduire des centaines de millisecondes d’erreur. Les humains peuvent généralement percevoir le délai entre les flux lorsqu’il atteint 10 millisecondes.

“Donc, si quelque chose se produit à l’écran, nous voulons que cela se produise également sur le contrôleur dans les 10 millisecondes”, explique Hamadanian.

Lui et ses collaborateurs ont décidé d’essayer d’écouter l’audio du jeu pour synchroniser ces flux séparés.

Dans le cloud gaming, le microphone de la manette du joueur enregistre le son de la pièce, y compris le son du jeu diffusé par les haut-parleurs de l’écran, qu’il renvoie au serveur. Mais son utilisation pour la synchronisation n’est pas fiable car le son de la pièce contient du bruit de fond.

Ils ont donc conçu Ekho pour ajouter des séquences identiques de bruit blanc de volume extrêmement faible, appelé pseudo-bruit, à l’audio du jeu avant qu’il ne soit diffusé sur l’écran du joueur. Il utilise ces segments de pseudo-bruit pour la synchronisation.

Avant de créer Ekho, les chercheurs ont mené une étude auprès des utilisateurs pour prouver que les joueurs ne pouvaient pas entendre le pseudo-bruit dans l’audio du jeu. Ces séquences de bruit résistent également à la compression, ce qui est important car l’audio envoyé depuis le contrôleur est fortement compressé pour accélérer le transfert de données.

Pseudo bruit, vraie réussite

Le module Ekho-Estimator ajoute des séquences de pseudo-bruit à l’audio du jeu. Lorsqu’il reçoit l’audio du jeu enregistré du contrôleur, il écoute ces marqueurs et essaie d’aligner les flux. Cela lui permet de calculer précisément le délai inter-flux.

L’Ekho-Estimator envoie ces informations au module Ekho-Compensator, qui soit saute quelques millisecondes de son, soit ajoute quelques millisecondes de silence à l’audio du jeu envoyé par le serveur, ce qui synchronise les flux.

Ils ont testé Ekho sur de véritables sessions de streaming cloud et ont constaté qu’il était supérieur aux autres méthodes de synchronisation, même lorsque la qualité du microphone était médiocre ou que le bruit de fond était capté par l’enregistrement.

Ekho a limité le délai entre les flux à moins de 10 millisecondes pendant près de 87 % du temps pendant les flux. Aucune autre méthode testée par l’équipe n’a permis de réduire ce délai à moins de 50 millisecondes.

“La manière traditionnelle de procéder, qui consiste à essayer de mesurer l’erreur de synchronisation à l’aide du réseau sous-jacent, les erreurs sont nettement plus importantes. Lorsque nous avons démarré ce projet, nous n’étions pas sûrs que cela puisse même être fait. Mais la précision que nous pouvons obtenir Si nous parlons d’Ekho, à des niveaux inférieurs à la milliseconde, c’est du jamais vu”, déclare Chintalapudi.

Impressionnés par ces résultats, les chercheurs souhaitent voir dans quelle mesure Ekho se comporte dans des situations plus complexes, telles que la synchronisation de cinq contrôleurs sur le même écran. De plus, comme Ekho était destiné aux jeux en nuage, sa portée est limitée. Les travaux futurs pourraient chercher à améliorer Ekho afin qu’il puisse synchroniser les appareils aux deux extrémités d’une très grande pièce, comme une salle de concert.

« Utiliser un bruit blanc inaudible comme une sorte de « chronomètre » est un excellent exemple de la façon dont une pensée originale peut produire des résultats inattendus », explique Alizadeh. “Cette technique pourrait améliorer l’expérience utilisateur, non seulement dans le cloud gaming, mais potentiellement dans tout scénario de streaming multi-appareils.”

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.