par Les scientifiques de Google Research ont publié leur article sur GameNGen, un moteur de jeu basé sur l'IA qui génère des Perte gameplay sur un réseau neuronal. En utilisant la diffusion stable, les scientifiques Dani Valevski, Yaniv Leviathan, Moab Arar et Shlomi Fruchter ont conçu GameNGen pour traiter ses images précédentes et l'entrée actuelle du joueur pour générer de nouvelles images dans le monde avec une fidélité visuelle et une cohésion surprenantes.
Générer par l'IA un moteur de jeu complet avec une logique cohérente est une réalisation unique. Perte peut être joué comme un vrai jeu vidéo, avec des virages et des mitraillages, des tirs d'armes et des dégâts précis des ennemis et des dangers environnementaux. Un niveau réel est construit autour de vous en temps réel pendant que vous l'explorez. Il conserve même un décompte presque précis des munitions de votre pistolet. Selon l'étude, le jeu tourne à 20 FPS et il est difficile de le distinguer dans de courts clips des vrais Perte gameplay.
Pour obtenir toutes les données de formation nécessaires à GameNGento pour modéliser avec précision ses propres Perte niveaux, l'équipe de Google a formé son agent IA pour jouer Perte à tous les niveaux de difficulté et simulent une gamme de niveaux de compétence des joueurs. Des actions telles que la collecte de bonus et la réalisation de niveaux étaient récompensées. Dans le même temps, les dégâts ou la mort des joueurs étaient punis, créant ainsi des agents qui pouvaient jouer Perte et fournir des centaines d'heures de données d'entraînement visuelles pour que le modèle GameNGen puisse les référencer et les recréer.
L’une des innovations majeures de l’étude est la manière dont les scientifiques ont maintenu la cohésion entre les images tout en utilisant la diffusion stable sur de longues périodes. La diffusion stable est un modèle d’IA générative omniprésent qui génère des images à partir d’images ou de textes et qui est utilisé pour des projets animés depuis sa sortie en 2022.
Les deux faiblesses les plus importantes de Stable Diffusion pour l'animation sont son manque de cohésion d'une image à l'autre et sa régression éventuelle de la fidélité visuelle au fil du temps. Comme on le voit dans le court-métrage Anime Rock Paper Scissors de Corridor, Stable Diffusion peut créer des images fixes convaincantes mais souffre d'effets de scintillement lorsque le modèle génère des images consécutives (remarquez comment les ombres semblent sauter sur tous les visages des acteurs d'une image à l'autre).
Le scintillement peut être résolu en alimentant Stable Diffusion avec sa sortie et en l'entraînant à l'aide de l'image qu'il a créée pour garantir que les images correspondent les unes aux autres. Cependant, après plusieurs centaines d'images, la génération d'images devient de moins en moins précise, un peu comme si l'on photocopiait plusieurs fois une photocopie.
Google Research a résolu ce problème en entraînant de nouvelles images avec une séquence plus étendue d'entrées utilisateur et d'images qui les précédaient (plutôt qu'une seule image d'invite) et en corrompant ces images contextuelles à l'aide d'un bruit gaussien. Désormais, un réseau neuronal distinct mais connecté corrige ses images contextuelles, garantissant une image constamment auto-correctrice et des niveaux élevés de stabilité visuelle qui perdurent pendant de longues périodes.
Les exemples de GameNGen vus jusqu'à présent sont, il faut l'admettre, loin d'être parfaits. Des taches et des flous apparaissent à l'écran à des moments aléatoires. Les ennemis morts deviennent des monticules flous après leur mort. Doomguy sur le HUD fait constamment bouger ses sourcils de haut en bas comme s'il était The Rock dans Monday Night Raw. Et, bien sûr, les niveaux générés sont au mieux incohérents ; la vidéo YouTube intégrée ci-dessus se termine dans une fosse à poison où Doomguy cesse soudainement de subir des dégâts à 4 % et change complètement sa disposition après avoir tourné à 360 degrés à l'intérieur.
Bien que le résultat ne soit pas un jeu vidéo gagnable, GameNGen produit un simulacre impressionnant du Perte Nous aimons. Entre les démonstrations technologiques et les expériences de réflexion sur l'avenir de l'IA, GameNGen de Google deviendra un élément crucial du développement futur des jeux d'IA si le domaine continue. Associé aux recherches de Caltech sur l'utilisation de Minecraft pour enseigner aux modèles d'IA la génération de cartes cohérentes, les moteurs de jeux vidéo basés sur l'IA pourraient arriver sur un ordinateur près de chez vous plus tôt que nous ne le pensions.
