Les chercheurs ont simulé l'emblématique carte CS:GO « Dust2 » entièrement via des réseaux de neurones sur un seul GPU RTX3090. Bien que ces clips soient à la fois impressionnants et problématiques, ils illustrent les progrès admirables réalisés par l’IA générative dans la simulation d’environnements de jeu entièrement en 3D.
Eloi Alonso, l'un des dirigeants du projet, a présenté un extrait de la simulation de diffusion de la modélisation du monde Diamond sur X/Twitter. A première vue, même si le rendement n'est que de 10FPS, si l'on reste patient, le gameplay est assez complet et cohérent. Les joueurs peuvent balancer le pistolet, recharger, voir le flash de la bouche et même ressentir le recul.
Cependant, les choses commencent à devenir bizarres lorsque l'on réalise que ce modèle n'exécute pas réellement le moteur de CS:GO. Les chercheurs lui ont donné un grand nombre de scènes de match à mort de Dust 2 pour l'entraîner jusqu'à ce que le réseau neuronal puisse essentiellement « fantôme » sa propre approximation des cartes et du gameplay classiques. La page GitHub indique qu'ils ont utilisé plus de 5 millions d'images ou 87 heures de jeu. Ensuite, ils ont joué à tous ces jeux en utilisant le RTX3090.
A cette époque, vous rencontrerez quelques petits problèmes. Puisque la simulation GPU n’appréhende pas des concepts tels que la gravité ou la détection de collision, il est impossible de parler des effets physiques du jeu. Les joueurs peuvent sauter à l'infini, essentiellement voler, avoir des armes qui se déforment étrangement sous certaines lumières, se déplacer rapidement, ce qui brise l'environnement en un désordre abstrait et flou, et peuvent même traverser des murs solides comme une sorte de fantôme.
Bien sûr, si vous souhaitez vivre une véritable expérience de carburant Dust 2 non cauchemardesque, vous pouvez télécharger Counter-Strike 2 sur Steam dès maintenant et profiter du jeu à des fréquences d'images qui ne ressemblent pas à un diaporama. Bien entendu, cela ne nécessite pas de RTX3090, en fait, le jeu est optimisé pour fonctionner correctement avec seulement 1 Go de mémoire vidéo.
Bien que l'expérience d'Alonso en matière d'IA ne soit qu'une expérience, elle représente une étape importante dans la puissance du traitement de l'IA sur l'appareil. Le modèle est entièrement formé sur un seul GPU, puis le même GPU pilote des simulations génératives en temps réel.
Les démonstrations comme celle-ci sont rares, mais ce n’est pas la première fois que l’IA générative tente de recréer l’expérience de jeu. Par exemple, une équipe de Google a récemment lancé GameNGen, qui utilise un modèle de diffusion stable personnalisé pour générer un niveau Doom en temps réel.
Le célèbre développeur Peter Molyneux prédit que l'intelligence artificielle finira par créer « la majorité » des jeux, des personnages et animations aux dialogues et éléments de jeu.