Résumé :
Le 27 octobre, Google a lancé Genie 4, une nouvelle génération de modèle mondial d'intelligence artificielle, qui améliore encore le réalisme des environnements interactifs générés par l'IA et ajoute la possibilité de modifier les scènes en temps réel et de générer automatiquement de l'audio. Contrairement aux modèles de génération d'images traditionnels qui génèrent principalement des images ou des vidéos statiques, Genie 4 peut créer un monde virtuel dans lequel les utilisateurs peuvent participer et interagir. Les technologies associées devraient être appliquées dans des domaines tels que le développement de jeux, la production cinématographique et télévisuelle et la formation de robots.
Genie 4 apporte cette fois-ci principalement quatre améliorations : générer un environnement virtuel plus réaliste, permettant aux utilisateurs de changer de scène en temps réel grâce à des invites en langage naturel, ajoutant automatiquement de l'audio au monde généré et utilisant le modèle Flash de Google Gemini 3.8 pour faciliter le processus de simulation. De plus, le nouveau modèle peut générer des expériences interactives d'une durée maximale d'environ deux minutes, soit le double de la durée prise en charge par la génération précédente Genie 3.
Le modèle mondial est l'un des domaines importants de la recherche sur l'intelligence artificielle ces dernières années. L'IA générative traditionnelle génère généralement des images, des vidéos ou d'autres contenus basés sur des invites textuelles, tandis que les modèles mondiaux vont encore plus loin et tentent d'apprendre les relations spatiales dans l'environnement, les schémas de mouvement des objets et le lien entre les actions et les résultats. Le contenu généré par le modèle n'est plus uniquement destiné aux utilisateurs, mais peut continuer à changer avec les opérations de l'utilisateur.
Par exemple, dans un environnement virtuel généré par l'IA, les utilisateurs peuvent contrôler le déplacement du personnage, changer la direction de visualisation ou interagir avec les objets de la scène. Le modèle doit générer en permanence des images ultérieures basées sur ces opérations et maintenir autant que possible la cohérence de l'environnement. De telles capacités présentent une valeur potentielle pour les jeux, les simulations de robots et la formation dans des environnements complexes.
Une amélioration importante de Genie 4 est que les utilisateurs peuvent modifier le monde virtuel via des instructions en langage naturel pendant l'expérience. Au lieu de quitter la scène actuelle, de réécrire les mots d'invite et de les générer à partir de zéro, les utilisateurs peuvent directement demander au modèle de modifier certains éléments de l'environnement pour ajuster rapidement la conception de la scène.
Cette fonctionnalité peut être particulièrement utile pour les développeurs de jeux et les équipes de production cinématographique et télévisuelle. Avant d'investir officiellement beaucoup de ressources dans la production, les créateurs peuvent utiliser l'IA pour générer des prototypes de scène préliminaires, essayer différentes configurations d'environnement, styles visuels et méthodes d'interaction, puis décider quelles solutions méritent un développement ultérieur.
Pour la production cinématographique, ce type de technologie peut également être utilisé dans les avant-premières pré-visuelles. Les équipes de production peuvent rapidement créer des décors virtuels pour explorer les mouvements de caméra, les trajectoires des personnages et les effets environnementaux sans avoir à créer immédiatement des décors réels ou à créer des ressources 3D complexes.
Genie 4 ajoute également des capacités de génération audio. Alors que les modèles mondiaux précédents se concentraient principalement sur l'environnement visuel et les processus d'interaction, le nouveau modèle peut ajouter du son aux scènes générées, rendant ainsi l'expérience virtuelle plus complète. L'audio peut aider à simuler l'atmosphère de l'environnement et peut également fournir des effets sonores préliminaires pour les prototypes de jeux.
Cependant, la génération automatique de l'audio ne signifie pas que le modèle peut remplacer complètement la production professionnelle d'effets sonores. Pour les projets qui nécessitent un contrôle précis du rythme, du positionnement spatial, des dialogues des personnages et de la relation synchronisée entre le son et l'action, des ajustements manuels supplémentaires et l'assistance d'outils professionnels sont toujours nécessaires.
Google a également indiqué que Genie 4 pouvait être utilisé pour créer des scénarios de formation de robots. Les robots apprennent et testent des actions dans le monde réel, ce qui implique souvent des coûts d'équipement, des contraintes de site et des risques potentiels pour la sécurité. Si un environnement simulé interactif peut être généré à partir d'un modèle mondial, les chercheurs peuvent tester comment les robots se déplacent, saisissent des objets et réagissent à différentes conditions environnementales dans des scènes virtuelles.
La clé de ce type de capacité de simulation est non seulement de rendre la scène virtuelle réaliste, mais également de présenter les relations spatiales, les schémas de mouvement et les conséquences des actions des objets aussi précisément que possible. Ce n'est que lorsque l'environnement simulé peut refléter de manière plus fiable les contraintes physiques du monde réel que les stratégies apprises par le robot dans l'environnement virtuel ont plus de chances d'être transférées à l'appareil réel.
En termes d'architecture technique, Genie 4 utilise Gemini 3.8 Flash pour faciliter le processus de simulation. Google espère utiliser les capacités de ce modèle pour améliorer la cohérence logique et les performances interactives dans l'environnement généré. Cependant, la société n'a pas divulgué d'indicateurs techniques suffisamment détaillés dans ce rapport, il n'est donc pas encore possible de mesurer avec précision l'amélioration globale de ses performances par rapport au modèle de la génération précédente.
Des délais de construction plus longs constituent également un changement important dans cette mise à jour. Genie 3 a généré des expériences interactives qui ont duré environ une minute, tandis que Genie 4 a prolongé cette durée à environ deux minutes. Si deux minutes sont encore assez limitées pour un jeu complet ou une simulation complexe, cela laisse déjà plus de place à l'exploration pour un prototypage rapide et des expériences interactives courtes.
Dans le même temps, Google a également admis qu'à mesure que la durée de la simulation s'allonge, des incohérences peuvent encore survenir dans l'environnement virtuel. Par exemple, les détails d'une scène peuvent changer progressivement et certains objets peuvent ne pas toujours conserver leur position et leur état d'origine. Cela implique une difficulté fondamentale avec les modèles mondiaux : non seulement le modèle doit générer un prochain cadre qui semble raisonnable, mais il doit également maintenir un environnement stable et continu sur une période de temps prolongée.
Si un objet disparaît après que l'utilisateur quitte la scène, ou change soudainement de position lors de son retour dans la scène, l'expérience dans son ensemble semblera peu fiable, même si l'image elle-même est suffisamment réaliste. Par conséquent, la persistance des objets, la mémoire spatiale et la cohérence des états à long terme restent des capacités clés qui doivent continuer à être améliorées dans les modèles mondiaux.
En termes de calendrier de sortie, Genie 4 est actuellement ouvert aux testeurs sélectionnés sous la forme d'un aperçu de recherche. Google a déclaré qu'il serait lancé aux abonnés Google AI Ultra à l'avenir et a ouvert une liste d'attente pour permettre aux utilisateurs de postuler pour découvrir le nouveau modèle via Project Genie.
Il est actuellement impossible de juger de manière indépendante des progrès réalisés par le nouveau modèle par rapport à la génération précédente Genie 3. Les démonstrations publiques à ce stade proviennent principalement des responsables de Google. L'expérience utilisateur réelle, les performances d'interaction à long terme et la stabilité du modèle dans des scénarios complexes doivent encore être vérifiées par des tests ultérieurs.
Du point de vue de l'orientation du développement de l'industrie, Genie 4 représente le fait que l'intelligence artificielle générative s'étend de la création de contenu à la simulation d'environnement et à l'expérience interactive. Les futurs systèmes d’IA pourront non seulement générer une image ou une vidéo basée sur une invite, mais pourront également créer directement un espace virtuel pouvant être exploré, modifié et avec lequel interagir.
Cependant, pour que cette technologie devienne véritablement un outil pratique dans le développement de jeux, la formation de robots ou la production cinématographique et télévisuelle, des problèmes tels que la cohérence à long terme, la précision de la simulation physique, la vitesse de réponse interactive et les coûts de production doivent encore être résolus. Genie 4 ressemble actuellement davantage à un progrès expérimental important dans cette direction qu'à un produit mature pouvant remplacer les moteurs de jeu traditionnels ou les outils de production 3D professionnels.
Demander l'accès à Genie 4 dans Project Genie :
https://docs.google.com/forms/d/e/1FAIpQLSeD73fWVFVUXII27wIaSjdCZCesuGEb5-iZaBSTUpjkX98S0g/viewform?usp=send_form
Commentaires