La vidéo générée par l'IA a progressé à un rythme effréné au cours des 10 derniers mois, et le nouveau modèle de diffusion spatio-temporelle remarquable de Google, Lumiere, a encore une fois changé les règles du jeu. Lumiere peut créer des clips vidéo surréalistes très réalistes ou de haute qualité d'une durée maximale de 5 secondes. Il peut également animer des images statiques ou des parties d'images en fonction d'invites textuelles en langage naturel pour vous indiquer ce que vous voulez voir.
Il peut prendre une photo, cloner le style de cette image, puis utiliser ce style pour créer une multitude de vidéos sur d'autres sujets qui se ressemblent tellement qu'elles auraient pu être produites par une agence de branding.
Il peut utiliser votre propre vidéo source pour tout transformer en Lego, en origami ou en fleurs - il vous suffit de le lui dire.
Comme vous pouvez le voir dans la démo ci-dessus, Lumiere possède la fonctionnalité vidéo la plus avancée que nous ayons vue à ce jour. Vous peignez simplement les parties de l'image que vous n'aimez pas, et Lumière remplira automatiquement cette zone avec un bel effet que vous ne remarquerez peut-être même pas si vous ne regardez pas attentivement. Votre ex-petit-ami apparaît dans votre vidéo préférée ? Ce ne sera pas long.
L'équipe de recherche concernée a déclaré que «l'architecture de réseau spatio-temporelle en forme de U» de Lumiere peut construire toute la longueur de la vidéo à la fois - alors que les modèles précédents génèrent généralement d'abord l'image de début et l'image de fin, puis devinent ce qui se passera au milieu.
Quelle que soit la manière dont vous le faites, les résultats parlent d'eux-mêmes : il s'agit du nouvel état de l'art en matière de vidéo générative par IA.
Pour l'instant, il ne s'agit que d'un projet de recherche - afin que Google n'ait pas à émasculer lourdement le système en matière de droits d'auteur, de désinformation, de sécurité, de discours de haine, de nudité, de confidentialité et diverses autres politiques - un processus qui conduirait inévitablement à une diminution de la qualité de la sortie de ces modèles génératifs.