Google vient de lancer Lumiere, un nouvel outil d'IA générative qui vous aidera à créer des images et des vidéos plus réalistes avec des commandes textuelles. L’un des grands avantages de Lumiere est sa capacité à produire des mouvements réalistes sans aucun bégaiement. Cela est possible car le logiciel crée toutes les images vidéo en même temps, plutôt que d'utiliser d'abord les images clés, puis de les entraîner à apprendre comment l'action doit se dérouler.

Cela n’a peut-être pas l’air impressionnant, mais avec l’aide des derniers outils d’intelligence artificielle générative, nous pouvons aller plus loin et créer des œuvres étonnantes.

Lumière utilise également des modèles de probabilité de diffusion pour aider à générer des images. Ceci est combiné avec U-Net spatio-temporel. Pour ceux qui ne le savent pas, U-Net est une architecture qui apporte un zoom avant et arrière temporel et des blocs d'attention ajoutés à l'image. Le meilleur, c’est que ce nouvel outil d’IA générative peut être utilisé avec de nombreux autres modèles, ce qui aidera à créer des images et des vidéos plus réalistes que tout ce que nous avons vu auparavant.

Lumiere peut être utilisé pour créer les éléments suivants :

  • La cinématographie anime une seule partie d’une image

  • Un objet dans une vidéo animée peut être remplacé par un autre objet

  • Génération stylisée : tout style artistique créé peut être remplacé par un autre style.

  • Image en vidéo : permet d'animer n'importe quelle image souhaitée

  • Vidéo vers vidéo : permet aux utilisateurs de créer des vidéos dans différents styles artistiques

    • Au moment d'écrire ces lignes, Lumiere ne peut créer que des vidéos d'une durée maximale de 5 secondes et n'a pas la capacité de créer des transitions vidéo ni un travail de caméra multi-angle. Il convient également de noter que si vous souhaitez essayer Lumiere, vous ne pourrez pas le faire avec un GPU standard. Le PC lui-même doit disposer de solides capacités de traitement graphique, sinon l'outil ne fonctionnera pas du tout.

    Visite d'essai :

    https://lumiere-video.github.io/