"C'est une conversation que j'ai eue avec Zuckerberg dans le métaverse. Je suis physiquement à des centaines de kilomètres de Mark, mais j'ai l'impression d'être face à face avec lui. Parce que nos images sont modélisées avec des modèles 3D précis, cette technologie est incroyable ! Je pense que c'est ainsi que les gens communiqueront sur Internet à l'avenir", a déclaré LexFridman.


Hier, une conversation à distance entre Lex Fridman, scientifique du Massachusetts Institute of Technology (MIT), et Mark Zuckerberg, PDG de Meta, a fait le plus grand succès sur les réseaux sociaux. La vidéo de leur interview d’une heure dans le métaverse a rapidement atteint des dizaines de millions de vues.

Maintenant, dans le métaverse, nos images peuvent être presque les mêmes que celles de vraies personnes, des détails de tout le corps aux expressions et aux mouvements, c'est si naturel que c'est étonnant.

Ainsi, dans le monde réel, nous devons faire attention à la gestion des expressions :


L’effet est si réel que les gens se sentent dépassés.

Lors de la « Première conversation Metaverse » sur le podcast LexFridman, Zuckerberg a présenté le nouvel avatar de réalité virtuelle Codec de Meta, qui utilise la technologie de numérisation pour créer un modèle 3D du visage de l'utilisateur, qui est ensuite piloté par une implémentation d'apprentissage automatique. Pendant la conversation, le nouveau casque détectera les expressions faciales de l'utilisateur et les mappera sur l'avatar 3D en temps réel pour former des actions.

Zuckerberg a déclaré à propos de la conversation Metaverse : "La plate-forme envoie essentiellement une version codée de votre image sur le réseau d'une manière encore plus efficace en termes de bande passante que la transmission de vidéo."

Bien entendu, dans le métaverse, vous pouvez également personnaliser votre image, comme en modifiant l'éclairage :


Contrairement aux avatars originaux de Meta, qui étaient ridiculisés comme étant sans jambes, aux yeux ternes et inconfortables, les avatars de la nouvelle génération semblent extrêmement réels, ont une latence négligeable et vous permettent de vous sentir comme si vous étiez avec d'autres dans le monde virtuel.

"Cela touche au cœur de la vision de la réalité augmentée, qui consiste à procurer un sentiment de présence, où que vous soyez dans le monde", a déclaré Zuckerberg.

Tout cela impose évidemment plus de charge au matériel de rendu. Au cours de la conversation, Zuckerberg et Fridman portaient la dernière version de QuestPro, dotée de fonctionnalités intégrées de suivi du visage et des yeux. A noter qu'il ne s'agit pas du Quest3 sorti il ​​y a quelques jours. QuestPro pourrait ne pas être officiellement publié avant 2025.


Codec Image nécessite une analyse du visage de l'utilisateur pour créer un modèle virtuel 3D.

L’interview de Zuckerberg était dans le métaverse, et le contenu de la conversation était également dans le métaverse. Au cours de la conversation d'une heure, Zuckerberg a parlé du métaverse, de la réalité augmentée, des grands modèles et d'autres sujets.

Zuckerberg a déclaré qu'en fait, la majeure partie de la communication entre les gens ne se fait pas par le langage, mais par des détails tels que les expressions. Meta essaie d'utiliser davantage d'avatars de dessins animés pour capturer des expressions, offrant ainsi une expérience réaliste tout en ayant un certain sens de la réalité.

Il a suggéré que les utilisateurs pourraient modifier leurs sosies virtuels pour afficher des émotions plus exagérées, et a plaisanté en disant qu'il pourrait utiliser la technologie des avatars pour peaufiner sa célèbre prestation impassible.


Aussi impressionnants que soient les avatars, il faudra peut-être un certain temps avant qu’ils ne soient largement utilisés.

Il est important de noter que les chiffres présentés dans cette interview ont été créés à l’aide d’un balayage de pointe d’une durée de plusieurs heures impliquant des centaines de caméras, ce qui est actuellement hors de portée du consommateur moyen.

Mais Zuckerberg a déclaré dans l'interview que le plan de Meta est de permettre aux gens d'utiliser leur smartphone pour scanner très rapidement.

"Il vous suffit de prendre votre téléphone et de le secouer devant vous pendant quelques minutes, de dire quelques mots, de faire un tas d'expressions... et alors l'IA peut produire quelque chose de la qualité que nous avons actuellement", a déclaré Zuckerberg à LexFridman.

Zuckerberg a déclaré que Meta prévoyait d'intégrer la technologie dans ses produits au cours des prochaines années.

Les projections réalistes actuelles constituent une amélioration significative par rapport aux avatars de dessins animés utilisés dans le jeu VR gratuit et la plateforme sociale HorizonWorlds de Meta.


Le selfie métaverse de Zuckerberg.

L'année dernière, Zuckerberg a été ridiculisé sur les réseaux sociaux lorsqu'il a publié un selfie de son avatar Metaverse à l'extérieur de la Tour Eiffel virtuelle, les commentateurs comparant l'image à un jeu vidéo des années 1990. Zuckerberg avait admis à l'époque que l'avatar était "basique".

De manière inattendue, la technologie s’est tellement améliorée après seulement un an.

Comme l'a déploré le scientifique en IA Lex Fridman lors de l'interview : "Je ne sais vraiment pas comment décrire ce sentiment. C'est comme si nous étions dans la même pièce, comme le futur."

Les efforts continus de Zuckerberg changent la perception des mondes Horizon. Il a déclaré à LexFridman que des avatars réalistes peuvent aider à attirer les personnes rebutées par les images du métaverse. "Les gens sont époustouflés par l'expérience, mais nous avons reçu des retours selon lesquels les avatars ne semblaient pas aussi réalistes dans cet environnement."

De toute évidence, les capacités actuelles du métaverse entraîneront d’énormes changements dans la façon dont nous interagissons. Certes, il s’agit de la démonstration la plus impressionnante jamais réalisée du projet Metaverse de Zuckerberg.


"Cela a changé et notre perception du métaverse a commencé à changer" - c'est une technologie qui fait époque.

Si Meta obtient bientôt cet effet dans les produits de consommation, elle pourrait devenir une application révolutionnaire.