Récemment, des chercheurs ont annoncé deux nouveaux résultats de recherche utilisant l'intelligence artificielle pour générer des avatars tridimensionnels à partir de texte, permettant des applications telles que l'ajustement virtuel et l'édition de forme d'avatar. Ces résultats proviennent de chercheurs de l’Institut Max Planck en Allemagne et d’autres institutions et sont publiés sur arXiv.
La première étude propose une méthode appelée DELTA qui permet de créer des avatars tridimensionnels avec des couches indépendantes de corps et de vêtements/cheveux. Les chercheurs ont utilisé différentes méthodes de représentation 3D pour modéliser séparément le corps et les vêtements/cheveux, créant ainsi des avatars à partir de vidéos RVB monoculaires. Cette décomposition permet des applications telles que l'ajustement virtuel et l'édition de formes, où les vêtements et les cheveux peuvent être facilement convertis entre différents types de corps.
La deuxième étude utilise la diffusion stable et la représentation 3D hybride DELTA pour proposer une méthode texte-avatar appelée TECA. Cette méthode peut générer des avatars de haute qualité à partir de descriptions textuelles uniquement et permettre une édition puissante des attributs. Le système utilise d’abord une diffusion stable pour générer des images faciales comme référence, puis ajoute des cheveux, des vêtements et d’autres éléments en séquence. Les chercheurs ont déclaré que la qualité des avatars synthétiques générés par cette méthode est considérablement améliorée et que le transfert d'attributs permet de puissantes capacités d'édition.
Ces deux études apportent de nouvelles idées pour la génération humaine numérique. L'utilisation d'algorithmes d'intelligence artificielle pour déconstruire les différentes composantes des humains numériques peut non seulement créer des images virtuelles tridimensionnelles réalistes, mais également prendre en charge des applications telles que les essayages virtuels en ligne, qui auront un impact profond sur le commerce électronique de la mode, les plateformes sociales et le métaverse.