Le 27 avril, selon le Wall Street Journal, dans le drame historique biblique "Le Roi de David" produit par Amazon, de vrais acteurs jouaient des anges déchus et des femmes mortelles, et le paysage environnant était un chef-d'œuvre généré par l'IA, comme un ciel sombre gris acier et des crêtes de montagnes escarpées.
Figure 1 : L'arrière-plan de « La Dynastie de David » est généré à l'aide de l'IA
Il y a eu 850 plans d'effets visuels au cours de la première saison de la série, dont 73 ont été créés à l'aide de l'IA générative, y compris un outil développé par le site de vidéo chinois Kuaishou. Wonder Project, le producteur de la série, a déclaré que cela permettait d'économiser le coût d'un tournage coûteux sur place.
Des superproductions hollywoodiennes aux courtes vidéos des réseaux sociaux, les créateurs de vidéos se tournent de plus en plus vers l’IA pour produire du contenu qui nécessitait autrefois de grandes équipes de vidéastes.
"À mesure que les coûts de production diminuent, le seuil permettant aux créateurs d'expérimenter et de tester de nouvelles idées diminue également", a déclaré Zeng Yushen, responsable des opérations chez Keling AI, le grand modèle de Kuaishou Video. Le modèle d'IA développé par la société a été utilisé dans la production du "Roi de David".
Un grand mannequin vidéo chinois ouvre la voie
Même si la plupart des Américains ne s’en rendent pas compte lorsqu’ils regardent la télévision ou parcourent des vidéos sur leur téléphone, la Chine joue un rôle important dans ce domaine. Les entreprises chinoises représentent sept des 10 meilleurs modèles de génération vidéo classés par la plateforme d’évaluation Artificial Analysis, qui rivalisent avec des concurrents tels que Google et xAI d’Elon Musk.
Ce mois-ci, un modèle de génération vidéo appelé « HappyHorse » est devenu viral après avoir battu ses rivaux américains lors d'une évaluation aveugle de la qualité. Plus tard, le géant chinois du commerce électronique Alibaba a révélé que ce modèle était le sien.
Figure 2 : La Chine représente 7 des dix principaux modèles vidéo
Plus tôt cette année, Bytedance a lancé son dernier générateur vidéo IA, Seedance 2.0, qui a également attiré beaucoup d'attention. Il peut convertir des invites textuelles en scènes de courts métrages réalistes. TikTok de ByteDance est en concurrence avec Kuaishou, qui compte des centaines de millions d'utilisateurs en Chine.
Tilly Zhang, analyste technologique au sein de la société de recherche Gavekal, a déclaré que ces plates-formes "contiennent naturellement d'énormes quantités de données vidéo courtes étiquetées qui peuvent être utilisées pour la formation de modèles. Cela crée une barrière de données difficile à reproduire pour la plupart des entreprises".
Défis du modèle vidéo
OpenAI a récemment décidé de fermer son service de génération vidéo Sora et de mettre fin à son partenariat avec Disney. D’autres sociétés américaines comme Google continuent d’investir activement dans ce domaine.
La fermeture de Sora met en évidence les défis techniques et juridiques auxquels est confrontée la vidéo IA. La génération d’une vidéo peut nécessiter des centaines de fois plus de puissance de calcul qu’une application de chatbot produisant une réponse textuelle. OpenAI espère éviter d’investir dans des projets marginaux qui consomment trop de puissance de calcul pour se concentrer sur des produits avec des marges bénéficiaires plus élevées.
Les problèmes de droits d’auteur affligent également l’industrie. ByteDance a retardé la sortie de sa mise à jour Seedance aux États-Unis après l'opposition d'Hollywood. En Chine, certains acteurs bien connus ont également récemment condamné publiquement l’utilisation non autorisée de leurs portraits dans des vidéos générées par l’IA.
Figure 3 : OpenAI arrête Sora
La plateforme vidéo chinoise iQiyi a récemment été mêlée à une controverse. Lorsque son PDG Gong Yu a présenté un projet d'IA comprenant une bibliothèque de licences de portraits de célébrités, il a déclaré : « La photographie avec de vrais acteurs pourrait bientôt devenir une chose du passé. » Dès que cette déclaration a été rendue publique, de nombreux acteurs connus se sont rapidement prononcés et ont déclaré qu'ils n'avaient rien à voir avec le projet.
Pourtant, la vidéo IA est de plus en plus intégrée dans la vie quotidienne en ligne des gens, notamment en Chine mais aussi aux États-Unis, où les deux superpuissances s'influencent mutuellement. Plus tôt cette année, une série de courtes parodies absurdes de films d’arts martiaux sur l’IA ont recueilli des milliards de vues sur les réseaux sociaux chinois et ont inspiré un grand nombre de fans à créer des vidéos similaires. Les vidéos originales ont été produites par une entreprise alimentaire chinoise à l’aide des outils d’IA de ByteDance pour promouvoir son produit de canard braisé.
Certaines startups chinoises de modélisation vidéo investissent dans des « modèles mondiaux », conçus pour simuler le monde physique. Certains chercheurs affirment que les robots humanoïdes équipés d’excellents modèles du monde peuvent présenter des comportements plus proches des humains.
Qu'il s'agisse de modèle mondial ou de génération de vidéo IA, il est nécessaire de maîtriser les lois mathématiques et physiques de base du mouvement des objets dans le monde réel. De nombreuses entreprises comme Aishi Technology et Shengshu Technology investies par Alibaba progressent simultanément dans ces deux directions techniques.
IA pour les jeux courts
L’industrie des courts métrages dramatiques, en pleine croissance, est devenue l’un des premiers à adopter la technologie de génération vidéo IA. Ces séries, qui tournent autour de la romance ou des querelles de famille, ne durent que quelques minutes chacune et sont conçues pour garder les téléspectateurs rivés à l'écran de leur téléphone. En raison du rythme serré et des fréquents renversements d’intrigue, les téléspectateurs sont souvent moins sensibles aux défauts visuels lorsqu’ils regardent ce type de contenu sur petit écran.
Ce type de contenu a explosé en Chine et des mini-séries sont intégrées aux sites de commerce électronique et aux applications de livraison de nourriture pour attirer l'attention des consommateurs. Récemment, ce modèle a également progressivement émergé aux États-Unis. Des plateformes telles que ReelShort et DramaBox, construites par des fondateurs chinois, ont généré des dizaines de millions de dollars de revenus auprès du public américain.
Dans un studio de Hangzhou, dans l'est de la Chine, Shao Zhikun dirige une équipe de production de courts métrages dramatiques IA de 60 personnes. Il a dit que leur flux de travail ressemblait plus à un jeu de loterie qu'à la réalisation d'un film.
Afin de créer une scène utilisable, l'équipe de Shao Zhikun doit saisir à plusieurs reprises des mots d'invite dans le modèle d'IA, ce qui consomme beaucoup de temps et de puissance de calcul. Parfois, dit-il, les clips produits avec succès sont d'une qualité suffisante pour servir de base à un polissage ultérieur. L'équipe a également découvert comment économiser de l'argent en générant d'abord des images statiques moins chères, puis en utilisant ces images comme guides pour aider le modèle à générer des vidéos, réduisant ainsi les coûts.
L'équipe de Shao Zhikun utilise les outils de Bytedance pour produire 100 courts métrages dramatiques chaque mois pour des plateformes telles que Hongguo Short Drama et ReelShort de Bytedance. Shao Zhikun a déclaré que les coûts de production varient de quelques centaines de dollars américains à plus de 10 000 dollars américains, ce qui ne représente qu'une petite partie du budget traditionnel.
Le chef d'équipe de 29 ans a déclaré : "La logique ici est différente. Nous n'essayons pas de créer des chefs-d'œuvre artistiques. Tant qu'un ou deux drames deviennent des succès, le coût peut être récupéré."
Semblables aux jeux vidéo, les mini-séries tentent d'attirer les téléspectateurs avec des épisodes ou des bandes-annonces gratuits, puis les obligent à payer ou à regarder des publicités pour débloquer le contenu suivant. Ils peuvent également inclure des pauses publicitaires au sein de l'émission.
Zeng Yushen, responsable des opérations chez Kuaishou Keling AI, a déclaré que la demande de l'industrie du divertissement augmente également en dehors de la Chine. Miracle Pictures, le producteur de la série "King of David", a révélé que lors de la deuxième saison, le nombre de plans produits à l'aide d'outils d'IA générative était plus de quatre fois supérieur à celui de la première saison.
Zeng Yushen a déclaré que 70 % des revenus de Keling provenaient de l'extérieur de la Chine et que les États-Unis constituaient son principal marché. Kuaishou a déclaré qu'il prévoyait des dépenses en capital d'environ 3,8 milliards de dollars cette année, principalement pour répondre aux besoins croissants en puissance de calcul de Keling.
"Je prédis que d'ici un an ou deux, les vidéos basées sur l'IA atteindront un niveau où il sera vraiment difficile pour les gens de faire la différence entre l'authenticité et la fausseté", a déclaré Zeng Yushen. "Cette technologie deviendra un pilier de l'industrie du cinéma et du divertissement."