Résumé :
Sony a récemment déposé un nouveau brevet sur une technologie d'intelligence artificielle, qui propose d'utiliser l'IA pour prédire la prochaine image du jeu avant que la carte graphique ne termine le rendu, réduisant ainsi le décalage d'écran et essayant d'éviter les problèmes de retard supplémentaires causés par certaines technologies de génération d'images existantes. Selon la description du brevet, le système peut générer une image prédite à l'avance sur la base de l'image la plus récemment rendue et des dernières informations d'entrée du contrôleur du joueur, et l'afficher au joueur avant que l'image suivante ne soit officiellement rendue.
Cette technologie cible principalement une faille dans le schéma actuel de génération de trames partielles. De nombreuses solutions existantes nécessitent l'obtention de deux trames terminées avant de pouvoir calculer et générer la trame interpolée entre elles, et le processus d'attente que la deuxième trame soit terminée introduit des retards supplémentaires. La nouvelle méthode de Sony tente d'éviter cette phase d'attente et d'utiliser directement les images existantes pour prédire les images futures au lieu d'interpoler entre deux images.
En théorie, cette méthode devrait maintenir une sortie d'image plus fluide lorsque la charge de rendu augmente et que la fréquence d'images diminue. Cependant, le document de brevet ne fournit pas de résultats de tests de performances spécifiques, son impact réel sur l'amélioration de la latence et la qualité de l'image finale reste donc à vérifier.
Du point de vue de la mise en œuvre technique, Sony a conçu une architecture d'encodeur et de décodeur formés conjointement. L'encodeur est chargé de convertir l'image rendue en une représentation numérique compacte, un vecteur d'intégration ; le décodeur génère ensuite une image prédite sur la base de ces données.
Pendant que le jeu est en cours d'exécution, le système fonctionnera en synchronisation avec le pipeline de rendu graphique. Lorsque le matériel restitue l'image suivante, l'IA traite l'image précédente en même temps et envoie les résultats de la prédiction dans le tampon d'affichage. De cette façon, l’image prédite peut être affichée avant que l’image réellement rendue ne soit terminée, comblant ainsi le vide de rendu.
Le brevet mentionne également que le modèle peut utiliser des vecteurs de mouvement et les dernières données d'entrée du contrôleur pour améliorer la précision des prédictions. Les vecteurs de mouvement peuvent refléter la direction et la vitesse de déplacement des objets dans l'image, tandis que les opérations clés peuvent refléter les dernières intentions comportementales du joueur. Les deux peuvent fournir à l’IA plus d’informations que la seule image précédente.
La phase de formation utilise des images vidéo continues comme source de données. Le réseau neuronal commence d'abord l'entraînement avec des poids aléatoires, reçoit une image d'image en entrée et essaie de prédire l'image suivante, puis compare les résultats de la prédiction avec les images réelles suivantes, mesure l'erreur via la valeur de perte et optimise en permanence le modèle.
Selon la description du brevet, le système détectera en permanence si la valeur de perte atteint le seuil défini pendant le processus de formation. Étant donné que la vidéo continue elle-même peut fournir de véritables images de référence, l’ensemble du processus de formation ne nécessite pas d’annotation manuelle des données. De plus, le décodeur produit plus de canaux de couleur que l'encodeur n'en reçoit, ce qui signifie que le système aura la capacité de générer plusieurs images prédites à la fois à l'avenir.
En plus de la solution IA, Sony a également proposé une alternative non artificielle. Ce schéma génère des images synthétiques en déplaçant des blocs de pixels en fonction des informations de mouvement sans utiliser de modèles d'encodeur et de décodeur entraînés. Le document de brevet affirme également que ces technologies devraient éviter de réduire la qualité de l'image tout en maintenant un débit de sortie d'image fixe, mais on ne sait toujours pas si les images générées peuvent réellement produire des effets visuels similaires au rendu natif.
Les experts du secteur estiment que le test clé de cette technologie est de savoir si l'IA peut générer avec précision des images prédites à une vitesse suffisamment rapide et remplir les espaces d'affichage en temps opportun lorsque les performances de rendu diminuent. Le brevet montre une idée réalisable, mais son effet réel doit encore être vérifié par de futures démonstrations de produits ou de technologies.
Commentaires