Résumé :
Selon les développeurs du projet, la fonction d'interpolation de trame accélérée par GPU de Nvidia a été intégrée à FFmpeg via l'API Vulkan. FFmpeg est un ensemble d'outils logiciels largement utilisé qui prend en charge un grand nombre de plates-formes, de services et d'applications de traitement multimédia modernes, y compris YouTube.
Grâce à cette nouvelle fonctionnalité, FFmpeg peut appeler la carte graphique NVIDIA GeForce RTX pour prédire et générer l'image suivante sans passer par le processus de rendu graphique traditionnel. NVIDIA étend cette capacité au codage vidéo, permettant aux utilisateurs d'augmenter la fréquence d'images vidéo grâce à la technologie de génération d'images. L'accélérateur de flux optique (NVOFA) des cartes graphiques NVIDIA applique à la vidéo la logique de flux optique utilisée dans le rendu graphique, prédit l'image suivante et améliore la fréquence d'images vidéo grâce aux images intermédiaires générées par l'intelligence artificielle. NVIDIA appelle ce processus « Conversion d'augmentation de la fréquence d'images assistée par moteur (FRUC) ».
FRUC n'est pas seulement un algorithme de lissage d'image au sens traditionnel du terme. Il utilise l'accélérateur de flux optique dédié de NVIDIA pour calculer les informations de mouvement entre des images sources consécutives. NVENC est chargé de fournir les données de trame côté codage, et le matériel de flux optique génère des vecteurs de mouvement qui décrivent le mouvement des objets dans l'image. FFmpeg peut ensuite synthétiser des images intermédiaires sur la base de ces informations de mouvement, augmentant ainsi efficacement la fréquence d'images de la vidéo sans restituer le contenu original.
Ce schéma est également plus efficace que l'interpolation de trame implémentée par logiciel. L'interpolation logicielle pure impose généralement des exigences de calcul beaucoup plus élevées au processeur. La nouvelle implémentation de Vulkan permet à FFmpeg d'accéder directement au matériel NVIDIA tout en évitant les dépendances logicielles propriétaires qui empêchaient la fusion des correctifs antérieurs soumis en 2023 dans le projet.
NVIDIA a initialement lancé l'accélérateur de flux optique à l'ère de l'architecture "Turing" de la série GeForce RTX 20. Cependant, l'implémentation actuelle basée sur l'API Vulkan ne prend officiellement en charge que les GeForce RTX 30 série « Ampere » et les modèles plus récents. Cette nouvelle fonctionnalité est donc disponible pour les utilisateurs de cartes graphiques des séries GeForce RTX 30, RTX 40 et RTX 50.
Grâce à l'interpolation d'images assistée par GPU, la fréquence d'images vidéo peut être doublée : une vidéo de 30 images peut être affichée à 60 images, et la vidéo de 24 images courante dans les films peut être augmentée à 48 images. Les utilisateurs doivent uniquement exécuter l'outil FFmpeg localement pour utiliser cette fonctionnalité.
Commentaires