NVIDIA s'est associé aux équipes de recherche de GeorgiaTech, UMD et HKPU pour lancer un nouveau modèle de langage visuel : NVEagle.Il est rapporté que NVEagle peut comprendre des scènes complexes de la vie réelle et fournir une meilleure interprétation et réponse grâce à une entrée visuelle.
Le cœur de sa conception est de convertir des images en balises visuelles, puis de les combiner avec des intégrations de texte pour améliorer la compréhension des informations visuelles. NVEagle comprend trois versions : Eagle-X5-7B, Eagle-X5-13B et Eagle-X5-13B-Chat. Parmi elles, les versions 7B et 13B sont principalement utilisées pour des tâches générales de langage visuel, tandis que la version 13B-Chat est spécifiquement optimisée pour l'IA conversationnelle et peut mieux interagir en fonction de la saisie visuelle.
L'un des points forts de NVEagle est l'adoption d'un mécanisme Mixed Expert (MoE), capable de sélectionner dynamiquement l'encodeur visuel le plus approprié en fonction de différentes tâches, ce qui améliore considérablement les capacités de traitement d'informations visuelles complexes.Le modèle a été publié sur HuggingFace pour la commodité des chercheurs et des développeurs.