Résumé :
Aujourd'hui, le dernier modèle de langage flash Hy4 de Tencent Hunyuan a été publié. La quantité totale de paramètres du modèle est de 224B (y compris les paramètres Engram de 64B), les paramètres d'activation ne sont que de 12B et il prend en charge la multimodalité et une longueur de contexte de 1M. Le flash Hy4 est le modèle Hy le plus rentable à ce jour : l'entrée est de 0,5 yuan par million de jetons, la sortie est de 2 yuans et seulement 0,02 yuan est nécessaire pour accéder au cache. Le prix est nettement inférieur à celui du Hy4.

Selon les rapports, afin d'atteindre la rentabilité ultime tout en tenant compte du niveau d'intelligence et de praticité, l'équipe Hunyuan a effectué une série de travaux :
Dans la phase de pré-entraînement, Hy4 Flash ajoute des fonctionnalités architecturales telles que l'attention hybride, LatentMoE et Engram. La taille du cache KV n'est que de 1/24 de Hy3 et 1/6 de Hy4, et un grand nombre d'expériences d'échelle de mise à l'échelle garantissent que l'effet répond aux attentes.
Dans la phase post-formation, un fort niveau d'intelligence globale est obtenu grâce à l'auto-distillation Hy4, puis la longueur de la tâche de bout en bout est réduite de 50 % grâce à l'apprentissage par renforcement.
Au cours de la phase d'évaluation, un ensemble d'évaluation interne WorkIndex basé sur des tâches WorkBuddy typiques a été construit, combiné à des évaluations humaines, pour se concentrer sur les effets du produit sur le travail quotidien, la durée de sortie d'un seul cycle et le temps de bout en bout, plutôt que sur des scores de liste publique qui sont très éloignés du travail quotidien.
Au stade de l'inférence, combiné au méga-noyau, à la quantification 4 bits, au dflash et à d'autres moyens d'optimisation extrême, la vitesse de décodage flash Hy4 dépasse 150 tps et peut être déployée et exploitée à grande échelle à faible coût.
Au final, le flash Hy4 est légèrement meilleur que l'aperçu Hy4 avec des paramètres plus grands en termes d'effet global (les paramètres totaux sont de 770B, les paramètres d'activation sont de 49B), mais le coût est nettement inférieur. Selon des calculs complets basés sur l'ensemble d'évaluation interne WorkIndex (couvrant les tâches typiques de WorkBuddy telles que la production et la modification de PPT, l'édition de documents, la réparation de tableaux, le traitement audio et vidéo et la compréhension visuelle), le coût d'une tâche unique du flash Hy4 n'est que de 1/13 de l'aperçu Hy4, 1/20 de Hy4 et 1/8 de DeepSeek-V4.1-Flash-1027 (niveau maximum, prix aux heures chargées).
Il est rapporté que Hy4 Flash a été lancé sur Tencent Cloud TokenHub, WorkBuddy, Yuanbao, Enterprise WeChat, QQ, ima, Marvis et d'autres produits, et sera bientôt connecté à OpenRouter. Avant le 30 novembre, les utilisateurs peuvent utiliser WorkBuddy gratuitement pendant une durée limitée et utiliser l'API Tencent Cloud TokenHub avec une réduction de 50 % pendant une durée limitée.
Commentaires