DeepSeek annonce NSA pour une formation et une inférence ultra-rapides en contexte long. Selon lui, la NSA est un mécanisme d’attention clairsemée cohérent au niveau matériel et pouvant être entraîné de manière native pour une formation et une inférence ultra-rapides sur un contexte long.
Avec une conception optimisée pour le matériel moderne, NSA accélère l'inférence tout en réduisant les coûts de pré-formation sans compromettre les performances.
Il correspond ou surpasse pleinement les modèles d'attention sur les critères généraux, les tâches à contexte long et le raisonnement basé sur des instructions.
Rédacteur en chef : Liu Mingliang