Les chercheurs de Microsoft affirment avoir développé le plus grand modèle d'intelligence artificielle 1 bit à ce jour, également connu sous le nom deBitnets". Le modèle s'appelle BitNet b1.58 2B4T et est sous licence MIT.Disponible publiquement, peut fonctionner sur des processeurs, notamment Apple M2.
Les Bitnets sont essentiellement un modèle de compression conçu pour fonctionner sur du matériel léger. Dans les modèles standards, les poids (valeurs qui définissent la structure interne du modèle) sont souvent quantifiés afin que le modèle fonctionne bien sur diverses machines. La quantification des poids réduit le nombre de bits (les plus petites unités qu'un ordinateur peut traiter) nécessaires pour représenter ces poids, permettant ainsi aux modèles de fonctionner plus rapidement sur des puces disposant de moins de mémoire.
Les Bitnets quantifient les poids en trois valeurs : -1, 0 et 1. En théorie, cela les rend plus efficaces en termes de mémoire et de calcul que la plupart des modèles actuels.
Les chercheurs de Microsoft affirment que BitNet b1.58 2B4T est le premier BitNet à disposer de 2 milliards de paramètres, les « paramètres » étant en grande partie synonymes de « poids ». Les chercheurs affirment que BitNet b1.58 2B4T, formé sur un ensemble de données de 4 000 milliards de jetons (estimé à l'équivalent d'environ 33 millions de livres), surpasse les modèles traditionnels de taille similaire.
Pour être clair, BitNet b1.58 2B4T ne bat pas exactement le modèle à 2 milliards de paramètres de la concurrence, mais il semble tenir le coup. Selon les tests des chercheurs, le modèle a surpassé le Llama 3.2 1B de Meta, le Gemma 3 1B de Google et le Qwen 2.5 1.5B d'Alibaba sur des critères tels que GSM8K (un ensemble de questions mathématiques pour les écoles primaires) et PIQA (un test des capacités de raisonnement de bon sens physique).
Peut-être plus impressionnant encore, le BitNet b1.58 2B4T est plus rapide que d’autres modèles de taille similaire – dans certains cas deux fois plus rapide – tout en n’utilisant qu’une fraction de la mémoire.
Cependant, il y a un problème. Atteindre ce type de performances nécessite l'utilisation du framework personnalisé bitnet.cpp de Microsoft, qui ne fonctionne actuellement que sur certains matériels. Les GPU, qui dominent le monde des infrastructures d’IA, ne figurent pas encore dans la liste des puces prises en charge.
En résumé,BitnetsL’avenir est peut-être prometteur, en particulier pour les appareils aux ressources limitées, mais la compatibilité reste un problème clé et le restera probablement.