Microsoft s'est peut-être associé à OpenAI et à son modèle de langage à grande échelle GPT pour aider à créer des services d'IA génératifs comme Copilot (anciennement l'outil de chat Bing). Cependant, l’entreprise développe également son propre modèle linguistique. Cette semaine, Microsoft Research a annoncé la sortie d'Orca2, la deuxième version de son langage Orca.
Microsoft a déclaré dans un article de blog qu'Orca2 est conçu pour le LM à petite échelle, mais peut toujours être utilisé pour répondre à des questions complexes telles que le LLM. Orca2 est disponible en deux tailles (7 milliards et 13 milliards de paramètres) et est construit en partie à l'aide de Llama2LLM, que Microsoft a aidé Meta à lancer plus tôt cette année. La société a affiné le modèle basé sur Llama2 « sur la base de données synthétiques sur mesure et de haute qualité ».
Microsoft affirme que cela rend le modèle Orca2 comparable aux autres modèles de langage « 5 à 10 fois plus grands » pour résoudre les problèmes :
Orca2 est formé à l’aide d’un ensemble de données synthétiques étendu et hautement personnalisé. La génération de ces données de formation enseigne à Orca2 diverses techniques de raisonnement, telles que le traitement étape par étape, le rappel puis la génération, la génération de rappel-inférence, la génération d'extraction et la réponse directe, et lui apprend également à choisir différentes stratégies de solution pour différentes tâches.
Le modèle Orca2 a effectué une série de tests de référence avec de grands modèles de langage tels que Llama2 et WizardLM. Le contenu du test comprend « la compréhension du langage, le raisonnement de bon sens, le raisonnement en plusieurs étapes, la résolution de problèmes mathématiques, la compréhension en lecture », etc.
Le blog officiel de Microsoft déclare : Nos résultats de tests préliminaires montrent que les performances d’Orca2 dépassent largement celles des modèles de taille similaire. Il a également atteint des niveaux de performances similaires ou supérieurs à ceux de modèles au moins 10 fois plus grands, démontrant le potentiel d'équiper des modèles plus petits avec de meilleures capacités d'inférence.
Bien que Microsoft reconnaisse qu'Orca2 présente des limites, les tests effectués jusqu'à présent montrent « le potentiel d'avancées futures ». Microsoft publiera Orca2 en tant que projet open source afin que d'autres puissent le développer.