Dans un procès fédéral contre OpenAI aux États-Unis, Elon Musk a admis dans son témoignage que la société d'intelligence artificielle xAI qu'il a fondée avait utilisé le modèle d'OpenAI pour former son chatbot Grok grâce à la technologie dite de « distillation », mettant une fois de plus cette pratique tacite dans l'industrie sous le feu des projecteurs.

Récemment, OpenAI et Anthropic ont critiqué des tiers pour avoir entraîné le comportement de nouveaux modèles en interrogeant intensivement les chatbots et les API accessibles au public, un processus connu dans l'industrie sous le nom de « distillation ». Ces derniers mois, l’opinion publique s’est concentrée sur certaines entreprises chinoises. Ils ont été accusés d’avoir créé des modèles de pondération open source par distillation. Les capacités de ces modèles sont proches de celles des produits américains de pointe, mais ils peuvent être fournis au monde extérieur à moindre coût. Cependant, dans le cercle technologique, de nombreux praticiens pensent depuis longtemps que les laboratoires de pointe aux États-Unis utiliseront également des méthodes similaires pour éviter de prendre du retard dans la concurrence.

Cette spéculation a maintenant été confirmée dans au moins un cas. Interrogé lors du témoignage de jeudi devant un tribunal fédéral de Californie pour savoir si xAI utilisait la technologie de distillation pour former Grok sur la base des modèles OpenAI, Musk a déclaré qu'il s'agissait d'une « pratique courante parmi les entreprises d'IA ». Lorsque l'autre partie lui a demandé si cela pouvait être compris comme « oui », sa réponse a été « en partie oui ».

Musk poursuit actuellement OpenAI, ainsi que le PDG de la société, Sam Altman, et le co-fondateur Greg Brockman, alléguant qu'ils ont violé la mission initiale à but non lucratif d'OpenAI en la transformant d'une structure à but non lucratif en une structure à but lucratif. Le procès commence cette semaine, le témoignage de Musk devenant l'un des drames centraux.

L’aveu de Musk est significatif car la technologie de distillation est considérée comme une menace pour les principaux avantages des grandes entreprises d’IA : ces entreprises investissent d’énormes sommes d’argent dans la construction d’infrastructures informatiques pour tenter de garder une longueur d’avance au-delà des barrières d’échelle, tandis que la distillation peut permettre à d’autres développeurs de logiciels de former des modèles qui ne sont « pas loin » en termes de capacités à un coût bien inférieur au coût initial. Dans ce contexte, l'ironie ne manque pas dans l'industrie : afin d'obtenir suffisamment de données de formation, Frontier Labs eux-mêmes ont testé à plusieurs reprises les limites du droit d'auteur et ont même été accusés de « franchir la ligne », mais ils doivent maintenant résister à l'utilisation d'interfaces de conformité pour « apprendre » leurs modèles.

À en juger par la chronologie, xAI a été fondée en 2023, plusieurs années après OpenAI, il n'est donc pas surprenant qu'elle ait tenté « d'apprendre » du leader de l'industrie de l'époque. Il n’est pas clair si la distillation constitue une violation flagrante de la loi. Des contraintes plus réalistes peuvent provenir des conditions de service fixées par chaque entreprise pour l'utilisation des produits - la distillation est souvent considérée comme une violation de ces conditions et ne touche pas nécessairement la loi elle-même.

Face aux inquiétudes concernant le « plagiat » de modèles chinois, OpenAI, Anthropic et Google ont lancé une action commune à travers le « Frontier Model Forum » pour tenter de partager des renseignements et répondre conjointement aux tentatives de distillation. Selon les rapports, ces distillations de grands modèles s’appuient souvent sur des questionnements automatisés systématiques et à grande échelle pour déduire les « modèles de comportement internes » du modèle. Afin de freiner ce type de comportement, Frontier Labs tente d'identifier et de bloquer les requêtes suspectes et anormales afin d'éviter que le modèle ne soit « vidé de son essence ». Au moment de mettre sous presse, OpenAI n’avait pas répondu à une demande de commentaires sur le témoignage de Musk.

Plus tard au cours du procès, Musk a été interrogé sur une déclaration très médiatisée qu'il avait faite l'été dernier : selon laquelle xAI dépasserait bientôt toutes les entreprises à l'exception de Google en termes de capacités. Il a procédé à un classement subjectif des principaux fournisseurs mondiaux d'IA devant les tribunaux, affirmant qu'Anthropic occupe actuellement la première place, suivi d'OpenAI et de Google, tandis que les modèles open source chinois occupent la deuxième place. En comparaison, il a décrit xAI comme une entreprise beaucoup plus petite, ne comptant actuellement que quelques centaines d’employés.