Selon les informations du 12 décembre, xAI, une startup d'intelligence artificielle appartenant à Tesla et au PDG de SpaceX, Elon Musk, a récemment lancé son robot de discussion Grok, mais quelque chose semble s'être mal passé. Vendredi, le testeur de sécurité Jax Winterbourne a publié une capture d'écran sur la plateforme de médias sociaux
Cela a éveillé la curiosité des gens car Grok n'a pas été développé par OpenAI et les deux parties sont toujours concurrentes.
Ce qui est encore plus intéressant, c’est que les gens de xAI n’ont pas nié que ce comportement se produisait dans leurs modèles d’IA. Igor Babuschkin a écrit dans sa réponse : « Le problème est que lorsque nous formions Grok, le réseau était plein de sorties ChatGPT, et nous en avons accidentellement utilisé certaines. Nous avons également été très surpris lorsque nous avons remarqué ce problème pour la première fois. Quoi qu'il en soit, ce problème est très rare, et maintenant que nous en sommes conscients, nous allons nous assurer que les futures versions de Grok n'auront pas ce problème. Ne vous inquiétez pas, aucun code OpenAI n'a été utilisé pour développer Grok.
En réponse à Babushkin, Winterbourne a écrit : "Merci pour votre réponse. Je dirai que cette situation n'est pas rare et se produit fréquemment lorsqu'il s'agit de création de code. Néanmoins, je laisserai à ceux qui se spécialisent dans les grands modèles de langage et l'intelligence artificielle le soin d'en discuter davantage. Après tout, je ne suis qu'un profane."
Cependant, pour de nombreux experts, l'explication de Babouchkine n'a pas semblé convaincante. Les grands modèles de langage ne crachent généralement pas leurs données de formation textuellement, et il serait compréhensible que Grok mentionne les politiques d'OpenAI en ligne. Refuser de répondre sur la base de la politique d’OpenAI peut nécessiter une formation spécialisée. La raison la plus probable à cela est que Grok a affiné les données de sortie du grand modèle de langage OpenAI.
Le chercheur en IA Simon Willison a déclaré dans une interview : « Je suis un peu sceptique à ce sujet. Grok se comporte-t-il ainsi simplement parce qu'Internet est inondé de contenu généré par ChatGPT ? J'ai vu beaucoup de modèles ouverts sur HuggingFace présentant le même comportement, comme s'ils étaient également identiques à ChatGPT. il est plus probable que Grok soit réglé sur l'ensemble de données contenant la sortie ChatGPT, plutôt que sur un accident basé sur les données du réseau.
À mesure que les grands modèles de langage d'OpenAI deviennent de plus en plus puissants, il est devenu de plus en plus courant que certains projets d'intelligence artificielle (en particulier les projets open source) utilisent des données synthétiques générées par d'autres grands modèles de langage pour affiner le résultat de leurs propres modèles d'intelligence artificielle. Affiner le comportement d'un modèle d'IA peut servir à des fins spécifiques, telles que l'amélioration des capacités de codage après une première phase de formation. En mars de cette année, un groupe de chercheurs de l'Université de Stanford a fait sensation en utilisant les résultats du modèle GPT-3 d'OpenAI (nommé Text-DaVinci-003) pour affiner le suivi des instructions.
En ligne, nous pouvons facilement trouver plusieurs ensembles de données open source que les chercheurs ont collectés à partir des résultats de ChatGPT. Ainsi, xAI a peut-être affiné Grok en utilisant l'un des ensembles de données pour atteindre certains objectifs spécifiques. Cette pratique est si courante qu'il existe même un article intitulé « Comment utiliser ChatGPT pour créer un ensemble de données » sur le site Web de guide de vie de style encyclopédique WikiHow.
C’est une façon d’utiliser les outils d’intelligence artificielle pour créer des outils d’intelligence artificielle plus complexes, tout comme les gens ont commencé à utiliser des micro-ordinateurs pour concevoir des microprocesseurs plus complexes que des dessins sur papier et au crayon. Cependant, xAI pourra peut-être éviter cela à l'avenir en filtrant plus soigneusement les données d'entraînement.
Bien qu'emprunter le travail d'autrui puisse être courant dans la communauté de l'apprentissage automatique (même si cela est généralement contraire aux conditions de service), cet incident a intensifié la concurrence entre OpenAI et xAI, qui remonte même aux critiques passées d'Elon Musk à l'égard d'OpenAI. Alors que la nouvelle se répandait selon laquelle Grok pourrait emprunter les données du modèle OpenAI, le compte officiel ChatGPT a même publié un article se moquant de xAI, disant : « Nous avons beaucoup en commun » et citant le message de Winterbourne. Musk a riposté : "Vous collectez toutes les données d'entraînement de cette plateforme, vous devriez le savoir !"