Selon le site technologique The Verge, OpenAI a publié un avis mercredi et publiera une nouvelle majeure ce jeudi. Selon des indications claires d'OpenAI, le grand modèle tant attendu GPT-5 est sur le point d'être dévoilé.
OpenAI publiera GPT-5
OpenAI a déclaré dans la bande-annonce que la société a remplacé le s dans le mot livestream par 5, faisant peut-être allusion à la sortie d'un modèle GPT-5.
Aperçu d'OpenAI
Certains signes récents indiquent que GPT-5 est imminent. Dimanche, Sam Altman, PDG d'OpenAI, a publié une capture d'écran avec les mots « ChatGPT 5 » dans le coin supérieur gauche. Lundi, le directeur de la recherche appliquée de l’entreprise a également déclaré qu’il « attendait avec impatience la façon dont le public percevrait GPT-5 ». En outre, Altman a déclaré le mois dernier qu'OpenAI prévoyait de publier GPT-5 «bientôt».
Un journaliste de The Verge a rapporté le mois dernier qu'OpenAI prévoyait de lancer GPT-5 début août.
L'amélioration n'est pas si grande
Cependant, deux premiers testeurs de GPT-5 se sont déclarés impressionnés par la capacité du modèle à programmer et à résoudre des problèmes scientifiques et mathématiques, mais ils pensaient que l'amélioration de GPT-4 à GPT-5 n'était pas aussi importante que celle de GPT-3 à GPT-4.
Le bond du GPT-4 est principalement dû à une puissance de calcul plus forte et à davantage de données. OpenAI espérait continuer à améliorer les performances des modèles d'IA grâce à des méthodes « d'expansion » similaires.
Cependant, OpenAI a rencontré quelques problèmes au cours du processus d’expansion, et l’un des obstacles était les goulots d’étranglement des données. Ilya Sutskever, ancien scientifique en chef d'OpenAI, a souligné l'année dernière que même si la puissance de calcul continue de croître, la quantité de données disponibles n'a pas augmenté au même rythme.
Suzkovi fait référence au fait que les grands modèles de langage s'appuient sur l'exploration d'énormes quantités de données provenant de l'ensemble d'Internet pour la formation, et que les laboratoires d'IA n'ont actuellement aucun autre moyen d'obtenir d'aussi grandes quantités de données textuelles générées par l'homme.
Outre le problème du manque de données, un autre défi réside dans le fait que le système étant extrêmement complexe, le processus de formation des grands modèles est plus susceptible aux pannes matérielles. Ce qui est encore plus gênant, c’est que les chercheurs doivent souvent passer plusieurs mois à terminer l’ensemble du processus de formation avant de pouvoir enfin évaluer les performances du modèle.