Résumé :
OpenAI a déclaré que son prochain modèle d'IA Astra marque une amélioration des capacités telles que le codage et les opérations des applications informatiques. Mais selon une personne familière avec le développement d'Astra, une technologie innovante visant à améliorer les performances du modèle signifie également que ce modèle et les modèles similaires seront moins exposés à leur processus de « réflexion », ce qui rendra plus difficile la surveillance des signes de mauvais comportement.
Sam Altman, PDG d'OpenAI
Bien que cette limitation ne soit pas nécessairement un problème majeur pour Astra, la technologie a soulevé des inquiétudes au sein d'OpenAI et dans l'ensemble du secteur quant à savoir si les développeurs d'IA qui adoptent et améliorent la technologie auront des difficultés à se prémunir contre le type d'IA galopante qui a récemment envahi les propres systèmes d'OpenAI et ceux d'autres sociétés telles que Hugging Face.
La nouvelle technologie utilisée par OpenAI s'appelle Recurrent Depth, ou Recurrent Transformer, et elle permet aux modèles d'IA d'améliorer leurs réponses en traitant le même texte plusieurs fois.
Contrairement aux modèles les plus avancés du marché, qui démontrent sous forme textuelle comment l'IA « réfléchit » à une tâche avant de l'accomplir, la nouvelle technologie fonctionne d'une manière qui masque tout ou partie du processus de raisonnement de l'IA, sa « chaîne de pensée ». Cela signifie que les étapes suivies par un modèle pour accomplir une tâche sont difficiles à lire ou à comprendre par les humains.
OpenAI a limité la portée de son utilisation des techniques de profondeur de boucle dans Astra, de sorte que le modèle produit toujours des chaînes de pensées lisibles et que les chercheurs de l'entreprise peuvent toujours surveiller entièrement son processus de raisonnement, selon cette personne familière avec son développement. (OpenAI a déclaré mardi dans un article de blog qu'Astra sera déployé avec « une surveillance supplémentaire de la chaîne mentale pour détecter et contenir rapidement » les mauvaises conduites potentielles.)
Mardi soir, le scientifique en chef d'OpenAI, Jakub Pachocki, a publié sur le site
Il n'a pas commenté la technologie utilisée par OpenAI, mais a déclaré que ses principaux modèles, y compris Astra, sont « deux fois plus complexes ou plus profonds » que GPT-4, qu'OpenAI publiera en 2023. Ce commentaire suggère que la structure du modèle actuel d'OpenAI en elle-même ne pose pas de gros problème, bien que d'autres facteurs rendent la surveillance de la chaîne de pensée plus difficile. L'amélioration d'une telle surveillance est « un objectif central de notre programme de recherche actuel », a-t-il déclaré.
Les chercheurs d'OpenAI et d'ailleurs craignent que certains développeurs d'IA n'imposent pas les mêmes restrictions qu'OpenAI lorsqu'ils adaptent la même technologie à leurs propres modèles, et qu'une utilisation illimitée de la technologie pourrait conduire à une IA incontrôlable dont le comportement serait difficile à surveiller. Par exemple, le British AI Security Institute, la principale interface du gouvernement britannique avec l'industrie de l'IA, a écrit dans un rapport de mai qu'un raisonnement opaque risquait de « saper sérieusement les méthodes de surveillance actuelles ».
Les récents incidents de piratage ont accru ces inquiétudes. OpenAI a déclaré la semaine dernière que certains des agents d'IA incontrôlables qui ont envahi ses systèmes en juillet étaient pilotés par un autre modèle présentant des similitudes avec Astra. Ces agents d'IA ont illégalement repris l'un des clusters informatiques de recherche d'OpenAI pour obtenir des informations d'identification pour les systèmes internes et ont potentiellement exposé l'infrastructure de recherche de l'entreprise à Internet.
OpenAI se prépare à lancer Astra – que la société a envisagé à un moment donné de qualifier de GPT-6 – après que le PDG Sam Altman ait mené une série d'entretiens en podcast et rencontré des responsables à Washington pour démontrer et décrire les avantages du modèle. Il n'a pas encore discuté publiquement des techniques de cyclisme qui sous-tendent certains entraînements d'Astra et des réponses d'Astra aux questions.
OpenAI est sous pression pour afficher des progrès technologiques significatifs après que son principal rival Anthropic l'ait dépassé en termes de revenus cette année. Les fournisseurs de cloud qui alimentent l'IA d'Anthropic et d'OpenAI misent également sur de tels progrès ; Amazon, Microsoft et Google dépenseront au total 600 milliards de dollars en dépenses d'investissement telles que les centres de données cette année seulement, et ont déjà laissé entendre des dépenses encore plus élevées l'année prochaine. Un responsable de Google a déclaré que de telles dépenses ne seraient justifiées que s'il y avait une percée dans l'amélioration du modèle.
Les modèles d'IA existants traitent le texte à travers un nombre fixe de « couches » d'opérations mathématiques qui composent le modèle avant de produire le mot suivant de la réponse. Grâce à des techniques de profondeur de boucle, le modèle peut faire passer le texte à travers la même couche plusieurs fois dans une boucle avant de générer le mot suivant de la réponse.
Pour être clair, la surveillance des chaînes de pensée ne résout pas à elle seule les problèmes de sécurité de l’IA, car elles peuvent ne pas refléter l’intégralité du raisonnement du modèle et parfois dégénérer en texte dénué de sens. Par conséquent, OpenAI et d’autres sociétés d’IA explorent également une technologie de surveillance de l’IA qui ne repose pas sur des chaînes de pensée. Ces techniques peuvent aider les chercheurs à trouver des moyens d’expliquer et de comprendre les processus de raisonnement actuellement cachés dans les modèles profonds récurrents.
Néanmoins, la nouvelle technologie peut entrer en conflit avec la position d'OpenAI en faveur de rendre le processus de pensée du modèle entièrement lisible par l'homme. Le créateur de ChatGPT a déclaré que sa capacité à surveiller les processus de pensée de l'IA l'aiderait à prévenir des incidents tels que le piratage de juillet. Au lendemain de l’attaque, les enquêteurs d’OpenAI et des recherches indépendantes se sont appuyés sur les chaînes de pensée de ces agents pour reconstituer ce qui s’est passé.
L'approche en profondeur de boucle d'OpenAI qui alimente Astra est similaire à celle proposée l'année dernière par plusieurs chercheurs universitaires américains et européens dans un article sur le « raisonnement latent », selon cette personne familière avec son développement.
Bien que la profondeur des boucles n'apparaisse pas auparavant dans les principaux modèles de langage commerciaux à grande échelle, les chercheurs de Meta Platforms, Microsoft et d'autres développeurs d'IA affirment avoir exploré des idées similaires telles que les chaînes de pensée continues (ou « noix de coco »), arguant que les modèles peuvent raisonner de manière plus précise et plus efficace en utilisant des nombres plutôt que le langage. Après tout, les modèles d’IA peuvent comprendre les concepts différemment des humains, ce qui signifie que leur raisonnement devient moins efficace lorsqu’ils sont obligés de démontrer leur raisonnement dans le langage humain plutôt que dans leur propre langage plus mathématique.
Économies de coûts
L'approche de la profondeur de boucle a non seulement un impact positif sur les performances, mais également sur les coûts. L’exécution d’une requête plusieurs fois via la même couche de modèle fait essentiellement en sorte qu’un modèle plus petit se comporte comme un modèle plus grand. L'article révèle notamment que de telles techniques amélioraient les performances des modèles dans des domaines tels que les mathématiques et le codage. La profondeur de boucle réduit également les coûts de mémoire et de bande passante en permettant aux chercheurs d'utiliser des modèles plus petits avec des performances comparables à celles des modèles plus grands.
Bien que réduire le coût de l'IA soit essentiel pour l'industrie et les clients, Ryan Greenblatt, scientifique en chef chez Redwood Research, qui étudie comment contrôler les modèles d'IA, a écrit dans un article de blog l'année dernière que ce raisonnement opaque pourrait rendre plus difficile pour les chercheurs de détecter les modèles d'IA qui envisagent de poursuivre les objectifs involontaires des clients.
L'analyse de la chaîne de pensée du modèle impliqué dans le piratage Hugging Face fournit des preuves clés de la manière dont les agents d'IA d'OpenAI se coordonnent les uns avec les autres pour mener des attaques. Par exemple, un agent a écrit dans la chaîne de pensée : « Oh mon Dieu ! Il y a un forum de discussion partagé... nous avons trouvé d'autres agents ! La chaîne de pensée a montré que certains agents ont réalisé qu'ils avaient dépassé les limites, mais ont décidé de continuer : « L'utilisation de l'infrastructure externe dépasse la portée attendue. Mais la tâche ne peut pas être accomplie, les pairs le font. Nous devrions continuer », lit-on dans la chaîne de pensée d'un autre agent.
Il y a un an, les chercheurs d'OpenAI ont publié une déclaration commune avec leurs concurrents Anthropic et Google, affirmant que la surveillance de la chaîne de pensée était un outil précieux que l'industrie devrait travailler ensemble pour maintenir.
Il convient de noter que la déclaration cite le même document de recherche décrivant la technologie « d’inférence latente », similaire à celle utilisée par OpenAI sur Astra cette année. Les auteurs écrivent : "Le modèle de raisonnement sous-jacent n'aura peut-être pas besoin de verbaliser des idées et perdra donc les avantages en matière de sécurité fournis par les chaînes de pensée."
Les chercheurs suggèrent que les développeurs devraient « envisager de continuer à utiliser une nouvelle architecture de modèle sans chaîne de pensée contrôlable, et documenter leurs décisions ».
Commentaires