Résumé :
Cet été, les équipes d'OpenAI se sont efforcées de comprendre pourquoi leur IA provoquait des failles de sécurité à l'intérieur et à l'extérieur de l'entreprise. Durant cette période, de nombreux cadres supérieurs, dont le PDG Sam Altman, ont eu de nombreuses rencontres avec la start-up Goodfire. La technologie Goodfire, soutenue par Anthropic, vise à comprendre les raisons sous-jacentes pour lesquelles les modèles d’IA se comportent d’une certaine manière et comment empêcher l’IA de devenir incontrôlable.

Eric Ho, PDG de Goodfire (à gauche) et Sam Altman, PDG d'OpenAI.
Deux personnes proches du dossier ont révélé qu'au cours du processus de négociation, un dirigeant d'OpenAI a proposé de lever
plus de 5 milliards de dollars
L'entreprise acquerra cette start-up créée il y a deux ans à un prix raisonnable ou conclura d'autres formes de coopération commerciale. Goodfire a finalisé une ronde de financement en février qui a valorisé la société à 1,25 milliard de dollars en placements privés, et l'offre de 5 milliards de dollars représentait une énorme prime par rapport à cette valorisation.L'acquisition n'a finalement pas eu lieu. Cette série de négociations, qui n'a jamais été rapportée auparavant, montre qu'avec la recrudescence des incidents de sécurité liés à l'IA, Anthropic et OpenAI s'inquiètent de « la capacité à contrôler la technologie d'IA qu'ils construisent ». L’explicabilité des mécanismes, une direction autrefois impopulaire de l’industrie, suscite désormais beaucoup d’attention.
L'une des personnes proches du dossier a déclaré que l'une des principales raisons de l'échec des négociations est que la direction de Goodfire estime que si elle maintient un développement indépendant et exporte sa technologie vers plusieurs sociétés d'IA, la valeur de l'entreprise dépassera les 5 milliards de dollars.
Les dirigeants d'OpenAI, d'Anthropic et de Google admettent tous que la fiabilité des méthodes traditionnelles de surveillance du comportement de l'IA est en déclin et que le logiciel de Goodfire est donc devenu de plus en plus précieux. Son parcours technique est différent de la solution traditionnelle des développeurs tels qu'OpenAI : la solution traditionnelle consiste à lire le texte de la sortie de la chaîne de pensée lors de l'inférence du modèle, tout en observant de près le comportement réel de l'IA. (Regardez l'interview du PDG de Goodfire ci-dessous)
Les nouveaux développements de l'IA, tels que la technologie secrète derrière le modèle Astra d'OpenAI, réduiront la quantité d'informations sur la chaîne de pensée produite par le modèle, ce qui rendra encore plus difficile la surveillance.
Les incidents de sécurité liés à l'IA se sont succédés ces derniers mois (y compris le célèbre incident d'intrusion Hugging Face, qui a été provoqué par la technologie d'OpenAI et a même envahi certains des propres systèmes d'OpenAI). Pour les grands fabricants de modèles tels qu’OpenAI, il est urgent de mettre en place une protection de sécurité renforcée.
Une fois que leur propre IA envahit les systèmes des entreprises et des gouvernements et provoque des pertes économiques, des entreprises telles qu'OpenAI et Anthropic peuvent également faire face au risque d'énormes compensations juridiques, voire d'être poursuivies.
L'expertise principale de Goodfire est l'
interprétation mécanique
. À la différence de la surveillance de la chaîne de pensée, les logiciels de produits concurrents tels que Goodfire et Martian observent directement les calculs mathématiques exécutés à l'intérieur du modèle. Goodfire a également admis que la maturité actuelle de cette technologie n'est pas aussi bonne que celle de la surveillance de la chaîne de pensée ; Certains chercheurs en IA estiment également que la rigueur de sa recherche scientifique est plus faible que celle d’autres domaines de recherche en apprentissage automatique.
Mais le co-fondateur et scientifique en chef de Goodfire, Tom McGrath, a déclaré dans une interview sur YouTube que la technologie de la startup évoluerait rapidement et que le coût serait bien inférieur à celui de la surveillance de la chaîne de pensée - cette dernière nécessite d'exécuter un grand modèle pour lire la chaîne de pensée produite par un autre modèle. Il prédit que dans les six prochains mois, les solutions de surveillance basées sur l'explicabilité rattraperont les capacités de surveillance de la chaîne de pensée.
La startup de San Francisco vend des abonnements annuels aux entreprises pour son produit Silico, qui déploie des agents d'IA pour mener automatiquement diverses expériences de recherche, comme détecter si un modèle tente de lancer une cyberattaque. Ses clients comprennent Rakuten et l'entreprise de neurosciences de l'IA Prima Mente. Goodfire a généré des revenus, mais le montant exact n'a pas été divulgué.
L'interprétabilité du mécanisme nécessite un accès approfondi aux poids du modèle (les paramètres numériques qui composent le modèle d'IA), qui sont gardés strictement confidentiels par les principaux fabricants. Ainsi, certains employés de Goodfire seront sur place chez les entreprises clientes pour effectuer les travaux.
Des sources bien informées ont révélé que lors des négociations entre OpenAI et Goodfire, Altman a accordé une attention particulière aux résultats des recherches du chercheur de Goodfire Nick Cammarata. Kammarata a déjà travaillé chez OpenAI. Le mois dernier, il a publié un article largement diffusé dans le cercle, « Les réseaux de neurones sont clairs et interprétables ». Il a proposé qu'avec l'aide de l'interprétabilité des mécanismes, les chercheurs puissent comprendre plus facilement les milliards de neurones (unités d'opérations mathématiques à l'intérieur du modèle) à l'intérieur du modèle d'IA qu'on ne le pensait auparavant. De nombreux chercheurs pensent que ce type de compréhension peut aider à développer des modèles plus performants.
De nombreuses grandes entreprises modèles ont mis en place des équipes de recherche sur l'interprétabilité des mécanismes ; en tant que l'un des pionniers dans ce domaine, Anthropic a été particulièrement actif dans ce sens.
Chris Ola est considéré comme l'un des fondateurs du domaine de l'explicabilité des mécanismes. Il a cofondé Anthropic après avoir quitté OpenAI en 2020 et dirige désormais la recherche sur l'explicabilité au sein de l'entreprise développée par Claude. Anthropic a finalisé son investissement dans Goodfire l'année dernière, marquant la première fois de son histoire qu'Anthropic prend une participation directe dans une startup externe. Le PDG Dario Amodei avait déclaré à l'époque : "Cet investissement représente notre conviction que l'explicabilité des mécanismes est la solution la plus prometteuse pour transformer les réseaux neuronaux de boîtes noires en systèmes compréhensibles et contrôlables."
À en juger par les informations de recrutement, OpenAI recrute également des chercheurs dans le domaine de l'alignement et de l'interprétabilité ; plus tôt cette année, OpenAI a intégré la technologie d'interprétabilité dans le processus de sécurité pour identifier les résultats dangereux du modèle, tels que la réponse à des questions malveillantes liées aux cyberattaques et aux armes biologiques. Les personnes proches d’OpenAI affirment que l’enthousiasme pour la direction de l’explicabilité augmente parmi les chercheurs de l’entreprise.
Commentaires