Le 9 mars, OpenAI a annoncé l'acquisition de la plateforme de sécurité d'intelligence artificielle Promptfoo et prévoit d'intégrer pleinement la technologie de l'entreprise dans la plateforme d'agents d'entreprise d'OpenAI, OpenAI Frontier, une fois la transaction terminée. Promptfoo s'adresse principalement aux utilisateurs d'entreprise et aide à identifier et à corriger diverses vulnérabilités de sécurité pendant la phase de développement des systèmes d'IA. Ses outils ont été adoptés par plus d'un quart des entreprises Fortune 500 et prennent en charge l'évaluation et les tests en équipe rouge de grandes applications de modèles de langage via des CLI et des bibliothèques open source.
OpenAI a déclaré qu'à mesure que les entreprises déploient véritablement des « collaborateurs IA » dans les processus métier, l'évaluation, la sécurité et la conformité sont devenues des exigences fondamentales. Les entreprises ont non seulement besoin d'une approche systématique pour tester le comportement des agents et identifier les risques avant de se connecter, mais elles doivent également tenir des registres clairs pendant l'exploitation et la maintenance à long terme pour répondre aux besoins de supervision, de gouvernance et de responsabilité. Alors qu'OpenAI prévoit de poursuivre le projet open source Promptfoo, il intégrera profondément ses capacités dans Frontier pour fournir aux utilisateurs d'entreprise des solutions intégrées plus complètes.
L'équipe Promptfoo, dirigée par les co-fondateurs Ian Webster et Michael D'Angelo, a construit un ensemble d'outils matures et puissants d'évaluation et de simulation d'attaques (red-teaming) pour aider les entreprises à identifier les risques potentiels lors de l'application de grands modèles à grande échelle. OpenAI a déclaré que Promptfoo possède une profonde expérience en matière d'ingénierie dans l'évaluation, la sécurité et les tests des systèmes d'IA au niveau de l'entreprise. Son travail aide les entreprises à déployer des applications d'IA plus sûres et plus fiables. L'intégration de ces fonctionnalités directement dans Frontier améliorera considérablement le niveau de sécurité global de la plateforme.
Selon les informations publiées par OpenAI, les entreprises qui créeront à l'avenir des agents sur la plate-forme Frontier verront plusieurs fonctionnalités de base améliorées. Premièrement, les tests de sûreté et de sécurité seront intégrés en tant que fonctionnalités natives de la plateforme : les tests de sécurité automatisés et les capacités d'attaque des équipes rouges aideront les entreprises à identifier et à atténuer les risques tels que l'injection rapide, le jailbreak, la fuite de données, l'utilisation abusive des outils et le comportement des agents en dehors des politiques. Deuxièmement, les capacités de sécurité et d'évaluation seront plus étroitement intégrées au flux de travail de développement, permettant aux équipes d'identifier, de dépanner et de réparer les risques liés aux agents à un stade plus précoce, faisant ainsi de la sécurité l'un des aspects essentiels du développement et de l'exploitation des systèmes d'IA au niveau de l'entreprise. Troisièmement, la plateforme renforcera les capacités de surveillance et de responsabilisation en intégrant des outils de reporting et de traçabilité pour aider les organisations à enregistrer les processus de test, à surveiller les profils de risque au fil du temps et à répondre à des exigences de plus en plus strictes en matière de gouvernance, de risque et de conformité.
Ian Webster, co-fondateur et PDG de Promptfoo, a déclaré que l'intention initiale de Promptfoo était de fournir aux développeurs une solution pratique et réalisable pour assurer la sécurité des systèmes d'IA. À mesure que les agents d’IA sont de plus en plus étroitement connectés aux données réelles et aux systèmes clés, la difficulté et l’importance de leur protection en matière de sécurité et de leur vérification systématique augmentent rapidement. Il a déclaré que rejoindre OpenAI permettra à Promptfoo d'accélérer les investissements dans cette direction et d'apporter des capacités de sécurité, de fiabilité et de gouvernance renforcées aux équipes qui construisent des systèmes d'IA du monde réel.
OpenAI a déclaré qu'il était ravi de rejoindre l'équipe Promptfoo et qu'il continuerait à créer des outils pertinents pour aider les entreprises à déployer des applications d'IA et des systèmes d'agents de manière sûre et fiable. La finalisation de l'acquisition reste soumise à la satisfaction des conditions de clôture habituelles.