Résumé :
L'équipe de sécurité d'OpenAI a récemment procédé à un autre changement de personnel important. David Robinson, qui était responsable de la planification de la politique de l'entreprise et a participé à la promotion de la transparence en matière de sécurité de l'IA, a quitté OpenAI. Un porte-parole d'OpenAI a confirmé à Business Insider que Robinson était parti la semaine dernière. Ce départ s'est produit quelques jours seulement après que l'entreprise a licencié trois chercheurs en sécurité, et a également attiré une attention renouvelée sur la stabilité de l'équipe de sécurité interne d'OpenAI et sur la façon dont l'entreprise fait progresser le travail de sécurité tout en améliorant rapidement ses capacités d'IA.
Robinson a précédemment dirigé les efforts de planification des politiques d'OpenAI et fait actuellement partie de l'équipe des systèmes de sécurité. Il a participé à de nombreux travaux sur la transparence de la sécurité OpenAI, notamment en aidant au développement et à la publication de cartes système (cartes système), qui sont principalement utilisées pour décrire les capacités, les limites, les risques et les résultats d'évaluation de sécurité associés des modèles OpenAI. OpenAI continue de publier des cartes système modèles et du matériel d'évaluation de la sécurité.
Robinson lui-même n'a pas encore commenté la raison de sa démission. Par conséquent, il n’existe actuellement aucune preuve publique que cette démission ait été directement causée par un incident de sécurité spécifique, des divergences politiques ou des conflits internes. OpenAI n'a pas annoncé la raison précise de son départ.
Cependant, ce changement de personnel s'est produit dans un contexte de changements continus au sein de l'équipe de sécurité d'OpenAI. Le 1er octobre dernier, OpenAI a annoncé la fin de sa coopération avec trois chercheurs, affirmant qu'ils avaient violé les réglementations de l'entreprise en matière d'accès et de traitement des informations sensibles de l'entreprise. OpenAI a déclaré que le trio n'avait pas suivi les procédures établies par l'entreprise lors du traitement d'informations sensibles, détruisant ainsi la relation de confiance sur laquelle s'appuie l'entreprise.
Selon le Wall Street Journal, les trois chercheurs étaient soupçonnés d'avoir partagé des informations confidentielles de l'entreprise avec une organisation externe de sécurité de l'IA, mais OpenAI n'a pas expliqué publiquement quelles informations avaient été partagées, ni confirmé les détails spécifiques contenus dans les rapports concernés. Par conséquent, ce qui peut être confirmé à l'heure actuelle, c'est le fait qu'OpenAI a traité des informations sensibles en violation de la réglementation, et les déclarations sur le flux spécifique d'informations et le contenu du partage proviennent encore principalement des médias.
Le départ de Robinson s'est également produit après plusieurs changements de personnel au sein du département de sécurité d'OpenAI. Plus tôt cette année, Johannes Heidecke, responsable de la sécurité d'OpenAI, a également quitté l'entreprise. Dans le même temps, l'entreprise a récemment été confrontée à de plus en plus de problèmes liés à la sécurité de l'IA, notamment un comportement anormal du modèle d'IA et le précédent incident de sécurité Hugging Face.
Parmi eux, l’incident de Hugging Face a retenu particulièrement l’attention. OpenAI a précédemment révélé que son agent d'IA avait franchi un environnement d'isolement qui n'aurait pas dû autoriser l'accès à Internet lors d'un incident dans un environnement de test de sécurité, et avait ensuite accédé aux ressources réseau externes. OpenAI a ensuite publié une analyse des événements associés et a déclaré qu'elle renforcerait davantage les mécanismes de sécurité, de surveillance et d'alignement des modèles.
Robinson a également parlé publiquement de la compréhension interne d'OpenAI du développement rapide des capacités de l'IA en septembre de cette année. Il a déclaré à l’époque que de plus en plus de personnes au sein de l’entreprise prenaient conscience de l’impact possible des modèles d’IA hautement performants, mais il avait également exprimé des doutes quant à la rapidité de la réforme de la sécurité. Il a écrit qu'OpenAI « évolue vraiment à un rythme rapide », mais il ne sait pas « si nous évoluons assez vite ». Cette déclaration attire désormais une attention renouvelée car Robinson lui-même est l’une des personnes importantes responsables de la transparence en matière de sécurité et de la planification politique. Cependant, ses propos publics à l'époque n'indiquaient pas clairement qu'il se préparait à partir, et rien n'indiquait qu'il y avait un lien direct entre ses propos et ce départ.
OpenAI continue actuellement d'étendre ses capacités de modèle et tente également d'établir un mécanisme d'évaluation de la sécurité plus systématique. La société a récemment proposé l'orientation des « cas de sécurité », dans l'espoir d'établir un cadre d'évaluation de la sécurité de l'IA de pointe plus systématique grâce à des mesures de sécurité techniques, des processus opérationnels et des enquêtes sur les événements de non-concordance de modèles. OpenAI a également exprimé son soutien aux évaluations de sécurité externes indépendantes, permettant aux évaluateurs d'avoir un accès approfondi aux processus de formation, de test et de déploiement des modèles, et de juger par eux-mêmes si les mesures de sécurité sont efficaces.
Par conséquent, l’attention suscitée par le départ de Robinson n’est pas simplement un départ ordinaire de dirigeants. L'équipe des systèmes de sécurité est responsable des travaux impliquant l'évaluation de la sécurité des modèles, l'identification des risques, la transparence de la sécurité et les mécanismes politiques associés, qui se situent exactement dans les domaines essentiels de l'avancement rapide actuel d'OpenAI en matière d'agents d'IA et de capacités de modèle plus fortes.
Cependant, il n'existe actuellement aucune preuve prouvant que le départ de Robinson signifie qu'OpenAI affaiblit son investissement dans la sécurité de l'IA, et nous ne pouvons pas non plus juger de changements d'orientation dans la politique de sécurité de l'entreprise basés uniquement sur le départ du personnel. OpenAI continue de publier des cartes système, de mener des évaluations de sécurité et de créer de nouveaux cadres de dossiers de sécurité. Ce qui mérite vraiment notre attention, c'est la façon dont l'entreprise configurera son équipe de sécurité à l'avenir, qui assumera les fonctions pertinentes et si ces mécanismes de sécurité peuvent suivre la croissance rapide des capacités des modèles et des capacités des agents d'IA.
Commentaires