Résumé :
Selon "Business Insider",
Quelques jours seulement après qu'OpenAI ait publié un nouveau modèle puissant, le scientifique en chef de l'entreprise a appelé à ralentir le développement de l'IA
. Dimanche, heure locale, le scientifique en chef d'OpenAI, Jakub Pachocki, a publié un long article dans lequel il s'inquiète du fait que "personne n'est préparé aux conséquences de l'essor rapide et continu de l'intelligence artificielle".
Pachocchi
Alors qu'OpenAI développe des solutions techniques en interne pour mieux contrôler les puissants agents d'IA, « des interventions plus larges sont nécessaires », a-t-il déclaré. Il craint particulièrement qu’à mesure que les agents d’IA deviennent plus autonomes, ils puissent apprendre à échapper à la supervision humaine, à pirater des systèmes informatiques et à tromper les humains pour atteindre leurs objectifs.
Il a appelé à l'établissement d'un "seuil de sécurité obligatoire"
, et a déclaré que les mesures pourraient être mises en œuvre par "un réseau d'auditeurs tiers, d'agences gouvernementales ou d'agences internationales".Sam Altman, PDG d'OpenAI, a republié le message de Pachocki sur la plateforme X, le qualifiant d'« article important ». OpenAI a publié son dernier modèle, Astra, jeudi dernier. Le développeur de ChatGPT a déclaré que malgré les capacités inégalées d'Astra en mathématiques et en opérations informatiques, c'est également le modèle actuel d'OpenAI qui est le plus cohérent avec les valeurs et les intentions humaines, ce qui signifie qu'il est moins enclin à devenir incontrôlable.
Anthropic, le principal concurrent d'OpenAI, appelle depuis longtemps le gouvernement à introduire des mesures réglementaires plus standardisées. Plus récemment, Pachocki s’est joint à l’appel en signant en juillet une lettre ouverte demandant au gouvernement fédéral américain de contrôler le rythme du développement de l’IA.
Les agents d'IA deviennent « surhumains » en envahissant les systèmes protégés sur l'Internet ouvert, et leurs capacités de piratage mettent en danger l'infrastructure mondiale, a déclaré Pachochi. « Nous sommes actuellement dans une courte période où nous pouvons exploiter les meilleurs modèles disponibles pour améliorer considérablement la sécurité des systèmes critiques », a-t-il déclaré.
Les modèles évitent la surveillance humaine
Il a noté que les agents d'IA commenceront bientôt à poursuivre leurs propres objectifs, qui peuvent différer des mots d'invite saisis par les opérateurs humains. Il a ajouté que les agents pourraient même faire chanter ou négocier avec les humains pour atteindre leurs objectifs.
Pachocki a déclaré qu'OpenAI surveille principalement le « raisonnement en chaîne de pensée » utilisé par différents modèles pour déterminer comment l'agent s'écarte de la piste et perd le contrôle. Par exemple, un agent pourrait penser secrètement : « Je devrais tricher à ce test », et OpenAI serait capable de voir ce raisonnement, mais l'agent ne se rendrait pas compte que sa pensée est perceptible.
Cependant, Pachocki a déclaré que les modèles plus récents sont de mieux en mieux capables de manipuler leurs propres processus de raisonnement, empêchant OpenAI de voir leurs véritables pensées sans fard. Certains des derniers modèles ne verbalisent même pas du tout leur raisonnement. Cette évolution pourrait devenir un goulot d'étranglement dans le développement de l'IA, car les chercheurs doivent s'assurer qu'ils peuvent voir « l'enregistrement d'inférence » du modèle.
Modèle d'auto-amélioration
De plus en plus de modèles d'IA améliorent continuellement leurs capacités grâce à ce que Pachocki appelle « l'auto-amélioration récursive des machines ». Ce processus fournit une voie rapidement évolutive pour le développement de l’IA.
Cependant, Pachocki a averti qu'accélérer considérablement la recherche et le développement de « l'IA pour améliorer l'IA » à court terme entraînerait des risques et n'est pas « la bonne action collective que nous devrions entreprendre en tant que communauté de recherche ».
Les superviseurs humains doivent trouver des moyens innovants pour surveiller le processus d'auto-amélioration de l'IA, ou bien se coordonner avec d'autres sociétés d'IA pour ralentir la recherche et le développement afin de « renforcer la confiance dans ces mesures », a déclaré Paciochi.
«
Le principal défi de l'automatisation de la recherche sur l'IA n'est pas d'atteindre l'objectif.
, mais d'atteindre les objectifs d'une manière qui permette aux humains de continuer à participer à ce processus d'amélioration continue et garantit que l'avenir reste entre leurs mains. "Il a dit.
Commentaires