Résumé :
Jacob Coxon a annoncé sa démission d'Anthropic sur X. Il a déclaré qu'il était engagé dans des recherches de pré-formation chez OpenAI et Anthropic au cours des trois dernières années, mais estime qu'aucune des deux sociétés ne fait progresser le développement de l'IA de manière responsable. Au lieu de cela, ils « vont directement vers une superintelligence qui s’améliore elle-même » et mettent en danger la sécurité humaine.
Coxon a déclaré que les systèmes d'IA actuellement construits dans ces laboratoires fermés auront bientôt des capacités « surhumaines », capables de mener des attaques de piratage, de changer du jour au lendemain le modèle d'un certain domaine et d'acquérir du pouvoir et des ressources dans le monde réel. Il a souligné que les progrès de la recherche pertinente ont continué à progresser dans de multiples directions et ne montrent aucun signe évident de ralentissement.
Il a également mentionné qu'à en juger par les déclarations publiques du PDG d'OpenAI, Sam Altman, et du PDG d'Anthropic, Dario Amodei, le monde extérieur pourrait penser que les deux sociétés font avancer prudemment le développement de l'IA, mais il estime que ce n'est pas le cas. Coxon affirme que ces praticiens croient en privé que l’IA « pourrait tous nous tuer d’ici la fin du siècle », et qu’il ne s’agit pas là d’un discours marketing ; il a également déclaré que des dirigeants tels qu'Altman et Amodei ajusteraient leur rhétorique face aux médias pour paraître plus sobres, mais qu'en privé, ils sont en réalité profondément inquiets de ce qui est en train de se créer.
Selon lui, les cultures internes d'OpenAI et d'Anthropic sont également différentes. Coxon a déclaré que de nombreux employés d'OpenAI ne sont pas « profondément conscients des risques impliqués au niveau de la civilisation » ; Chez Anthropic, les risques sont « très clairs pour tout le monde », mais l'entreprise est toujours engagée dans la course pour être la première à développer l'AGI. Coxon a déclaré qu'Anthropic pensait que, puisque d'autres pourraient ne pas agir de manière responsable, elle devait d'abord gagner la course.
Coxon estime que dans ce contexte, de nombreuses décisions clés ne devraient pas être prises uniquement dans Slack, dans des entreprises privées. Il se montre prudemment optimiste quant à une coordination accrue entre les laboratoires américains d’IA après les événements récents, mais estime qu’une telle coopération sera inefficace une fois étendue aux laboratoires en dehors des États-Unis. À cette fin, il a proposé d’envisager une interdiction temporaire des améliorations de la capacité des modèles.
À la fin de son article, Jacob Coxon a appelé les autres chercheurs du laboratoire à réfléchir sérieusement aux cinq prochaines années, non pas pour continuer à éviter les problèmes, mais pour pousser le développement de l'IA dans des directions différentes.
Commentaires