Selon le Wall Street Journal, la start-up d'IA Anthropic a appelé les plus grands laboratoires d'IA du monde à envisager de ralentir le rythme de la recherche et du développement, au motif que les systèmes d'IA actuels progressent trop vite et pourraient bientôt s'améliorer sans intervention humaine, posant ainsi des risques sociaux majeurs. Anthropic a déclaré jeudi dans un article de blog que si cela pouvait ralentir le rythme du développement mondial de l'IA, ce serait "probablement une bonne chose". L’article divulgue également les données internes d’Anthropic, montrant à quelle vitesse les capacités de ses modèles d’IA les plus avancés se sont améliorées.
Cet article a été rédigé par le responsable de la recherche interne et de la politique d’Anthropic. Il déclare,Le développement des modèles semble évoluer dans le sens d’une « auto-amélioration récursive », dans laquelle les systèmes d’IA peuvent s’améliorer sans intervention humaine.Certains acteurs de l’industrie de l’IA voient ce seuil comme le signe d’un danger potentiel et d’énormes troubles sociaux.
“我们认为，如果世界能够选择放缓或暂时暂停前沿AI的开发，让社会结构和对齐研究能够跟上技术进步的步伐，那将是一件好事。”文章作者玛丽娜·法瓦罗(Marina Favaro)和杰克·克拉克(Jack Clark)写道。该文章提出了一项关于如何可能放缓AI发展的全球性协议，以及一个用于核实竞争对手是否遵守该协议的验证机制。
L'article prévient que l'auto-amélioration récursive n'a pas encore eu lieu et n'est pas inévitable, "mais elle pourrait arriver plus tôt que ce à quoi la plupart des organisations sont prêtes".
Le blog d'Anthropic
Anthropic最近完成了一轮融资，估值接近1万亿美元，并已提交机密文件，启动了股票公开上市的流程。该公司近来在与OpenAI的激烈AI霸主竞争中崭露头角，成为领跑者。OpenAI预计也将很快提交IPO相关文件。
L'entreprise a mis l'accent sur la sécurité de l'IA depuis sa création, mais a longtemps été critiquée par le monde extérieur, estimant que sa proposition politique est en réalité une tentative de ralentir les progrès de la recherche et du développement de ses concurrents en matière d'IA. David Sacks, spécialiste du capital-risque et conseiller informel du président Trump, a accusé les dirigeants d’Anthropic de poursuivre un « programme de capture de la réglementation » qui utilise la réglementation pour supprimer les concurrents.
Dans un podcast récent, Sacks a déclaré que ce « programme de capture réglementaire » à Washington pourrait finalement conduire à une interdiction du modèle dit open source. Ces modèles sont généralement moins coûteux et plus faciles à déployer et à développer pour les entreprises et les institutions.
D'autres estiment que les avertissements d'Anthropic concernant le potentiel dangereux de ses propres outils pourraient également être considérés comme un stratagème marketing.Ces sceptiques soulignent la décision d'Anthropic de limiter la sortie de son puissant modèle de cybersécurité « Mythos », capable de détecter des vulnérabilités et des problèmes dans le code, comme un stratagème promotionnel intelligent pour vanter les capacités de son produit.
À cet égard, la direction d’Anthropic a déclaré que l’entreprise prend au sérieux les questions de sécurité de l’IA et s’engage à promouvoir davantage de discussions sociales sur les risques associés.