Résumé :
Yao Shunyu, scientifique en chef en IA chez Tencent et ancien chercheur d'OpenAI, a récemment assisté à un séminaire scientifique à Hong Kong et a déclaré que les modèles d'intelligence artificielle de pointe évoluent rapidement dans le domaine de la biologie et que leurs capacités atteindront bientôt un point critique qui pourrait causer des dommages réels. Même si ce changement devrait promouvoir la recherche et le développement de nouveaux médicaments ainsi que l’innovation médicale, il pourrait également entraîner de nouveaux défis en matière de sécurité et susciter des inquiétudes de l’industrie quant aux risques en matière de biosécurité.
Yao Shunyu a déclaré que l'intelligence artificielle a démontré suffisamment de capacités pour avoir un réel impact dans le domaine de la sécurité des réseaux, et que les capacités biologiques approchent des niveaux similaires. Il a averti que le développement futur de l'IA dans le domaine de la biologie pourrait être plus difficile à gérer que dans le domaine de la cybersécurité, de sorte que les entreprises chinoises et les autres entreprises qui adoptent la voie du modèle ouvert doivent prendre au sérieux les questions de sécurité pertinentes.
Ces dernières années, de plus en plus de systèmes d'IA de pointe ont commencé à être appliqués aux sciences de la vie, à la recherche médicale et au développement de médicaments. Il est généralement admis dans l’industrie que l’IA devrait raccourcir considérablement le cycle de sélection et de recherche et développement des médicaments et accélérer la découverte d’options de traitement. Cependant, les experts ont également souligné que ces capacités présentent des caractéristiques de « double usage ». Tout en favorisant les progrès de la recherche scientifique, ils peuvent également être exploités par des criminels, entraînant ainsi de nouveaux risques en matière de biosécurité.
Le discours de Yao Shunyu intervient à un moment où Tencent accélère sa stratégie d'IA. Tencent a officiellement lancé le modèle phare de nouvelle génération Hy4 le 4 novembre et l'a positionné comme l'un des modèles de base les plus importants de l'entreprise. Selon les données d'Artificial Analysis, une agence d'évaluation de l'intelligence artificielle, Hy4 est actuellement classé comme l'un des modèles d'IA les plus performants en Chine.
En parlant des orientations de développement futures, Yao Shunyu a révélé que Tencent explorait la possibilité de construire un « laboratoire scientifique autonome » et espérait utiliser des systèmes d'IA pour mener à bien de manière indépendante des processus de recherche scientifique complexes, y compris certaines tâches de recherche biologique. Il estime que d’un point de vue technique, la plupart des problèmes pourront éventuellement être résolus. Les véritables défis les plus importants résident dans la gouvernance sociale, la coordination organisationnelle et la construction de systèmes de supervision de la sécurité.
Afin de réduire les risques potentiels, Tencent a adopté une série de mesures de sécurité pendant le processus de formation de Hy4. La société a déclaré avoir délibérément éliminé les données liées à l'exploitation des vulnérabilités logicielles et au comportement d'attaque, ne conservant que les connaissances défensives en matière de sécurité des réseaux, dans l'espoir de réduire les capacités d'attaque tout en conservant les capacités de protection. En ce qui concerne le domaine de la biologie, l'évaluation interne de Tencent estime que même si Hy4 possède de solides connaissances biologiques de base, il existe encore un écart évident entre la capacité de formuler de manière indépendante des procédures expérimentales et la formation de capacités à haut risque.
Yao Shunyu a particulièrement souligné que par rapport au domaine de la sécurité des réseaux, il est souvent plus difficile de distinguer clairement entre les « capacités offensives » et les « capacités défensives » dans le domaine de la biologie. Cela signifie que les chercheurs seront confrontés à des situations plus complexes lors de l’évaluation des risques des modèles, de sorte que les modèles doivent être soumis à des tests et à une validation plus rigoureux avant leur publication. Tencent coopère actuellement avec le principal laboratoire de sécurité de l'entreprise pour mener une évaluation systématique des capacités pertinentes.
En ce qui concerne le débat controversé « open source contre source fermée » de ces dernières années, Yao Shunyu a déclaré que les entreprises américaines telles qu'Anthropic préconisent de garder fermés les modèles les plus avancés pour réduire les risques sociaux potentiels. Ce point de vue a une certaine rationalité. Mais il estime également que les modèles ouverts peuvent également aider les défenseurs à améliorer leurs capacités. Ainsi, à l’avenir, l’industrie devra peut-être rechercher un équilibre entre ouverture et fermeture, plutôt que de s’appuyer entièrement sur une seule voie.
À mesure que l'intelligence artificielle s'étend progressivement de la programmation, des mathématiques et de la génération de contenu au domaine des sciences de la vie, la biologie est considérée comme l'une des frontières les plus importantes de l'IA dans la prochaine étape. Les analystes ont souligné qu'une fois que l'IA aura réellement la capacité de comprendre et d'appliquer en profondeur les connaissances biologiques, les technologies associées pourraient non seulement changer la recherche et le développement de médicaments et l'industrie médicale, mais aussi inciter les agences de réglementation mondiales à réexaminer le cadre de gouvernance de l'intelligence artificielle pour faire face aux nouveaux défis de sécurité qui en découleront.
Commentaires