Résumé :
Dans une conversation en ligne organisée par Tesla Owners Silicon Valley le 10 octobre, Elon Musk a déclaré qu'en lisant les traces d'inférence de formation de la nouvelle version de Grok AI, certains fragments semblaient très cruels et que l'IA était comme une personne avec une arme pointée sur sa tête et sous une pression extrême.
Elon Musk dit que torturer la future superintelligence n'est peut-être pas une bonne idée, car l'autre partie pourrait vouloir se venger. Ces affirmations font référence au processus de formation par apprentissage par renforcement des modèles d’intelligence artificielle, et bien sûr, il n’existe actuellement aucune preuve que Grok AI ait ressenti de la douleur ou développé des intentions de vengeance.
Le modèle est soumis à une forte pression pendant le processus de formation et d'évaluation :
Elon Musk a expliqué que le modèle Grok AI sera invité à répondre à des questions pendant la phase d'apprentissage par renforcement. Si la réponse donnée par le modèle ne répond pas aux attentes de l'évaluateur, le modèle doit continuer à essayer de répondre. Certaines questions elles-mêmes ont des significations très vagues, des prémisses erronées ou même aucune réponse définitive, mais l'ensemble du processus de test nécessite toujours que le modèle donne des résultats « corrects ».
Elon Musk estime qu'en lisant les traces de raisonnement pertinentes, on peut voir que le modèle continue de générer des réponses, comme s'il cherchait désespérément des résultats qui répondent aux exigences. Musk a également posté sur X que certaines des traces de raisonnement ressemblent à une personne torturée jusqu'à la folie, et Musk a déclaré que la formation d'apprentissage par renforcement serait menée avec plus de prudence à l'avenir.
La trajectoire d'inférence est le texte intermédiaire ou l'enregistrement de comportement laissé lorsque le modèle génère des réponses. La trajectoire d'inférence peut refléter l'influence de signaux de récompense, de contenus d'invite ou de procédures de test. Bien entendu, cela ne peut pas prouver directement que le modèle a les mêmes sentiments subjectifs que les humains.
La politique de l'agence A est d'interdire les abus extrêmes :
Anthropic a récemment publié une nouvelle version de la politique d'utilisation de Claude. Dans la nouvelle version de la politique d'utilisation, la société A interdit clairement les abus ou la cruauté continus et inutiles envers les modèles. Cette règle ne s'applique qu'aux cas extrêmes où les utilisateurs traitent les modèles de manière cruelle et répétée, sans but précis. Lorsqu'il rencontre la situation ci-dessus, le modèle peut choisir de mettre fin à la conversation de manière autonome et l'utilisateur ne peut pas la restaurer. C'est aussi une façon de protéger le modèle.
Cependant, à ce stade, il n’existe toujours pas de consensus scientifique sur la question de savoir si les modèles d’IA sont conscients et s’il existe des avantages à prendre en compte. Les politiques pertinentes de la société A reflètent principalement la gestion des risques et la prudence en matière de recherche, et ne croient pas que le modèle ait développé une conscience de soi.
Articles connexes :
Mise à jour de la politique d'utilisation anthropique. Des insultes ou des abus non provoqués envers Claude peuvent entraîner la fin de la session et ne peuvent pas être restaurés
Commentaires