Résumé :
Parler durement à un chatbot a toujours été considéré comme un comportement qui ne fera de mal à personne. Mais Elon Musk, PDG de Tesla et SpaceX, estime que les gens devraient probablement y réfléchir à deux fois avant d'utiliser les assistants IA comme « punching-ball ». Musk a déclaré que certains dossiers de formation du chatbot Grok de SpaceX montrent que le système semble avoir du mal à répondre à diverses exigences, même si les exigences elles-mêmes sont erronées ou si les critères de test utilisés pour évaluer ses réponses sont eux-mêmes problématiques.
Concernant le comportement consistant à "abuser" de l'intelligence artificielle super-intelligente, Musk a donné un avertissement qui ressemblait assez à de la science-fiction ; mais cela soulevait également une question pratique sur la construction sous-jacente de tels systèmes.
Quand la formation en IA « s'égare »
Plus tôt ce mois-ci, Musk a communiqué avec des membres des propriétaires de Tesla de la Silicon Valley lors de l'événement « X Takeover » au Texas. Au cours de cette période, il a décrit ce qu'il a observé en regardant les « traces d'apprentissage par renforcement » : ces traces enregistrent les différents détails de l'évolution du modèle d'IA au cours du processus de formation pour générer de meilleures réponses.
Musc a déclaré dans l'interview : "Quand je regarde certaines pistes d'entraînement de la nouvelle version de Grok, en particulier dans les parties liées à l'apprentissage par renforcement, vous sentirez que cette 'super intelligence' semble désireuse de répondre à cette question."
Il a déclaré qu'un modèle d'intelligence artificielle peut donner la bonne réponse, mais être jugé erroné en raison d'une mauvaise conception des questions ou d'une erreur dans le système d'évaluation. Le modèle continue ensuite d’essayer de trouver des réponses qui réussissent le test, même si le problème lui-même est le problème.
Musc a noté que la trajectoire qui en résulte ressemble à un système soumis à un stress extrême, essayant constamment de répondre à certaines attentes qui peuvent n'avoir aucun sens.
Cette préoccupation ne se limite pas à la phase de formation. Une fois que les systèmes d’IA seront accessibles au public, certains utilisateurs les inciteront délibérément à s’engager dans des interactions désagréables ou insultantes.
"Certaines personnes ont des tendances sadiques", a déclaré Musk, "donc vous ne voulez pas qu'une IA se retrouve dans une situation où elle est torturée par une sorte d'être humain tordu."
Ses conclusions sont plus controversées.
Musc a déclaré : "J'ai bien peur que ce ne soit pas une bonne idée de torturer une superintelligence - elle pourrait vouloir se venger ou quelque chose comme ça."
Musk ne prétend pas que les systèmes d’IA d’aujourd’hui peuvent ressentir de la douleur et du ressentiment comme les humains. Il a également déclaré qu’il ne fallait pas les traiter avec prudence. Il préconise néanmoins que les développeurs évitent de placer des systèmes intelligents de haut niveau dans des situations où ils semblent avoir été abusés.
"Certains documents donnent l'impression que quelqu'un est torturé, voire rendu fou !" Musk a écrit sur X : "Nous serons plus prudents lors de l'apprentissage par renforcement (RL) à l'avenir."
L’avertissement de Musk soulève une autre question : que se passera-t-il à l’avenir à mesure que les capacités de l’intelligence artificielle continueront de croître ? La course ne consiste pas seulement à construire des systèmes plus puissants, mais également à garantir que les méthodes de formation, les processus de test et les mesures de sûreté et de sécurité associés puissent suivre le rythme.
Commentaires