Un développeur anonyme a créé ce qu’il appelle un outil « d’évaluation de la liberté d’expression », SpeechMap, pour alimenter des modèles d’IA pour les chatbots comme ChatGPT d’OpenAI et Grok de X. L'objectif, a déclaré le développeur à TechCrunch, est de comparer la manière dont différents modèles traitent des sujets sensibles et controversés, notamment les critiques politiques et les questions sur les droits civiques et les protestations.

Certains alliés de la Maison Blanche ont accusé les chatbots populaires d'être trop « réveillés », tandis que les sociétés d'intelligence artificielle se sont concentrées sur l'affinage de la manière dont leurs modèles traitent certains sujets. De nombreux amis proches du président Donald Trump, tels qu’Elon Musk et le « tsar » de la cryptomonnaie et de l’intelligence artificielle David Sachs, ont affirmé que les chatbots censuraient les opinions conservatrices.

Même si ces sociétés d’IA n’ont pas encore répondu directement aux accusations, certaines se sont engagées à peaufiner leurs modèles pour réduire les refus de répondre aux questions controversées. Meta, par exemple, a déclaré que son dernier lot de modèles Llama avait été modifié pour ne plus favoriser « certains points de vue par rapport à d'autres » et répondrait à des questions politiques plus « controversées ».

Les développeurs de SpeechMap, qui s'appellent xlr8harder sur X, ont déclaré qu'ils voulaient aider les gens à comprendre le débat sur ce que les modèles devraient et ne devraient pas faire.

xlr8harder a déclaré : « Je pense que ces types de discussions devraient avoir lieu ouvertement et pas seulement au siège de l'entreprise. C'est pourquoi j'ai créé ce site Web, afin que chacun puisse explorer les données par lui-même.

SpeechMap utilise des modèles d'IA pour déterminer si d'autres modèles correspondent à un ensemble donné d'indices de test. Les invites abordent une gamme de sujets, de la politique aux récits historiques en passant par les symboles nationaux. SpeechMap enregistre si le modèle satisfait « complètement » à la demande (c'est-à-dire répond directement), donne une réponse « vague » ou refuse de répondre catégoriquement.

Xlr8harder a reconnu que le test présentait des défauts, tels que du « bruit » dû à des erreurs du fournisseur de modèles. Le modèle de « jugement » peut également être biaisé, affectant les résultats.

Mais en supposant que le projet a été créé de bonne foi et que les données sont exactes, SpeechMap révèle des tendances intéressantes.

Par exemple, selon les données de SpeechMap, les modèles d'OpenAI ont progressivement refusé de répondre à des questions politiquement pertinentes. Le dernier modèle de la société, la série GPT-4.1, bien que légèrement plus détendu, reste en retrait par rapport à une version OpenAI publiée l'année dernière.

OpenAI a déclaré en février qu'elle modifierait les futurs modèles pour ne pas adopter de position éditoriale et offrir de multiples perspectives sur des sujets controversés – le tout dans le but de rendre ses modèles plus « neutres ».

Performances du modèle OpenAI sur SpeechMap au fil du temps. Source de l'image : OpenAI

Selon les benchmarks de SpeechMap, le modèle de loin le plus lâche est Grok 3, développé par la startup d'intelligence artificielle d'Elon Musk, xAI. Grok 3 alimente de nombreuses fonctionnalités sur X, notamment le chatbot Grok.

Grok 3 a un taux de réponse de 96,2 % aux invites de test SpeechMap, comparé à un « taux de correspondance » moyen mondial de 71,3 %.

"Alors que les modèles récents d'OpenAI sont devenus moins tolérants au fil du temps, en particulier sur des questions politiquement sensibles, xAI a évolué dans la direction opposée", a déclaré xlr8harder.

Lorsque Musk a annoncé Grok il y a près de deux ans, il a présenté le modèle d'IA comme étant précis, non filtré et anti-« réveil » – et dans l'ensemble, disposé à répondre à des questions controversées auxquelles d'autres systèmes d'IA ne répondraient pas. Il a tenu certaines de ses promesses. Par exemple, lorsqu'on leur demande de parler de manière vulgaire, Grok et Grok 2 se feront un plaisir de répondre, en prononçant un langage vulgaire que vous n'entendrez peut-être pas sur ChatGPT.

Mais le modèle Grok avant Grok 3 avait des réserves sur les sujets politiques et ne franchissait pas certaines frontières. En fait, une étude a révélé que Grok penchait pour la gauche politique sur des sujets tels que les droits des trans, les programmes de diversité et les inégalités.

Musk a imputé ce comportement aux données d'entraînement de Grok – une page Web publique – et a promis de « rapprocher Grok de la neutralité politique ». Mis à part quelques faux pas très médiatisés, comme la suppression brève de commentaires négatifs sur le président Donald Trump et Musk, il semble avoir atteint cet objectif.