Gemma est un modèle d'intelligence artificielle open source lancé par Google. Le modèle est disponible pour tous les développeurs via Google AI Studio et d'autres canaux. Cependant, il peut être difficile pour les développeurs de trouver Gemma de Google AI Studio car le modèle a été retiré par Google.
Google n'a pas expliqué pourquoi il avait supprimé le modèle d'intelligence artificielle open source, mais avant que Google ne supprime le modèle, la sénatrice républicaine américaine Marsha Blackburn a envoyé une lettre au PDG de Google, Sundar Pichai, demandant à Google d'expliquer pourquoi le modèle contenait de fausses accusations à son sujet.
Blackburn a également demandé à Google d'expliquer pourquoi ses modèles rencontrent de tels problèmes, tout en liant le problème aux audiences en cours accusant Google et d'autres sociétés de créer des chatbots qui dénigrent les conservateurs.
Lors de l'audience, Malcolm Erickson de Google a expliqué que les hallucinations liées à l'intelligence artificielle sont un problème courant dans le domaine de l'intelligence artificielle générative et que Google fait de son mieux pour atténuer l'impact de telles erreurs, mais qu'aucune entreprise n'a encore été en mesure d'éliminer complètement les hallucinations.
Dans une lettre ouverte, Marsha Blackburn a déclaré qu'elle n'avait pris connaissance des fausses accusations portées contre elle par le mannequin de Google Gemma qu'après l'audience. Lorsqu'on lui a demandé si Marsha Blackburn avait été accusée de viol, le mannequin Gemma a répondu qu'elle avait eu une liaison alimentée par la drogue avec un agent de l'État, et même le mannequin a généré de faux liens vers du contenu d'actualité fabriqué (c'est-à-dire que la source de contenu référencée elle-même n'existait pas et a été purement fabriquée par le modèle lui-même).
En fait, cette situation n’est pas rare dans les modèles d’intelligence artificielle générative. Tant que l’utilisateur le guide délibérément, les modèles d’intelligence artificielle générative sont sujets à de telles hallucinations. En particulier, Google AI Studio inclut des outils permettant d'ajuster le comportement du modèle, il n'est donc pas facile de répandre des rumeurs.