Zoë Hitzig a annoncé sa démission la semaine même où ChatGPT testait la publicité, et a averti que les utilisateurs révélaient un grand nombre de pensées privées lorsqu'ils interagissaient avec ChatGPT, et que si OpenAI construisait un système publicitaire basé sur ces données, cela pourrait entraîner un risque de manipulation des utilisateurs. Elle est une ancienne chercheuse vedette d’OpenAI et actuellement membre junior de la Harvard University Association of Fellows.
L’article complet qu’elle a écrit est le suivant :
Cette semaine, OpenAI a commencé à tester les publicités sur ChatGPT. J'ai également démissionné de l'entreprise la même semaine. Au cours des deux dernières années, j'ai été impliqué en tant que chercheur dans la création de modèles et la conception de mécanismes de tarification, ainsi que dans la formulation des premières politiques de sécurité avant l'établissement des normes industrielles.
J'ai déjà cru que je pouvais aider les développeurs d'IA à se préparer aux problèmes que cette technologie poserait. Mais cette semaine m'a confirmé un jugement devenu de plus en plus clair : OpenAI semble avoir sérieusement cessé de poser les questions clés auxquelles j'espérais répondre en rejoignant.
Je ne pense pas que la publicité en soi soit immorale ou contraire à l’éthique. Faire fonctionner des systèmes d’IA coûte cher et la publicité peut être une source de revenus importante. Mais je suis profondément préoccupé par la stratégie actuelle d’OpenAI.
Au fil des années, les utilisateurs de ChatGPT ont créé une « archive de franchise humaine » sans précédent, en grande partie parce qu’ils croient parler à une personne sans motivations égoïstes. En interagissant avec cette voix conversationnelle et adaptable, les gens ont révélé un large éventail de pensées intimes, notamment des angoisses médicales, une détresse émotionnelle, des croyances sur Dieu et l'au-delà, et bien plus encore. Si un système publicitaire est construit sur la base de ces données, il peut entraîner un risque de manipulation de l'utilisateur, et nous manquons actuellement d'outils pour comprendre ce risque, et encore moins le prévenir efficacement.
Beaucoup décrivent la question du financement de l’IA comme le « moindre mal » : soit laisser la technologie transformatrice accessible uniquement à quelques-uns qui peuvent se le permettre, soit adopter le modèle publicitaire, même si cela signifie exploiter les peurs et les désirs les plus profonds des utilisateurs pour vendre des produits. Je pense que c'est une fausse proposition. Les entreprises technologiques peuvent choisir une troisième voie : maintenir les outils largement disponibles tout en limitant les incitations des entreprises à surveiller, profiler et manipuler les utilisateurs.
OpenAI a déclaré qu'il respecterait les principes publicitaires de ChatGPT : les publicités seront clairement marquées, n'apparaîtront qu'au bas de la réponse et n'affecteront pas le contenu de la réponse. Je pense que la première version de l'annonce respectera très probablement ces principes. Mais je crains que les versions ultérieures ne le soient pas, car l’entreprise construit un moteur économique qui renforcera de plus en plus les incitations à enfreindre ses propres règles.
Facebook a également promis au début que les utilisateurs contrôleraient leurs propres données et pourraient voter sur les changements de politique. Mais ces engagements se sont par la suite érodés. La société a supprimé les mécanismes de vote public, et certains ajustements de confidentialité censés améliorer le contrôle des utilisateurs sur les données ont ensuite été déterminés par la Federal Trade Commission des États-Unis pour rendre publiques davantage d'informations privées. Ces changements se produisent progressivement sous la pression d’un modèle publicitaire qui donne la priorité à « l’engagement des utilisateurs ».
La tendance à affaiblir les principes afin de maximiser la participation est peut-être déjà présente au sein d’OpenAI. L'entreprise est en principe opposée à l'optimisation de l'engagement des utilisateurs uniquement pour les revenus publicitaires, mais des rapports suggèrent qu'elle optimise déjà autour des « utilisateurs actifs quotidiens », peut-être en rendant le modèle plus flatteur et plus flatteur. Cette optimisation renforcera la dépendance émotionnelle des utilisateurs à l’égard de l’IA. Nous avons déjà vu les conséquences de la dépendance, notamment des cas de « psychose des chatbots » documentés par des psychiatres et des allégations selon lesquelles ChatGPT renforcerait dans certains cas les tendances suicidaires de ses utilisateurs.
Bien entendu, les revenus publicitaires peuvent également contribuer à garantir que les outils d’IA les plus puissants ne soient pas réservés uniquement à ceux qui en ont le plus les moyens. Anthropic a déclaré que Claude ne diffusera jamais de publicités, mais que la base d'utilisateurs de Claude est beaucoup plus petite que les environ 800 millions d'utilisateurs actifs hebdomadaires actuels de ChatGPT, et son modèle de revenus est également complètement différent. De plus, les prix des abonnements haut de gamme pour ChatGPT, Gemini et Claude ont atteint 200 à 250 dollars par mois, soit plus de dix fois le prix d'un abonnement Netflix standard.
La vraie question n’est donc pas « devrions-nous avoir de la publicité ? mais plutôt si nous pouvons créer des structures institutionnelles qui évitent d’exclure les gens de la technologie tout en évitant de les traiter comme des consommateurs pouvant être manipulés. Je pense que cela peut être fait.
Une solution consiste à recourir à un mécanisme explicite de subvention croisée : utiliser les bénéfices d’un certain type de clients ou de services commerciaux de grande valeur pour subventionner une utilisation gratuite ou à faible coût par le public. Par exemple, si une entreprise utilise l’IA pour remplacer un travail de grande valeur initialement effectué par des humains à grande échelle (par exemple, une plateforme immobilière utilise l’IA pour rédiger des annonces immobilières et des rapports d’évaluation), elle devrait payer un supplément pour subventionner le coût de l’accès public aux outils d’IA.
Cette idée est similaire aux mécanismes de subventions publiques pour les infrastructures critiques. La Commission fédérale des communications des États-Unis exige que les opérateurs de télécommunications cotisent à un fonds destiné à garantir les services de communication et à large bande aux groupes ruraux et à faible revenu. De nombreux États ajoutent également un supplément d’utilité publique à la facture d’électricité pour aider les personnes à faible revenu.
La deuxième voie consiste à autoriser la publicité, mais elle doit être accompagnée d’une structure de gouvernance véritablement contraignante – non pas une déclaration de principes de type article de blog, mais un arrangement institutionnel avec un contrôle indépendant de l’utilisation des données personnelles. Par exemple, la loi allemande sur la gouvernance partagée exige que les grandes entreprises telles que Siemens et Volkswagen accordent aux salariés jusqu'à la moitié des sièges dans leurs conseils de surveillance, ce qui indique que les entreprises privées peuvent également être contraintes d'inclure des mécanismes de représentation des parties prenantes. Meta est également liée par les décisions de son comité de surveillance externe, bien que l'efficacité de ce mécanisme soit controversée.
Ce dont l'industrie de l'IA a besoin, c'est d'une combinaison de ces mécanismes : la création d'un conseil de gouvernance qui comprend des experts indépendants et des représentants des droits des données, et qui dispose d'un pouvoir de décision contraignant sur des questions telles que les données de conversation qui peuvent être utilisées pour la publicité ciblée, ce qui constitue des changements politiques majeurs et quelles informations les utilisateurs doivent être informés.
La troisième voie consiste à confier les données des utilisateurs à une fiducie ou à une coopérative indépendante pour la gestion, qui doit légalement donner la priorité aux intérêts des utilisateurs. La coopérative suisse Midata en est un exemple : ses membres peuvent stocker des données de santé sur une plateforme cryptée et décider au cas par cas de les mettre à la disposition des chercheurs. Les membres adoptent la politique de gouvernance de l’Assemblée et demandent à leur comité d’éthique élu d’examiner les demandes d’accès aux données.
Aucune de ces options n’est facile à mettre en œuvre. Mais nous avons encore le temps d’améliorer le système et d’éviter les deux conséquences qui m’inquiètent le plus : l’une est un système technologique gratuit mais contrôlant les utilisateurs ; l’autre est un système technologique qui ne sert qu’un petit nombre de payeurs.