OpenAI a déclaré vouloir intégrer la contribution du public sur la manière de garantir que ses futurs modèles d'IA soient "alignés sur les valeurs humaines". À cette fin, la startup d'intelligence artificielle a annoncé aujourd'hui qu'elle formait une nouvelle équipe « d'alignement collectif » de chercheurs et d'ingénieurs pour créer un système qui recueille l'opinion publique sur le comportement de ses modèles et l'« encode » dans les produits et services d'OpenAI.
"Nous continuerons à travailler avec des conseillers externes et des équipes de financement, notamment en menant des projets pilotes pour intégrer... des prototypes dans nos conseils de modèle", a écrit OpenAI dans un article de blog. "Nous recrutons... des ingénieurs de recherche issus de divers horizons techniques pour nous aider à réaliser ce travail ensemble."
L'équipe CollectiveAlignment est le fruit d'un programme public lancé par OpenAI en mai dernier pour financer des expériences visant à établir des « processus démocratiques » permettant de décider quelles règles les systèmes d'intelligence artificielle doivent suivre. Lorsque OpenAI a lancé le programme pour la première fois, son objectif était de financer des individus, des équipes et des organisations pour développer des preuves de concept répondant aux questions sur la protection et la gouvernance de l'intelligence artificielle.
Dans le billet de blog d'aujourd'hui, OpenAI passe en revue le travail des bailleurs de fonds qui comprend une interface de chat vidéo, une plate-forme d'audit participative pour les modèles d'IA et "une méthode permettant de mapper les croyances sur des dimensions pouvant être utilisées pour affiner le comportement du modèle". Ce matin, tout le code utilisé dans le travail des bénéficiaires a été rendu public, accompagné de brefs résumés et des points à retenir de chaque proposition.
OpenAI cherche à séparer le programme de ses intérêts commerciaux. Mais c’est un peu difficile à avaler, compte tenu des critiques du PDG d’OpenAI, Sam Altman, à l’égard de la réglementation dans l’UE et ailleurs. Altman, ainsi que le président d'OpenAI Greg Brockman et le scientifique en chef Ilya Sutskever, ont soutenu à plusieurs reprises que l'IA innove si rapidement que nous ne pouvons pas nous attendre à ce que les institutions existantes contrôlent adéquatement la technologie, ce qui nécessite la nécessité de externaliser le travail.
Certains concurrents d'OpenAI, dont Meta, ont accusé OpenAI (entre autres) d'essayer d'assurer une « régulation de l'industrie de l'IA » en faisant pression contre la R&D ouverte sur l'IA, ce qu'OpenAI nie et citera probablement le programme de subventions (et l'équipe CollectiveAlignment) comme exemple de son « ouverture ».
Quoi qu'il en soit, OpenAI fait l'objet d'une surveillance croissante de la part des décideurs politiques et, au Royaume-Uni, elle fait l'objet d'une enquête sur ses relations avec son partenaire et investisseur proche Microsoft Corp. La startup a récemment cherché à réduire ses risques réglementaires en matière de confidentialité des données dans l'UE, en utilisant une filiale basée à Dublin pour saper la capacité de certains régulateurs de la vie privée de l'UE à agir unilatéralement.
Sans doute en partie pour rassurer les régulateurs, OpenAI a annoncé hier qu'elle travaillait avec un certain nombre d'organisations pour tenter de limiter la manière dont sa technologie peut être utilisée pour influencer ou influencer les élections par des moyens malveillants. Les efforts de la startup consistent notamment à rendre plus visibles les images générées par l’IA générées à l’aide de ses outils et à développer des moyens d’identifier le contenu généré même après que les images ont été modifiées.