Un nouveau rapport du HAI (Human-Centered Artificial Intelligence) de l'Université de Stanford révèle qu'aucun des développeurs bien connus des modèles sous-jacents de l'intelligence artificielle, y compris des sociétés telles que OpenAI et Meta, n'a publié suffisamment d'informations sur leur impact potentiel sur la société.

Aujourd'hui, Stanford HAI a publié son indice de transparence des modèles sous-jacents, qui détermine si les créateurs des 10 modèles d'intelligence artificielle les plus populaires divulguent des informations sur leur travail et sur la manière dont les gens utilisent leurs systèmes. Parmi les modèles testés, le Llama2 de Meta a obtenu le score le plus élevé, suivi de BloomZ puis du GPT-4 d’OpenAI. Mais il s’avère qu’aucun d’entre eux n’a obtenu un score particulièrement élevé.

Les autres modèles évalués incluent StableDiffusion de Stability, Claude d’Anthropic, PaLM2 de Google, Command de Cohere, Jurassic2 d’AI21Labs, Inflection-1 d’Inflection et Titan d’Amazon.

Les chercheurs reconnaissent que la transparence peut être un concept assez large. Leur définition est basée sur 100 indicateurs qui fournissent des informations sur la façon dont le modèle est construit, comment le modèle fonctionne et comment les gens l'utilisent. Ils ont analysé les informations publiques sur le modèle et ont attribué à chacun une note, en notant si les entreprises ont divulgué leurs partenaires et développeurs tiers, si elles ont dit aux clients si leurs modèles utilisaient des informations privées, et une foule d'autres questions.

Lorsque la société a publié ses recherches sur la création de modèles, le score Meta était de 53 %, avec le score le plus élevé pour les bases du modèle. Le modèle open source BloomZ suit de près avec un support de 50 % et GPT-4 avec un support de 47 % - à égalité pour une diffusion stable malgré l'approche de conception relativement verrouillée d'OpenAI.

OpenAI refuse de publier la plupart de ses résultats de recherche et ne révèle pas la source de ses données, mais GPT-4 parvient à se classer bien car de nombreuses informations sont disponibles sur ses partenaires. OpenAI travaille avec un certain nombre d'entreprises différentes pour intégrer GPT-4 dans leurs produits, ce qui génère une multitude de détails publics disponibles pour examen.

Cependant, les chercheurs de Stanford ont constaté qu'aucun des créateurs du modèle n'a révélé d'informations sur l'impact social, notamment sur l'endroit où déposer une plainte en matière de confidentialité, de droit d'auteur ou de partialité.

Rishi Bommasani, directeur de la société au Centre de modélisation fondamentale de l'Université de Stanford et l'un des chercheurs de l'indice, a déclaré que l'objectif de l'indice est de fournir une référence aux gouvernements et aux entreprises. Certaines réglementations proposées, telles que le projet de loi sur l'intelligence artificielle de l'UE, pourraient bientôt obliger les développeurs de modèles sous-jacents à grande échelle à fournir des rapports transparents.

"Ce que nous essayons de réaliser avec l'indice, c'est de rendre le modèle plus transparent et de décomposer des concepts très peu clairs en éléments plus concrets qui peuvent être mesurés", a déclaré Bomasani. Le groupe s'est concentré sur un modèle de chaque entreprise pour faciliter les comparaisons.

Generative AI possède une communauté open source vaste et active, mais certaines des plus grandes entreprises du domaine ne partagent pas publiquement leurs recherches ou leur code. Bien qu'OpenAI ait le mot « ouvert » dans son nom, il ne diffuse plus ses recherches, invoquant des problèmes de concurrence et de sécurité.

Bommasani a déclaré que l'organisation était disposée à élargir la portée de l'indice, mais qu'en attendant, elle s'en tiendra aux 10 modèles de base qu'elle a déjà évalués.