La capacité la plus puissante des grands modèles d’intelligence artificielle est certainement la fonction de traitement de texte la plus élémentaire. Cependant, des chercheurs d'une start-up appelée PatronusAI ont découvert que même les grands modèles les plus puissants ne peuvent actuellement pas analyser avec précision les documents financiers des entreprises déposés par la Securities and Exchange Commission (SEC) des États-Unis.
Le GPT-4-Turbo d'OpenAI doit être considéré comme le modèle d'intelligence artificielle le plus performant actuellement sur le marché. Cependant, lors du dernier test de PatronusAI, seules 79 % des réponses aux questions du fichier SEC étaient correctes.
Si l'on demande aux outils d'intelligence artificielle ordinaires de répondre à de telles questions, soit ils seront généralement incapables de répondre, soit ils éprouveront des « hallucinations », c'est-à-dire qu'ils inventeront des chiffres et des faits qui ne figurent pas dans les documents de la SEC.
Anand Kannappan, co-fondateur de PatronusAI, a déclaré : « De telles performances sont absolument inacceptables, et leur précision doit être bien plus élevée pour vraiment commencer à travailler de manière automatisée et prête pour la production. »
Les résultats mettent en évidence certains des défis auxquels sont confrontés les modèles d’IA alors que les grandes entreprises, en particulier dans les secteurs réglementés comme la finance, cherchent à intégrer des technologies de pointe dans leurs activités, que ce soit dans le service client ou la recherche de données.
Depuis la sortie de ChatGPT à la fin de l'année dernière, la capacité d'extraire rapidement des chiffres et des textes importants et d'analyser les états financiers a été considérée comme l'une des applications les plus prometteuses des chatbots. Les dossiers déposés auprès de la SEC regorgent de données importantes, et si l’IA peut résumer avec précision ces données ou répondre rapidement aux questions sur leur contenu, elle pourrait donner aux utilisateurs un avantage dans un secteur financier hautement compétitif.
C’est pourquoi les grandes banques d’investissement et sociétés financières prennent des dispositions à cet effet. Bloomberg, la plus grande société d'informations financières au monde, a publié BloombergGPT, un grand modèle spécialement conçu pour le domaine financier. Des professeurs d'écoles de commerce ont étudié si ChatGPT pouvait analyser les gros titres financiers. JPMorgan Chase développe un outil d'investissement automatique basé sur l'intelligence artificielle. Selon une récente prévision de McKinsey, l’IA générative pourrait générer des milliards de dollars de revenus annuels pour le secteur bancaire.
Mais l’entrée de l’intelligence artificielle dans le secteur financier ne se fait pas sans heurts. Lorsque Microsoft a lancé pour la première fois son chatbot Bing en utilisant le grand modèle d'OpenAI, l'un de ses meilleurs exemples était un résumé rapide des communiqués de presse sur les résultats. Les observateurs se sont vite rendu compte que les chiffres publiés par Microsoft étaient erronés et que certains étaient complètement fabriqués.
Le co-fondateur de PatronusAI souligne qu'une partie du défi lié à l'intégration de grands modèles dans des produits réels réside dans le fait qu'ils ne sont pas déterministes : ils ne sont pas garantis de produire le même résultat pour le même intrant à chaque fois. Cela signifie que les entreprises doivent effectuer des tests plus rigoureux pour garantir qu'elles fonctionnent correctement, restent dans le sujet et fournissent des résultats fiables.
PatronusAI a testé quatre grands modèles : GPT-4 et GPT-4-turbo d'OpenAI, Claude2 d'Anthropic et Llama2 de Meta. Après avoir effectué des tests pertinents, les deux co-fondateurs de PatronusAI ont été surpris par les mauvaises performances du grand modèle.
Rebecca Qian de PatronusAI a noté : « Il est surprenant de constater combien de fois les grands modèles refusent de répondre aux questions, avec des taux de rejet très élevés, même lorsque les réponses sont contextuelles, même pour des questions auxquelles une personne moyenne peut répondre. »
Cependant, la société estime également que si l'intelligence artificielle continue de progresser, les grands modèles comme GPT auront un énorme potentiel pour aider les acteurs du secteur financier, qu'il s'agisse d'analystes ou d'investisseurs.
Un représentant d'OpenAI a noté que les directives d'utilisation de la société interdisent l'utilisation des modèles OpenAI pour fournir des conseils financiers personnalisés sans qu'une personne qualifiée n'examine les informations, et exigent que toute personne utilisant des modèles OpenAI dans le secteur financier fournisse une clause de non-responsabilité. La politique d'utilisation d'OpenAI indique également que les modèles d'OpenAI ne sont pas adaptés pour fournir des conseils financiers.