Développé dans les laboratoires AGI récemment ouverts d'Amazon à San Francisco, NovaAct fournira également des fonctionnalités clés pour la prochaine mise à niveau de l'entreprise vers Alexa+, une amélioration de l'IA générative de l'assistant vocal populaire d'Amazon. Cependant, la version de NovaAct disponible à partir d’aujourd’hui est légèrement inférieure. Amazon appelle cela un aperçu de la recherche.
Les développeurs peuvent accéder à la boîte à outils NovaAct via le nouveau site Web nova.amazon.com, qui sert également de vitrine pour les différents modèles de base Nova d'Amazon.
NovaAct est la tentative d'Amazon d'exploiter sa propre technologie générale d'agent d'intelligence artificielle pour concurrencer Operator d'OpenAI et ComputerUse d'Anthropic. Plusieurs grandes entreprises technologiques estiment que les agents IA capables de naviguer sur le Web pour les utilisateurs rendront les chatbots IA d'aujourd'hui plus utiles.
Amazon n'est peut-être pas le premier à développer ce type de technologie d'agent, mais avec Alexa+, sa portée pourrait être la plus large.
Amazon affirme que les développeurs qui construisent avec le SDK NovaAct devraient être capables d'automatiser les actions de base au nom des utilisateurs, comme commander une salade chez Sweetgreen ou faire une réservation pour un dîner. Avec la boîte à outils NovaAct, les développeurs peuvent intégrer des outils permettant aux agents IA de naviguer sur le Web, de remplir des formulaires ou de sélectionner des dates sur un calendrier.
Amazon affirme que NovaAct a surpassé les agents OpenAI et Anthropic lors de plusieurs tests au sein de l'entreprise. Par exemple, dans ScreenSpot WebText, qui mesure la manière dont un agent IA interagit avec le texte à l'écran, NovaAct a obtenu un score de 94 %, mieux que le CUA d'OpenAI (avec un score de 88 %) et Claude3.7Sonnet d'Anthropic (90 %).
Cependant, Amazon n'a pas comparé NovaAct à l'aide d'évaluations proxy plus courantes telles que WebVoyager.
NovaAct est le premier produit public lancé par le laboratoire AGI d'Amazon susmentionné. Le projet est codirigé par les anciens chercheurs d'OpenAI David Luan et Pieter Abbeel. Tous deux ont déjà fondé leurs propres startups – Luan a fondé Adept, tandis qu'Abbeel a cofondé Covariant – et Amazon les a embauchés l'année dernière pour diriger ses efforts en matière d'agents d'IA.
Bien qu'il puisse sembler étrange qu'AGI Labs développe un agent d'IA capable de commander SweetGreen, Luan estime que les agents constituent une étape cruciale dans la création de systèmes d'IA super intelligents. Luan définit l'AGI comme « un système d'IA qui peut vous aider à faire tout ce qu'un humain fait sur un ordinateur ».
Luan a déclaré que son équipe avait conçu NovaActSDK pour automatiser de manière fiable des tâches courtes et fournir aux développeurs des outils qui leur permettent de définir précisément quand une intervention humaine est nécessaire dans les flux de travail des agents. Il espère que cela permettra aux développeurs de créer des applications proxy plus fiables, mais pas nécessairement totalement autonomes.
Amazon a lancé son premier agent général d'intelligence artificielle sur un marché encombré, mais il s'agit d'une technologie clé pour laquelle l'entreprise fonde de grands espoirs. Les premiers tests de NovaAct offrent un aperçu de certaines des capacités d'Alexa+, longtemps retardée, marquant un moment décisif pour les efforts d'Amazon en matière d'intelligence artificielle.
Le principal problème des premiers agents d’IA d’OpenAI, Google et Anthropic est leur fiabilité dans différents domaines. Lors des tests de TechCrunch, ces systèmes étaient lents, difficiles à exécuter de manière indépendante pendant de longues périodes et sujets à commettre des erreurs que les humains ne feraient pas. Nous verrons bientôt si Amazon a déchiffré le code ou si ses agents souffrent des mêmes failles que celles de ses concurrents.