Résumé :
Au cours des deux derniers jours, je crois que tout le monde a été époustouflé par les différents incroyables gameplay de GPT-6 Astra : modélisation 3D complète en une phrase, création d'un jeu complet à partir de zéro, démontage de milliers de pièces en un coup d'œil, et même utilisation pour contrôler des robots... Bref, il est incroyablement puissant. Les internautes ont un dicton exagéré : tant que vous apprenez lentement, vous n’êtes pas obligé d’apprendre. Mais GPT-6 Astra donne aux gens le sentiment que dès sa sortie, la complexité qui tourmentait à l'origine de nombreux domaines semblera soudainement résolue.
Cette tendance ne doit pas être sous-estimée, mais les capacités actuelles du modèle ne doivent pas être exagérées. Dans cet article, nous ferons le point sur les différents gameplay incroyables de GPT-6 Astra et ses limitations actuelles.
Modélisation 3D,
Est-ce que cela devient soudainement plus facile ?
La capacité de balayage d'écran la plus intensive d'Astra au cours des deux derniers jours est probablement la 3D.
Quelqu'un l'a utilisé pour générer directement des trains en 3D :
Les deux trains sont générés directement par Astra à l'aide du code TypeScript et Three.js lors de leur exécution dans le navigateur. La taille du corps, le contour et diverses structures géométriques proviennent des paramètres de taille, du profil et de la fonction géométrique du code ; le mouvement des roues est le code, et l'animation de l'ensemble du train qui explose, les pièces s'effondrent et se réassemblent sont également du code.
De plus, ces modèles peuvent être démontés en pièces après leur fabrication. Une caméra peut être démontée en 122 groupes de composants et 1 877 pièces modélisées individuellement. L’exécution de la tâche entière a duré environ 3 heures. L'auteur a déclaré qu'il n'avait jamais réalisé que Three.js (une bibliothèque JavaScript utilisée pour créer et afficher des graphiques 3D dans le navigateur) pouvait être utilisé de cette manière.
La caméra peut être démontée, tout comme la Tesla. Quelqu'un l'a démonté en 334 pièces de modélisation, et les noms, numéros et structures de base de ces 334 pièces sont officiels et non fabriqués par l'IA. Bien sûr, il ne s’agit que d’un démontage très approximatif au niveau de l’image, loin du niveau de détail requis pour un démontage en 3D.
Fait intéressant, cet auteur n'était pas satisfait après le démantèlement de Tesla, et a même construit un site Web pour « démanteler un homme (mâle) » : les 2 234 parties de modélisation du corps entier peuvent être visualisées une par une et peuvent être mappées aux fichiers sources.
En voyant ces cas, certaines personnes ont crié : « Le ciel tombe sur la tête pour les étudiants en modélisation 3D. »
Mais certains affirment que les résultats directs actuels de l’IA ne sont pas encore disponibles dans le commerce.
De plus, la stabilité est également un gros problème. Après tout, il faut encore des gens pour corriger les bugs.
L'importance de ces démos n'est pas seulement de prouver qu'Astra peut modéliser. Plus important encore, cela démontre une nouvelle façon d’interagir : les gens n’ont plus besoin d’apprendre des logiciels 3D complexes, mais décrivent directement le monde qu’ils souhaitent et laissent l’IA se charger de traduire les idées en structures spatiales.
Dans le passé, la modélisation 3D était le seuil pour entrer dans le monde numérique ; à l’avenir, cela pourrait devenir une capacité fondamentale de l’IA pour comprendre et générer le monde réel. Bien entendu, il reste encore beaucoup de chemin à parcourir avant d’obtenir des applications véritablement industrielles, mais le chemin devient de plus en plus clair.
Pas besoin d'apprendre un logiciel ?
Astra, entre toi-même
Dans le positionnement officiel d'OpenAI, l'utilisation de l'ordinateur et celle du navigateur sont les atouts de GPT-6 Astra. Dans un exemple de peinture Canva, nous voyons cela en action.
Dans ce cas, l'internaute a demandé à Astra de le dessiner sur Canva (en reproduisant le portrait à partir d'une photo de référence). Pendant le processus de dessin, Astra peut contrôler directement l'interface Canva dans le navigateur : sélectionnez les outils, cliquez/glissez avec précision, dessinez couche par couche (de l'arrière-plan au corps, en passant par les bras, jusqu'aux détails du visage), et enfin complétez un portrait semi-réaliste de style pixel très similaire.
Cela implique également des opérations en plusieurs étapes à long terme (les commentaires de l'auteur durent environ 1 heure), le changement d'outil (Chrome passe en mode d'utilisation de l'ordinateur après qu'un problème survient à mi-chemin), ainsi qu'une compréhension extrêmement élevée de l'interface et une précision de contrôle fine.
Fable 5.1 à côté a également reçu la même invite, mais le résultat a déçu les internautes :
Il n'est pas le seul à faire cette expérience. Un autre internaute a également pris la même photo et a demandé à deux IA de la dessiner, et les résultats ont été similaires : Astra est plus réaliste, Fable 5.1 est plus gratuit et plus simple...
Lien vidéo : https://mp.weixin.qq.com/s/6tOR2GptUa97ffW-jWJF2Q
Cependant, certains internautes ont souligné que les effets visuels finaux de ces choses ne sont pas au centre des préoccupations. Ce qui est important, c'est que les agents pris en charge par Astra peuvent déjà faire fonctionner Blender, Unreal Engine et les navigateurs par eux-mêmes, et transformer directement les invites en fichiers de projet.
Ces derniers jours, "Astra utilise Blender pour reconstruire le Palais des Beaux-Arts de San Francisco", "Un vieux dessin de train à vapeur transformé en 3295 objets modifiables dans Blender" et "600 agents Astra vivant dans le même monde irréel" sont autant de cas typiques dans ce sens.
Lien vidéo : https://mp.weixin.qq.com/s/6tOR2GptUa97ffW-jWJF2Q
Un autre cas intéressant est celui de "jouer du piano". Victor E. Nunez, employé d'OpenAI, a demandé à Astra de trouver un piano en ligne et de jouer "River Flows in You" à l'aide d'un ordinateur. Pendant le processus d'exécution, Astra a recherché et ouvert lui-même un site Web de piano virtuel en ligne, puis a utilisé Computer Use pour contrôler directement l'interface de l'ordinateur : cliquez sur la souris comme « main droite » et cliquez sur les touches du piano. Le contrôle du clavier est traité comme « main gauche + paragraphe rapide ». Les deux ont joué en même temps, contrôlant avec précision le rythme et la durée des notes, et ont complètement interprété la chanson "River Flows in You".
Lien vidéo : https://mp.weixin.qq.com/s/6tOR2GptUa97ffW-jWJF2Q
Ce qui est plus intéressant, c'est qu'Astra a enregistré l'écran lui-même et monté cette vidéo de démonstration. L'ensemble du processus est de bout en bout : de la compréhension de la tâche → trouver le site Internet → charger l'instrument → jouer en temps réel, sans intervention manuelle dans les étapes intermédiaires.
Ces cas montrent que GPT-6 Astra a atteint un nouveau sommet dans l'utilisation d'ordinateurs agentiques, avec une vitesse, une précision, un parallélisme multi-outils et des capacités de retour en temps réel atteignant tous un niveau très élevé.
Peut-être qu'à l'avenir, les gens pourront arrêter de réfléchir à la manière de recréer les capacités d'un certain logiciel professionnel dans des fonctions d'IA et simplement confier le logiciel à l'IA. Être capable d’utiliser n’importe quel logiciel conçu pour les humains élargit considérablement les scénarios d’application de l’IA.
En dehors de l'écran,
Astra commence à contrôler le robot
Peu importe à quel point les démos précédentes étaient scandaleuses, elles se sont essentiellement toutes déroulées sur ordinateur.
Le test effectué par l'internaute Jay Chooi était différent : ils ont en fait connecté Astra au bras robotique.
L'une des tâches consiste à demander au bras robotique de placer des blocs dans un bol. GPT-6 Astra a été réalisé 20 fois et le taux de réussite a atteint 95 % ; le contrôle Fable 5.1 était de 40%. Dans le même temps, son nombre de jetons de sortie ne représente qu'environ 16 % de ce dernier, et son coût n'est qu'environ 43 % de ce dernier.
Plus important encore, il n'y a aucune démonstration ou réglage fin d'Astra pour cette tâche. Jay Chooi a spécifiquement ajouté plus tard qu'il s'agissait d'un test sans tir. Le modèle est chargé de donner la position et l'attitude de l'effecteur final du bras robotique, puis de les convertir en mouvement du bras robotique via le solveur cinématique inverse automatique.
Alors que la vitesse de production des jetons de grands modèles s'accélère, Jay Chooi prédit avec optimisme que LLM sera capable de contrôler le bras robotique en temps réel dès la fin de cette année et jusqu'en 2029.
Yu Xiang, ancien chercheur scientifique chez NVIDIA, a en outre souligné que la prochaine frontière de la robotique pourrait être de savoir comment utiliser véritablement des modèles d'IA avancés pour le contrôle. Il ne suffit pas de les utiliser simplement comme agents pour invoquer des modules de perception et de planification. Nous avons besoin de nouvelles façons de connecter ces modèles au monde physique.
De tels résultats attisent également la curiosité des gens. Qu'est-ce qu'OpenAI a ajouté après la formation pour rendre le modèle si polyvalent ? Ou y a-t-il une avancée dans la pré-formation ?
Vous étudiez toujours ?
Après avoir lu ceci, certaines personnes ont déploré que l'IA ne se contente plus de générer une image, mais qu'elle ait commencé à essayer de « reconstruire le monde ».
Une question se pose naturellement : lorsque l'IA pourra modéliser, écrire du code, faire fonctionner des logiciels et même commencer à toucher le monde physique, combien de compétences que nous avons acquises si durement aujourd'hui existeront encore sous leur forme actuelle ?
Il n’y a certainement pas de réponse à cette question pour le moment. Il y a encore beaucoup de choses sur Astra qui sont instables, grossières, voire inutilisables du tout, mais ce qui est vraiment troublant et excitant ces deux jours pourrait être exactement ceci : pour la première fois, de nombreuses opérations complexes qui doivent être maîtrisées par les humains par défaut sont devenues possibles et peuvent être regroupées dans leur ensemble pour l'IA.
Quant à la question : "Dois-je encore l'apprendre à l'avenir ?", la réponse est sans aucun doute que je dois encore l'apprendre. C’est juste que nous devrons peut-être repenser ce qui vaut la peine d’être appris.
Commentaires