Le Toyota Research Institute (TRI) a utilisé l'intelligence artificielle générative dans la « Robotic Kindergarten » pour apprendre aux robots à préparer le petit-déjeuner - ou au moins les tâches individuelles requises pour préparer le petit-déjeuner - sans nécessiter des centaines d'heures de programmation et de correction de bugs. Au lieu de cela, les chercheurs y sont parvenus en peu de temps en donnant aux robots une sensation de toucher, en les connectant à un modèle d’intelligence artificielle, puis en leur apprenant quoi faire comme ils le feraient avec un humain.

Les chercheurs affirment que le toucher est « un outil clé ». En demandant au robot d'étendre le pouce en forme d'oreiller que vous voyez dans la vidéo ci-dessous (mes mots, pas les leurs), le modèle peut « sentir » ce qu'il fait et obtenir plus d'informations. Cela rend les tâches difficiles plus faciles à accomplir que par la seule vue.

"C'est passionnant de les voir interagir avec leur environnement", a déclaré Ben Burchfiel, responsable du département des opérations adroites du laboratoire. Tout d'abord, un « enseignant » démontre un ensemble de compétences, puis « en quelques heures », le modèle apprend en arrière-plan. "Nous enseignons souvent un robot l'après-midi, le laissons apprendre pendant la nuit, puis observons son nouveau comportement le lendemain matin", a-t-il ajouté.

Les chercheurs affirment qu'ils tentent de créer des « grands modèles de comportement » (LargeBehaviorModels), ou LBM, pour les robots. "De la même manière que les LLM sont formés en enregistrant des modèles d'écriture humaine, les LBM de Toyota apprendront par l'observation, puis "généraliseront, en exécutant une nouvelle compétence qui ne leur a jamais été enseignée", a déclaré Russ Tedrake, professeur de robotique au MIT et vice-président de la recherche en robotique au TRI.

Grâce à ce processus, les chercheurs affirment avoir acquis plus de 60 compétences stimulantes, telles que « verser des liquides, utiliser des outils et manipuler des objets déformables ». Ils espèrent porter ce nombre à 1 000 d’ici fin 2024.

Google et Tesla ont mené des recherches similaires avec leur RoboticTransformerRT-2. Semblable à l’approche des chercheurs de Toyota, leur robot utilise sa propre expérience pour déduire comment faire les choses. En théorie, les robots formés à l'IA pourraient éventuellement effectuer des tâches avec presque aucune instruction, autre que donner à un humain une instruction générale (comme « nettoyer un déversement »).

Mais comme le notait le New York Times dans son rapport sur les recherches du géant de la recherche, les robots de Google ont au moins encore un long chemin à parcourir. Ce type de travail est souvent « lent et laborieux », et fournir suffisamment de données de formation est beaucoup plus difficile que d'alimenter un modèle d'IA avec de grandes quantités de données téléchargées depuis Internet.