Niantic transforme la même technologie mondiale de réalité augmentée qui maintenait autrefois Pikachu fermement implanté sur les trottoirs du monde réel pour diriger un protagoniste plus terre-à-terre : un robot de livraison qui traverse le trottoir à la recherche du bon numéro de maison. Grâce aux données de positionnement et aux images de rue accumulées au fil des années, la société fournit désormais des services de positionnement visuel de précision centimétrique à des entreprises telles que Coco Robotics, résolvant spécifiquement le vieux problème de la « perte » du GPS traditionnel dans les villes dotées d'immeubles de grande hauteur.

Niantic Spatial est une société dérivée de l'IA créée par Niantic en 2025 et spécialisée dans la distillation d'années de données de jeux mobiles en « modèles du monde » très précis et très précis du monde réel. Selon la description officielle, il s'agit d'un système de positionnement visuel (VPS) capable de déterminer la position et l'attitude de l'appareil dans un rayon d'un centimètre en s'appuyant uniquement sur les images de la caméra et le contexte cartographique, et qui fournit des services au monde extérieur via des interfaces commerciales. Son premier partenaire commercial à grande échelle est Coco Robotics, une entreprise de livraison finale qui exploite environ un millier de robots de trottoir dans de nombreuses villes européennes et américaines. Les signaux satellite locaux sont souvent trop bruyants pour permettre une conduite autonome fiable.

Le problème technique que Niantic Spatial doit résoudre n'est pas difficile à décrire, mais il est très difficile à véritablement surmonter : dans un environnement urbain à haute densité, les signaux GPS se reflètent entre les murs-rideaux de verre et le béton, et les erreurs de positionnement peuvent facilement atteindre des dizaines de mètres. Pour un robot livreur, cette déviation suffit à le faire se retrouver dans le mauvais quartier, voire de l’autre côté de la rue. Le robot de Coco roule à environ cinq miles par heure et peut livrer plusieurs pizzas surdimensionnées ou des sacs d'épicerie à la fois. S’il veut suivre les coureurs humains en termes de ponctualité et de précision de prise en charge et de livraison, il doit s’appuyer sur des capacités de navigation plus stables et plus précises.

L'alternative de Niantic Spatial est un système de positionnement visuel qui repose sur la « vision » plutôt que sur les signaux radio. Depuis des années, la société regroupe les données de Pokémon Go et de son précédent jeu de réalité augmentée Ingress, qui encouragent tous deux les joueurs à visiter des gymnases, des arènes de combat et divers points d'intérêt du monde réel. Ce mécanisme de jeu construit de manière invisible un ensemble dense d'ensembles de données urbaines mondiales : les images massives prises par les joueurs dans l'environnement urbain sont liées avec précision à la longitude et à la latitude, à l'orientation de la caméra, à la posture de l'appareil, à l'état de mouvement et à d'autres données de capteur enregistrées par le téléphone mobile.

Selon Niantic Spatial, ses données d'entraînement de modèles contiennent environ 30 milliards d'images, fortement regroupées autour de plus d'un million de « points chauds » qui sont photographiés à plusieurs reprises sous différents angles, à différents moments de la journée et dans diverses conditions météorologiques. Étant donné que chaque image correspond à une estimation de pose au niveau centimétrique, cet ensemble de formation constitue essentiellement un échantillonnage 3D multi-vues, couvrant les rues de la ville, les passages pour piétons, les devantures de magasins et les façades de bâtiments. Sur cette base, le modèle peut déduire une localisation et une orientation précises à partir d'un petit nombre d'images prises en temps réel, même dans les zones où la couverture des données d'origine n'est pas aussi dense que ces points chauds.

Pour Coco, cela signifie que ses robots peuvent fusionner les signaux GPS avec les résultats de positionnement des caméras fournis par Niantic Spatial. Chaque robot est équipé de quatre caméras installées « à hauteur de hanches » pour filmer dans quatre directions. Cette perspective est différente de celle des humains tenant un téléphone portable entre leurs mains, mais Coco a déclaré que l'adaptation de ce type de données aux modèles existants est relativement intuitive. À l'heure actuelle, ces robots ont effectué des centaines de milliers de livraisons à Los Angeles, Chicago, Miami, Jersey City, Helsinki et ailleurs, et ont parcouru plus d'un million de kilomètres au total, fournissant à l'entreprise une base de référence pour évaluer l'amélioration de la fiabilité du nouveau système.

Le positionnement visuel en lui-même n’est pas un concept nouveau, mais il a longtemps été limité par la densité de collecte et la couverture d’images de haute qualité. Niantic Spatial parie que le volume et la diversité de ses données de jeux participatives surpasseront ses concurrents qui s'appuient principalement sur leurs propres flottes de capteurs pour collecter des cartes. Certains autres fabricants de robots de livraison (tels que Starship Technologies) créent généralement des cartes 3D locales sur le chemin de course grâce à leurs propres capteurs, enregistrant les bordures, les panneaux de signalisation, les contours des bâtiments, etc., puis réutilisent ces cartes lors des voyages ultérieurs. En revanche, Niantic Spatial espère maintenir un modèle géospatial partagé à l’échelle mondiale et le rendre disponible via une API à tout robot, téléphone ou casque nécessitant un positionnement précis.

Niantic appelle ce modèle une « carte vivante » : une représentation virtuelle du monde mise à jour à tout moment grâce à des capteurs. À mesure que les robots de Coco et d’autres futurs partenaires parcourent les rues et les trottoirs, leurs capteurs continueront de renvoyer de nouvelles observations qui seront utilisées pour corriger et élargir la carte sous-jacente de Niantic Spatial. L’objectif n’est pas seulement la précision géométrique, mais également la compréhension sémantique : annoter et décrire différents types d’objets sur une carte d’une manière compréhensible par une machine.

Les dirigeants de Niantic considèrent cet effort comme faisant partie d’une évolution à long terme des cartes numériques, plutôt que comme un renversement complet. Des cartes 2D à la 3D et maintenant au monde analogique évoluant vers des « jumeaux numériques » dynamiques, le lien essentiel entre les coordonnées cartographiques et l’espace physique reste inchangé. Ce qui a réellement changé, c’est le « principal consommateur » de ces cartes : des humains du passé aux machines. De ce point de vue, l'intelligence spatiale qui a été utilisée pour garantir que le Pikachu virtuel se tenait fermement sur le trottoir est maintenant transférée à un robot de livraison qui pèse cent livres et doit maintenir un itinéraire stable dans le vent, la pluie et la circulation.