La stack de l'IA physique

Les couches d'un système d'IA physique

Un système d'IA physique transforme des observations du monde réel en actions utiles. Quatre couches s'enchaînent : la perception capte l'environnement, les modèles décident, l'actuation exécute, et le calcul fait tourner l'ensemble sous contrainte de latence. Une cinquième dimension, les données, conditionne la qualité de toutes les autres : sans démonstrations ni simulation, aucun modèle n'apprend.

Contrairement à une stack logicielle classique, ces couches sont fortement couplées. Le choix des capteurs détermine ce que le modèle peut apprendre, la fréquence de contrôle des actionneurs impose un budget de latence au calcul, et le format des données d'entraînement doit correspondre à l'incarnation du robot (son embodiment). Vous ne pouvez donc pas évaluer une brique isolément : c'est la cohérence de la chaîne qui fait la performance.

Capteurs et perception

La vision domine. Des caméras RGB bon marché fournissent l'essentiel du signal, souvent complétées par des caméras de profondeur ou un LiDAR pour la géométrie de la scène. Le toucher progresse vite : les capteurs tactiles à haute résolution de type GelSight deviennent indispensables à la manipulation fine, là où la vision seule ne voit pas ce qui se passe sous les doigts. La proprioception (encodeurs articulaires, centrales inertielles, capteurs de couple) renseigne enfin le robot sur l'état de son propre corps.

La tendance 2026 est à la sobriété capteurs. Robostral Navigate de Mistral AI navigue avec une seule caméra RGB, sans capteur de profondeur, et atteint 76,6 % de réussite sur le benchmark R2R-CE en environnements jamais vus, devant des systèmes multi-capteurs. Moins de capteurs, c'est moins de coût, moins de calibration et plus de robustesse au déploiement.

Modèles : VLA, world models et policies

Trois familles de modèles cohabitent. Les modèles vision-langage-action (VLA) traduisent directement pixels et instructions en actions : Isaac GR00T N1.6 de NVIDIA, Gemini Robotics 1.5 de Google DeepMind ou π0.5 de Physical Intelligence. Les world models apprennent la dynamique de l'environnement et servent à générer des données synthétiques, à évaluer des comportements ou à planifier (NVIDIA Cosmos, Genie 3). Les policies apprises par renforcement, souvent entraînées en simulation, pilotent enfin la locomotion et les gestes réflexes.

Ces familles convergent : GR00T N1.6 intègre le modèle de raisonnement Cosmos Reason comme cerveau lent, et les architectures récentes empilent un module de planification sur un module rapide de contrôle. Nous détaillons ces modèles dans les piliers dédiés aux VLA et aux world models.

Actuation : moteurs, mains, locomotion

Les actionneurs électriques ont supplanté l'hydraulique sur la quasi-totalité des plateformes récentes : plus simples à maintenir, plus silencieux, plus faciles à contrôler finement. Les architectures quasi-direct drive, popularisées par la robotique à pattes, offrent la transparence de couple nécessaire aux contacts imprévus.

La main reste la frontière la plus dure. Reproduire une vingtaine de degrés de liberté avec du tactile, une force utile et une durabilité industrielle concentre des compromis mécaniques que personne n'a encore résolus à coût raisonnable. Beaucoup d'applications s'en tiennent d'ailleurs à des pinces à deux doigts, largement suffisantes en logistique.

La locomotion, elle, est en grande partie résolue : les policies entraînées par renforcement en simulation ont rendu la marche robuste, y compris sur terrain difficile, et les prix chutent rapidement sur les plateformes d'entrée de gamme, portés notamment par les constructeurs chinois comme Unitree.

Calcul embarqué ou cloud

La boucle de contrôle d'un robot tourne entre 50 Hz et 1 kHz : impossible de la faire transiter par le cloud. L'inférence des modèles de contrôle est donc embarquée, typiquement sur des modules de la gamme NVIDIA Jetson. Figure fait par exemple tourner son modèle Helix entièrement à bord, sur des GPU basse consommation.

Le raisonnement lent (interpréter une consigne, planifier une séquence de tâches) tolère davantage de latence et peut s'exécuter à distance. Mais trois forces poussent vers le tout-embarqué : la sûreté (le robot doit rester sûr si le réseau tombe), la confidentialité des données d'atelier, et la certification. Le compromis dominant en 2026 : entraînement dans le cloud ou le datacenter, inférence à bord, remontée asynchrone des données d'exploitation pour réentraîner les modèles.

Le goulot des données

Il n'existe pas d'Internet des actions. Contrairement au texte ou aux images, les trajectoires robotiques ne préexistent nulle part : il faut les produire. Trois sources se partagent le travail. La téléopération fournit des démonstrations de haute qualité, mais elle coûte cher et passe mal à l'échelle. La simulation en produit des volumes quasi illimités, au prix d'un écart avec le réel qu'il faut ensuite combler. La vidéo humaine égocentrique s'impose comme troisième voie : des travaux publiés en 2026 montrent que 30 minutes de vidéo humaine par tâche peuvent surpasser de 41 % une téléopération à durée de collecte égale.

La stratégie dominante combine les trois : préentraînement massif sur vidéo humaine et données synthétiques, puis réglage fin par téléopération ciblée sur les tâches critiques. C'est ce goulot, plus que les architectures de modèles, qui rythme aujourd'hui les progrès du secteur. Notre comparateur des simulateurs détaille licences, moteurs physiques et support ROS de ces plateformes.

Poursuivre la lecture

• Revenir aux fondamentaux de la simulation et de la donnée : notre pilier world models et sim2real.
• Approfondir la couche modèles avec notre guide sur les modèles VLA.
• Comparer les puces et plateformes de calcul embarqué dans notre comparateur puces.