World models et sim2real

Qu'est-ce qu'un world model ?

Un world model est un modèle qui apprend la dynamique du monde : à partir d'observations et d'actions, il prédit ce qui se passe ensuite. Il donne à la machine une forme d'imagination : tester une action en pensée avant de l'exécuter, ou générer des situations qu'elle n'a jamais rencontrées.

Deux familles coexistent. Les modèles génératifs vidéo prédisent directement les pixels futurs : NVIDIA Cosmos, Genie 3 de Google DeepMind, qui génère des mondes interactifs navigables en temps réel à 24 images par seconde en 720p, ou la série GAIA de Wayve pour la conduite. Les modèles prédictifs latents, comme la famille JEPA défendue par Yann LeCun, prédisent dans un espace de représentation abstrait plutôt qu'en pixels : moins spectaculaire, mais plus économe et potentiellement plus adapté au raisonnement.

Les usages concrets en robotique : générer des données synthétiques d'entraînement, évaluer une policy dans un environnement appris avant de la déployer, et servir de module de planification à l'intérieur même des robots.

L'approche de Yann LeCun : JEPA et AMI Labs

Yann LeCun, pionnier du deep learning et lauréat du prix Turing 2018, défend depuis plusieurs années une thèse iconoclaste : les grands modèles de langage autorégressifs, aussi puissants soient-ils, ne mènent pas à une intelligence de niveau humain. Un LLM entraîné à prédire le prochain token apprend un modèle du langage, pas un modèle du monde : pas de mémoire persistante, pas de véritable planification, un raisonnement très primitif selon lui. Sur X puis sur LinkedIn, il a résumé sa position par une image reprise depuis : « sur l'autoroute vers l'intelligence de niveau humain, le grand modèle de langage est une sortie d'autoroute ». Il va jusqu'à déconseiller aux doctorants de travailler sur les LLM. Son argument de fond : un système entraîné uniquement sur du texte apprend un modèle des mots, pas un modèle du monde physique, et ne peut donc pas acquérir le sens commun ni la capacité d'agir qu'un enfant développe en quelques mois d'interaction avec son environnement.

Sa réponse architecturale s'appelle JEPA, Joint Embedding Predictive Architecture. Introduite dans son article de position « A Path Towards Autonomous Machine Intelligence » en 2022, l'idée est de prédire non pas les pixels ou les tokens futurs, mais une représentation abstraite de ce futur, dans un espace d'embeddings. JEPA est un modèle à base d'énergie : deux encodeurs projettent le contexte observé et la cible à prédire, et un prédicteur relie les deux représentations sans reconstruire l'observation brute, ce qui laisse de côté les détails imprévisibles pour ne garder que la structure sémantique du signal. La lignée s'est déployée par étapes : I-JEPA sur les images (CVPR 2023), V-JEPA sur la vidéo (février 2024), puis V-JEPA 2 (juin 2025), pré-entraîné sur plus d'un million d'heures de vidéo et affiné sur seulement 62 heures de données robotiques. V-JEPA 2 planifie des actions de préhension et de dépose sur des objets et environnements jamais vus, en zero-shot, avec des taux de réussite de 65 à 80 % selon les tâches, en utilisant son modèle du monde pour du contrôle prédictif plutôt qu'une politique figée.

En novembre 2025, après plus d'une décennie à la tête du laboratoire FAIR de Meta, Yann LeCun a quitté l'entreprise pour fonder Advanced Machine Intelligence Labs (AMI Labs), aux côtés d'Alexandre LeBrun, ancien chercheur FAIR à Paris devenu cofondateur de la start-up de santé Nabla. LeCun est président exécutif, LeBrun directeur général. En mars 2026, AMI Labs a levé 1,03 milliard de dollars en amorçage, à une valorisation de 3,5 milliards de dollars, le plus gros tour d'amorçage jamais réalisé en Europe, mené par Cathay Innovation, Greycroft, Hiro Capital, HV Capital et Bezos Expeditions, avec la participation de NVIDIA, Temasek, Samsung, Toyota Ventures et Bpifrance. Siège à Paris, bureaux à New York, Montréal et Singapour : la société vise des world models fondés sur JEPA pour l'industrie, la robotique et la santé.

Ces trois familles répondent à des horizons de maturité différents. Les VLA sont déjà en déploiement : ce sont eux qui pilotent bras et humanoïdes aujourd'hui. Les world models génératifs, Cosmos et GAIA en tête, sont eux aussi opérationnels, surtout comme fabrique de données et outil de simulation en amont des déploiements. JEPA reste le pari le plus long terme : convaincant en recherche, prometteur sur les premières démonstrations de contrôle robotique, mais encore loin d'un produit industriel équivalent aux VLA en service. Pour un industriel qui décide où investir en 2026 : miser sur les VLA à court terme, suivre les world models génératifs pour la donnée synthétique, et garder un œil sur JEPA et AMI Labs comme option de moyen à long terme. Les VLA en production sont recensés dans notre comparateur de modèles.

Le rôle de la simulation

Avant les world models appris, il y a la simulation physique classique, qui reste le cheval de trait de la robotique. Les simulateurs de référence : Isaac Sim et Isaac Lab chez NVIDIA, MuJoCo chez Google DeepMind, et Genesis côté open source. Leur atout décisif est le parallélisme sur GPU : des milliers d'environnements simulés en parallèle permettent d'accumuler des années d'expérience en quelques heures, ce qui a rendu possible l'entraînement par renforcement des policies de locomotion. Notre comparateur des simulateurs détaille licences, moteurs physiques et support ROS de ces outils.

L'événement 2026 du domaine est Newton, moteur physique open source construit sur NVIDIA Warp et OpenUSD par NVIDIA, Google DeepMind et Disney Research, et confié à la Linux Foundation fin 2025. Sa version 1.0 est sortie au GTC 2026. Newton intègre notamment MuJoCo Warp, qui accélère les tâches de manipulation de plus de 70 fois par rapport à MuJoCo classique, et une physique différentiable qui permet de propager des gradients à travers la simulation.

Le gap sim2real et comment on le franchit

Une policy parfaite en simulation peut échouer sur le robot réel : c'est le gap sim2real. Les frottements, les contacts, les objets déformables, les câbles et l'éclairage sont simulés imparfaitement, et le modèle apprend à exploiter les approximations du simulateur plutôt que la physique réelle.

Trois techniques principales permettent de le franchir.

• La domain randomization : varier aléatoirement masses, frictions, textures et éclairages pendant l'entraînement, pour forcer la policy à devenir robuste à tout un intervalle de physiques possibles, dont la réalité fait partie.
• L'identification de système : calibrer le simulateur sur les mesures du robot réel pour réduire l'écart à la source.
• Le réglage fin en réel : terminer l'entraînement par une phase courte sur le robot physique, sur données téléopérées ou par renforcement.

Les world models ajoutent une voie nouvelle : Cosmos Transfer réhabille des scènes simulées en images photoréalistes pour réduire l'écart visuel. Et l'approche progresse : Robostral Navigate de Mistral AI, entraîné intégralement en simulation, est conçu pour se déployer sur des robots réels à roues, à pattes ou volants sans collecte terrain préalable.

La data engine

Les laboratoires sérieux ne collectent pas des données une fois : ils construisent une data engine, une boucle continue où les robots déployés remontent leurs succès et leurs échecs, qui alimentent le réentraînement des modèles. Trois flux nourrissent cette boucle.

La téléopération reste l'étalon de qualité : un opérateur humain pilote le robot, et chaque trajectoire est une démonstration parfaitement alignée avec l'incarnation cible. Mais elle coûte cher et sature vite. La capture humaine égocentrique change l'équation : filmer des humains qui accomplissent les tâches, avec des caméras portées, produit des volumes bien supérieurs. Des travaux publiés en 2026 montrent que 30 minutes de vidéo humaine par tâche peuvent surpasser de 41 % une téléopération à durée égale. Enfin, la génération synthétique par world models (Cosmos Predict chez NVIDIA) démultiplie les variations d'une même scène.

Le schéma dominant en 2026 : préentraînement sur vidéo humaine et données synthétiques, réglage fin par téléopération ciblée, puis apprentissage continu à partir des déploiements.

Les acteurs clés en 2026

Quatre acteurs structurent le paysage des world models en 2026.

• NVIDIA a lancé Cosmos 3 en juin 2026, présenté comme modèle de fondation frontière ouvert pour l'IA physique. Son architecture mixture-of-transformers couple un module de raisonnement et un module de génération, au service de la production de données synthétiques pour robots et véhicules autonomes.
• Google DeepMind a ouvert Genie 3 au grand public via Project Genie en janvier 2026 (abonnés AI Ultra aux États-Unis) ; Waymo en a dérivé un world model dédié à la simulation de cas limites pour ses robotaxis.
• Meta et AMI Labs : Meta a porté la ligne de recherche V-JEPA, avant le départ de Yann LeCun, qui a fondé AMI Labs. La société a levé 1,03 milliard de dollars en mars 2026, plus gros amorçage européen à ce jour, pour construire des world models fondés sur JEPA, avec un siège à Paris.
• Wayve a enchaîné GAIA-2 puis GAIA-3 en décembre 2025 : un world model de 15 milliards de paramètres dédié à l'évaluation hors ligne et à grande échelle des systèmes de conduite autonome.

Poursuivre la lecture

• Voir comment le VLA utilise ces données synthétiques dans notre guide modèles VLA expliqués.
• Resituer la simulation dans l'ensemble de la stack avec notre pilier stack de l'IA physique.
• Comparer les simulateurs qui produisent ces données dans notre comparateur simulateurs.