Aller au contenu principal

Modèles du monde : ce que vous pouvez réellement construire aujourd'hui

Intermédiaire

Le 28 septembre 2026, AMD a annoncé l'acquisition de World Labs pour environ 8,2 milliards de dollars en actions — sa deuxième plus grosse opération, derrière Xilinx seulement — et Fei-Fei Li rejoindra l'entreprise comme vice-présidente exécutive et directrice scientifique, sous la responsabilité de Lisa Su. Le lendemain, le DevDay d'OpenAI a occupé la une. Entre les deux, « modèle du monde » est devenu l'expression de la semaine.

Voici le problème avec cette expression. Deux produits qui la partagent sont architecturalement opposés. L'un garde le monde à l'intérieur du modèle et vous diffuse des images au fur et à mesure de vos déplacements ; il est interactif, il ne peut pas être exporté, et une session est plafonnée en secondes. L'autre génère une scène 3D que vous téléchargez, possédez et affichez vous-même gratuitement ; elle est persistante, prête pour un moteur, et complètement inerte. Choisir le mauvais n'est pas une erreur de préférence, c'est une réarchitecture.

Cette page propose la séparation pratique : ce que chaque famille produit réellement, les détails vérifiés d'API et d'export, le seul benchmark qui tranche une hypothèse courante, les poids ouverts que vous pouvez exécuter sur votre propre GPU, et les cinq choses qu'aucune des deux familles ne fera pour vous.

What you'll learn
  • Distinguer les deux familles de modèles du monde, et choisir selon ce que vous avez besoin de rendre persistant
  • Connaître les vraies limites : le mur des 60 secondes, l'avertissement sur la physique, le palier d'export qui conditionne les droits commerciaux
  • Lire correctement la World API — opérations asynchrones, en-tête WLT-Api-Key, et quels formats de splats en sortent
  • Utiliser les preuves WorldScore plutôt que des impressions quand vous choisissez entre un modèle vidéo et un modèle 3D
  • Exécuter vous-même un modèle du monde ouvert, et comprendre pourquoi la dynamique inverse est la partie qui vaut 8,2 milliards de dollars

Deux choses partagent le même nom​

Générateurs d'imagesGénérateurs 3D
ExemplesGenie 3 / Project Genie, modèles du monde pour la conduiteMarble (World Labs)
Ce qu'il produitUn flux vidéo, image par image, conditionné par vos actionsUne scène : splats gaussiens, panoramas, éventuellement un maillage
Où vit le mondeDans le contexte glissant du modèleDans un fichier que vous téléchargez
Interactif ?Oui — c'est tout l'intérêtNon. Vous la parcourez, mais elle ne réagit pas
Exportable ?Aucune géométrie à exporterOui — SPZ, PLY, GLB, maillages de collision
Forme de coûtPar seconde d'interaction, par spectateur, pour toujoursUne seule fois à la génération. L'affichage est ensuite à vous
Échoue parDérive, oubli, fin de sessionSon caractère statique et l'absence de toute simulation

Si vous avez besoin d'un monde qui réagit — un joueur qui appuie sur une touche, une politique de robot qui agit et observe ce qui se passe — il vous faut un générateur d'images. Si vous avez besoin d'un monde qui persiste — un asset dans votre jeu, un décor dans votre pipeline de rendu, une scène que cinq utilisateurs chargent le mois prochain et voient à l'identique — il vous faut un générateur 3D. Presque toutes les questions confuses du type « pourquoi est-ce qu'il ne peut pas simplement… » sur ce sujet viennent de quelqu'un qui tient l'un et demande l'autre.

Les générateurs d'images, et le mur des 60 secondes​

Le Project Genie de Google est passé de préversion de recherche à produit quasi public le 29 janvier 2026. La forme de l'accès est étroite et mérite d'être connue avant de bâtir dessus : abonnés Google AI Ultra, États-Unis uniquement, 18 ans et plus, et explicitement non disponible sur Google AI Ultra for Business. Google le qualifie de « prototype expérimental de recherche ».

La limite la plus instructive vient de Google lui-même : les générations sont limitées à 60 secondes. Ce n'est pas une décision de facturation, c'est un problème d'état. Dans un générateur d'images, le monde n'est stocké nulle part — il est implicite dans le contexte du modèle. Chaque image est prédite à partir du prompt, des images accumulées et de vos actions. La cohérence est donc bornée par la même chose qui borne une longue conversation : la quantité d'historique que le modèle peut retenir et garder cohérente. Éloignez-vous d'un mur puis revenez : savoir si le mur est encore là est une question de mémoire, pas de rendu.

Les réserves énoncées par Google constituent le reste de la fiche technique honnête : les mondes générés « pourraient ne pas sembler totalement fidèles à la réalité, ni toujours respecter étroitement les prompts ou les images, ni la physique du monde réel », et les personnages « peuvent parfois être moins contrôlables, ou présenter une latence de contrôle plus élevée ».

Lisez attentivement cette ligne sur la physique si vous comptiez utiliser un générateur d'images comme simulateur. C'est un moteur de plausibilité, pas un solveur. Rien ne garantit que la quantité de mouvement est conservée entre l'image 300 et l'image 301.

Le budget par image dont personne ne parle​

La génération interactive aux 24 i/s couramment rapportés vous laisse environ 41,7 ms par image, de bout en bout, en incluant le trajet de votre entrée jusqu'au serveur. Ce seul chiffre explique la plupart des décisions produit de cette famille : pourquoi les sessions sont courtes, pourquoi l'accès est réservé à un palier payant, pourquoi il n'y a pas encore d'API publique, et pourquoi la courbe de coût est par seconde-spectateur plutôt que par asset. Vous n'achetez pas un fichier. Vous louez un GPU qui doit tenir une échéance de 42 millisecondes aussi longtemps que quelqu'un regarde.

Les générateurs 3D, et ce que vous recevez réellement​

Marble, de World Labs, transforme du texte, une image, un panorama, plusieurs vues ou un extrait vidéo en une scène 3D navigable. Le fait d'ingénierie important est la représentation : la sortie est constituée de splats gaussiens 3D, pas d'un maillage.

Les splats sont des millions de petites taches orientées et semi-transparentes, dotées d'une couleur et d'un ombrage dépendant du point de vue. Ils reconstruisent photographiquement à merveille et s'affichent rapidement sur des GPU grand public. Ils n'ont aussi ni surfaces, ni arêtes, ni faces — raison pour laquelle la section suivante compte plus qu'il n'y paraît.

Ce que la documentation d'export de Marble dit que vous obtenez :

ExportDisponibilité
Splats gaussiens — SPZ et PLYPlan Standard
Panoramas 360Plan Standard
Maillages de collisionPlan Standard
Maillage texturé (GLB) + droits commerciauxPlan Pro uniquement
Quoi que ce soitPas en Free — génération seulement

Deux pièges se cachent dans ce tableau. D'abord, les maillages de collision sont un export distinct — vous en avez besoin parce que vous ne pouvez pas lancer de rayon, entrer en collision ou faire de la physique directement contre des splats. Les splats sont ce que le joueur voit ; le maillage de collision est ce que le moteur teste. Expédiez seulement les splats et votre monde magnifique n'a pas de sol. Ensuite, les droits commerciaux sont liés au palier Pro, pas au fait d'exporter. Vérifiez le plan avant de mettre un monde généré dans un produit.

La documentation de Marble note aussi que les exports en basse résolution sont « optimisés pour être perceptuellement aussi proches que possible des fichiers en plus haute résolution » — un indice qu'il faut tester le petit palier avant de payer pour expédier le grand.

SPZ : le facteur 10× qui n'appartient pas à World Labs​

Un détail que plusieurs articles se trompent à rapporter : SPZ est le format de Niantic, ouvert par Niantic Spatial, pas une invention de World Labs — Marble exporte simplement vers lui. Il vaut quand même la peine d'être utilisé. SPZ stocke chaque coefficient d'harmoniques sphériques comme un entier signé sur 8 bits, avec une quantification supplémentaire optionnelle, ce qui aboutit à environ 10× plus petit que le PLY équivalent sans perte de qualité perceptible. Les propres tests de Niantic situent le point d'équilibre autour de 5 bits pour la plupart des scènes, avec une MSE pratiquement nulle à 8 bits et environ 18× de compression à 3. SPZ 4, publié en 2026, répartit la compression sur six flux ZSTD parallèles — un par classe d'attribut — pour une compression environ 3 à 5× plus rapide et un chargement de bout en bout 1,5 à 2× plus rapide, avec le même avantage de taille d'environ 10×.

Si vous expédiez des splats sur le web, c'est la différence entre une scène qui se charge et une qui ne se charge pas.

L'API, pour de vrai​

La World API expose la génération de Marble à votre propre code. La forme vérifiée, d'après l'index de documentation de World Labs et son client Python officiel :

  • Entrées : texte, images, panoramas, entrées multi-vues, vidéo.
  • Sorties : splats en SPZ, PLY, SOGS, KSPLAT et SPLAT.
  • Authentification : une clé d'API passée dans l'en-tête WLT-Api-Key ; le client Python lit WORLDLABS_API_KEY depuis l'environnement.
  • Modèle d'exécution : asynchrone. Vous soumettez une génération, récupérez une opération, et interrogez jusqu'à la fin. Il existe aussi un point d'accès de solde de crédits, l'upload/la récupération de médias, et la création/récupération/liste/export/suppression de mondes.
  • Client : worldlabsai/worldlabs-api-python, Python 3.12+. Un GPU CUDA n'est nécessaire que pour le rendu local, pas pour l'usage de l'API.
  • Tarification : à l'usage.

Générer un monde depuis du texte et l'interroger

# github.com/worldlabsai/worldlabs-api-python  (Python 3.12+)
# export WORLDLABS_API_KEY=...

from worldlabs_api.client import WorldLabsClient
from worldlabs_api.models import WorldTextPrompt, WorldsGenerateRequest

client = WorldLabsClient(api_key="your-key-here")

request = WorldsGenerateRequest(
  display_name="Mystical Forest",
  world_prompt=WorldTextPrompt(text_prompt="A mystical forest"),
)

op = client.generate_world(request)      # returns an operation, not a world
done = client.poll_operation(op.operation_id)   # poll until done is true
world = done.response

Concevez votre intégration autour de cette frontière asynchrone dès le premier jour. La génération d'un monde est un travail, pas une requête — la même leçon que l'inférence par lots ou la génération vidéo. Si votre gestionnaire attend un monde en ligne, vous le réécrirez.

L'afficher sans moteur de jeu​

World Labs maintient aussi Spark, un moteur de rendu de splatting gaussien 3D sous licence MIT pour THREE.js / WebGL2, de sorte qu'un monde généré peut être expédié comme une page web. Il charge .PLY, .SPZ, .SPLAT, .KSPLAT et .SOG, fusionne les splats avec des maillages ordinaires dans le pipeline THREE.js, et vise les ~98 % des appareils dotés de WebGL2.

Spark 2.0 (15 avril 2026) est la version qui rend les grandes scènes viables dans un navigateur : un arbre de splats à niveaux de détail qui affiche un nombre fixe de splats par image indépendamment de la taille de la scène, un format de streaming .RAD qui prend en charge les requêtes HTTP Range afin qu'un proxy grossier apparaisse presque instantanément puis s'affine progressivement, et une pagination virtuelle des splats contre un pool de mémoire GPU fixe, afin que des scènes plus grandes que la mémoire GPU s'affichent quand même — y compris sur téléphones et Quest 3.

Mettre un monde généré sur le web

npm install @sparkjsdev/spark three
# docs and live examples: https://sparkjs.dev
# repo: https://github.com/sparkjsdev/spark
#
# Export from Marble as .spz (≈10x smaller than .ply), serve it as a
# static file, and load it into a THREE.js scene with Spark.
# For scenes over a few hundred MB, convert to .RAD so the viewer can
# range-request a coarse proxy first.

Remarquez ce qui vient d'arriver à votre courbe de coût. Après la génération, vous servez un fichier statique depuis un CDN et le rendu se fait sur le GPU de l'utilisateur. Servir le monde est gratuit. C'est l'inverse du modèle des générateurs d'images, où chaque seconde-spectateur est de l'inférence.

Les preuves : WorldScore​

« Utilise simplement un modèle vidéo » est le raccourci le plus courant ici, et il existe désormais un benchmark qui y répond. WorldScore (Stanford, arXiv:2504.00983) est un benchmark unifié pour la génération de monde couvrant les modèles 3D, 4D, texte-vers-vidéo et image-vers-vidéo — environ 3 000 exemples, avec des métriques de contrôlabilité, de cohérence, de qualité perceptuelle et de mouvement, ainsi que des mesures explicites de cohérence 3D et de contrôle de caméra.

Le résultat qui devrait changer une décision : sur WorldScore-Static, les générateurs de scènes 3D dédiés mènent — WonderWorld à 72,69 et LucidDreamer à 70,40 — nettement au-dessus des modèles vidéo. Si votre exigence est un monde géométriquement cohérent dans lequel vous pouvez déplacer une caméra, un modèle vidéo est le mauvais outil, même quand ses images individuelles sont plus belles.

Deux réserves. Le classement est vivant et bouge au fil des soumissions des équipes. Et WorldScore-Static mesure exactement ce que son nom indique — un monde statique ; une forte cohérence statique ne vous dit rien sur la dynamique.

Poids ouverts : Cosmos 3, et ce qu'AMD a réellement acheté​

Vous n'avez pas besoin de l'API d'un fournisseur pour disposer d'un modèle du monde. NVIDIA a publié Cosmos 3 — un omnimodèle ouvert pour l'IA physique — avec des poids sur Hugging Face :

ModèleTailleTourne sur
nvidia/Cosmos3-Edge4 MdAppareils en périphérie, robots, agents de vision
nvidia/Cosmos3-Nano16 Md = 8 Md de raisonnement + 8 Md de générationClasse station de travail, p. ex. RTX PRO 6000
nvidia/Cosmos3-Super64 Md = 32 Md de raisonnement + 32 Md de générationHopper / Blackwell, données synthétiques à grande échelle

Architecturalement, c'est un Mixture-of-Transformers qui gère texte, image, vidéo, audio et action dans un seul modèle, en associant une sous-séquence autorégressive pour le raisonnement à une sous-séquence de diffusion pour la génération. Il est câblé dans Hugging Face Diffusers, donc le point d'entrée est du Python ordinaire.

Exécuter un modèle du monde ouvert en local

pip install --upgrade diffusers transformers accelerate

# Cosmos3-Nano is 16B (8B reasoner + 8B generator); check the model
# card on Hugging Face for the licence and the exact torch version
# before you build on it.

import torch
from diffusers import Cosmos3OmniPipeline

pipe = Cosmos3OmniPipeline.from_pretrained(
  "nvidia/Cosmos3-Nano", torch_dtype=torch.bfloat16
)

Passons maintenant à la partie qui explique l'étiquette de prix. Le tableau des tâches de Cosmos 3 n'est pas une liste de tours de passe-passe vidéo :

EntréeSortieDe quoi il s'agit
Texte / image / vidéoVidéoGénération vidéo
Texte / vidéoTexteRaisonnement vision-langage
Action + image + texteVidéoDynamique directe — « si je fais ceci, que se passe-t-il ? »
Texte + vidéoActionDynamique inverse — « quelles actions ont produit ceci ? »
Image + texteVidéo et actionGénération de politique

La dynamique inverse est la discrète. Elle transforme des séquences filmées en actions étiquetées — ce qui signifie qu'une vidéo ordinaire devient des données d'entraînement pour robot, et qu'un monde généré devient un endroit où entraîner et évaluer une politique sans matériel. Le communiqué d'AMD décrit World Labs comme construisant des modèles qui « génèrent, reconstruisent et simulent des environnements 3D interactifs » plus une technologie pour « l'apprentissage et la simulation robotiques », et cadre l'opération autour du raisonnement, de la robotique, de la simulation et de l'IA physique nourrissant sa future feuille de route silicium.

Lu comme une histoire de calcul plutôt que comme une histoire de graphisme, 8,2 milliards de dollars pour un volant d'inertie d'environnements d'entraînement est un pari d'une autre nature que 8,2 milliards de dollars pour un outil texte-vers-3D.

Cinq tâches qu'un modèle du monde ne fera pas pour vous​

Guided walkthrough1 of 5
  1. Aucune de vos techniques de chaîne de pensée, de balises XML ou d'usage d'outils ne se reporte ici. Conditionner un modèle du monde ressemble davantage à diriger une caméra qu'à instruire un assistant : ce qui compte, c'est l'image d'entrée, le point de vue, l'éclairage décrit et la séquence d'actions. La seule habitude qui se transpose est la discipline sur la source — une image de conditionnement propre et bien cadrée vaut mieux qu'un paragraphe élaboré.

Choisir, en une passe​

  • Asset de jeu ou de produit, plusieurs utilisateurs, doit avoir la même apparence demain → générateur 3D. Exportez en SPZ pour le web ou en GLB pour un moteur, et n'oubliez pas le collisionneur.
  • Exploration interactive, un seul utilisateur, la nouveauté est le but → générateur d'images, et concevez à l'intérieur d'une session de 60 secondes.
  • Entraîner ou évaluer une politique → poids ouverts avec dynamique directe et inverse, sur votre propre GPU, avec un vrai simulateur pour tout ce qui relève de la sécurité.
  • Une caméra se déplaçant dans une scène cohérente → pas un modèle vidéo. WorldScore le dit.
Vocabulaire de l'intelligence spatiale
Appuyez sur Entrée ou Espace pour retourner la carte. Utilisez les flèches gauche et droite pour naviguer entre les cartes.Terme affiché.
1 / 10

Quiz​

Check yourself

0/5
  1. Vous avez besoin d'un environnement 3D que cinq utilisateurs différents chargent le mois prochain et voient à l'identique. Quelle famille convient ?
  2. Pourquoi le plafond de génération de 60 secondes de Project Genie est-il une conséquence de conception plutôt qu'un choix de tarification ?
  3. Vous exportez un monde Marble en SPZ, vous le déposez dans votre moteur, et le joueur tombe à travers le sol. Qu'est-ce qui manque ?
  4. WorldScore-Static est mené par des générateurs de scènes 3D (WonderWorld 72,69, LucidDreamer 70,40) plutôt que par des modèles vidéo. Qu'est-ce que cela justifie ?
  5. Dans le tableau des tâches de Cosmos 3, quelle capacité transforme une vidéo ordinaire en données d'entraînement pour robot ?

Sources et lectures complémentaires​

Suite​