Zum Hauptinhalt springen

World Models: Was Sie heute tatsächlich bauen können

Fortgeschritten

Am 28. September 2026 kündigte AMD an, World Labs für rund 8,2 Milliarden US-Dollar in Aktien zu übernehmen — der zweitgrößte Deal in der Firmengeschichte, übertroffen nur von Xilinx — und Fei-Fei Li wird als Executive Vice President und Chief Scientist einsteigen, direkt Lisa Su berichtend. Einen Tag später belegte OpenAIs DevDay die Titelseiten. Zwischen beiden wurde „World Model“ zur Phrase der Woche.

Hier liegt das Problem mit der Phrase. Zwei Produkte, die sie teilen, sind architektonisch gegensätzlich. Das eine behält die Welt im Modell und streamt Ihnen Frames, während Sie sich bewegen; es ist interaktiv, es kann nicht exportiert werden, und eine Sitzung ist auf Sekunden begrenzt. Das andere generiert eine 3D-Szene, die Sie herunterladen, besitzen und selbst kostenlos rendern; sie ist persistent, engine-fertig und völlig unbeweglich. Das Falsche zu wählen ist kein Geschmacksfehler, es ist eine Neuarchitektur.

Diese Seite ist die praktische Trennung: was jede Familie wirklich produziert, die verifizierten API- und Export-Details, der eine Benchmark, der eine verbreitete Annahme klärt, die offenen Gewichte, die Sie auf Ihrer eigenen GPU betreiben können, und die fünf Dinge, die keine der beiden Familien für Sie tun wird.

What you'll learn
  • Die zwei Familien von World Models unterscheiden und danach auswählen, was Sie persistieren müssen
  • Die echten Grenzen kennen: die 60-Sekunden-Wand, den Physik-Disclaimer, die Export-Stufe, die kommerzielle Rechte freischaltet
  • Die World API richtig lesen — asynchrone Operationen, der WLT-Api-Key-Header und welche Splat-Formate herauskommen
  • Die WorldScore-Belege statt Bauchgefühl nutzen, wenn Sie zwischen einem Videomodell und einem 3D-Modell wählen
  • Ein offenes World Model selbst betreiben und verstehen, warum Inverse Dynamics der Teil ist, der 8,2 Milliarden US-Dollar wert ist

Zwei Dinge teilen sich den Namen​

Frame-Generatoren3D-Generatoren
BeispieleGenie 3 / Project Genie, Driving-World-ModelsMarble (World Labs)
Was dabei herauskommtEin Videostream, Bild für Bild, konditioniert auf Ihre AktionenEine Szene: Gaussian Splats, Panoramen, optional ein Mesh
Wo die Welt liegtIm rollierenden Kontext des ModellsIn einer Datei, die Sie herunterladen
Interaktiv?Ja — genau darum geht esNein. Sie navigieren darin, aber sie reagiert nicht
Exportierbar?Keine Geometrie zum ExportierenJa — SPZ, PLY, GLB, Collider-Meshes
KostenformPro Interaktionssekunde, pro Betrachter, dauerhaftEinmal bei der Generierung. Das Rendern gehört dann Ihnen
Scheitert durchDrift, Vergessen, Ablauf der SitzungStatisch sein und nichts simulieren

Wenn Sie eine Welt brauchen, die reagiert — eine Spielerin, die eine Taste drückt, eine Roboter-Policy, die eine Aktion ausführt und sieht, was passiert — brauchen Sie einen Frame-Generator. Wenn Sie eine Welt brauchen, die persistiert — ein Asset in Ihrem Spiel, ein Set in Ihrer Render-Pipeline, eine Szene, die fünf Nutzer nächsten Monat laden und identisch sehen — brauchen Sie einen 3D-Generator. Fast jede verwirrte „Warum kann es nicht einfach …“-Frage zu diesem Thema kommt von jemandem, der das eine in der Hand hält und nach dem anderen fragt.

Die Frame-Generatoren und die 60-Sekunden-Wand​

Googles Project Genie wurde am 29. Januar 2026 von einer Research Preview zu einem halbwegs öffentlichen Produkt. Die Zugangsform ist eng und lohnt sich zu kennen, bevor Sie darauf planen: Google-AI-Ultra-Abonnenten, nur USA, 18+, und ausdrücklich nicht verfügbar in Google AI Ultra for Business. Google nennt es einen „experimentellen Forschungsprototyp“.

Die Grenze, die am meisten lehrt, ist Googles eigene: Generierungen sind auf 60 Sekunden begrenzt. Das ist keine Abrechnungsentscheidung, sondern ein Zustandsproblem. In einem Frame-Generator ist die Welt nirgends gespeichert — sie ist durch den Kontext des Modells impliziert. Jeder Frame wird aus dem Prompt, den angesammelten Frames und Ihren Aktionen vorhergesagt. Konsistenz ist daher durch dasselbe begrenzt, was einen langen Chat begrenzt: wie viel Historie das Modell halten und kohärent bewahren kann. Gehen Sie von einer Wand weg und wieder zurück — ob die Wand noch da ist, ist eine Gedächtnisfrage, keine Renderfrage.

Googles erklärte Einschränkungen sind der Rest des ehrlichen Datenblatts: generierte Welten „sehen möglicherweise nicht vollständig lebensecht aus und halten sich nicht immer eng an Prompts oder Bilder oder an die Physik der realen Welt“, und Charaktere „können manchmal weniger steuerbar sein oder eine höhere Latenz in der Steuerung aufweisen“.

Lesen Sie diese Physik-Zeile genau, falls Sie vorhatten, einen Frame-Generator als Simulator einzusetzen. Es ist eine Plausibilitäts-Engine, kein Solver. Nichts garantiert, dass der Impuls zwischen Frame 300 und Frame 301 erhalten bleibt.

Das Frame-Budget, das niemand erwähnt​

Interaktive Generierung mit den allgemein berichteten 24 fps gibt Ihnen etwa 41,7 ms pro Frame, Ende zu Ende, inklusive der Zeit, die Ihre Eingabe braucht, um den Server zu erreichen. Diese einzelne Zahl erklärt die meisten Produktentscheidungen in dieser Familie: warum Sitzungen kurz sind, warum der Zugang auf eine bezahlte Stufe beschränkt ist, warum es noch keine öffentliche API gibt und warum die Kostenkurve pro Betrachter-Sekunde statt pro Asset verläuft. Sie kaufen keine Datei. Sie mieten eine GPU, die eine 42-Millisekunden-Deadline einhalten muss, solange jemand hinschaut.

Die 3D-Generatoren und was Sie tatsächlich bekommen​

World Labs' Marble verwandelt Text, ein Bild, ein Panorama, mehrere Ansichten oder einen Videoclip in eine navigierbare 3D-Szene. Die wichtige technische Tatsache ist die Repräsentation: die Ausgabe sind 3D-Gaussian-Splats, kein Mesh.

Splats sind Millionen kleiner, orientierter, halbtransparenter Blobs mit Farbe und blickwinkelabhängiger Schattierung. Sie rekonstruieren Fotos wunderschön und rendern schnell auf handelsüblichen GPUs. Sie haben aber auch keine Oberflächen, keine Kanten und keine Flächen — weshalb der nächste Abschnitt wichtiger ist, als er aussieht.

Was Marbles eigene Export-Dokumentation sagt, das Sie erhalten:

ExportVerfügbarkeit
Gaussian Splats — SPZ und PLYStandard-Plan
360-Grad-PanoramenStandard-Plan
Collider-MeshesStandard-Plan
Texturiertes Mesh (GLB) + kommerzielle RechteNur Pro-Plan
Überhaupt irgendetwasNicht in Free — nur generieren

Zwei Fallstricke stecken in dieser Tabelle. Erstens: Collider-Meshes sind ein separater Export — Sie brauchen sie, weil Sie gegen Splats nicht direkt Raycasting, Kollision oder Physik betreiben können. Die Splats sind, was der Spieler sieht; das Collider-Mesh ist, wogegen die Engine testet. Liefern Sie nur die Splats aus, und Ihre wunderschöne Welt hat keinen Boden. Zweitens: kommerzielle Rechte sind an die Pro-Stufe gebunden, nicht an den Akt des Exportierens. Prüfen Sie den Plan, bevor Sie eine generierte Welt in ein Produkt einbauen.

Marbles Doku weist außerdem darauf hin, dass Exporte mit niedrigerer Auflösung „optimiert sind, um den Dateien höherer Auflösung so wahrnehmungsähnlich wie möglich zu sein“ — ein Hinweis darauf, dass Sie die kleine Stufe testen sollten, bevor Sie für die große bezahlen.

SPZ: der 10×-Faktor, der nicht von World Labs kommt​

Ein Detail, das mehrere Artikel falsch darstellen: SPZ ist Niantics Format, von Niantic Spatial als Open Source veröffentlicht, keine Erfindung von World Labs — Marble exportiert lediglich dorthin. Es lohnt sich trotzdem, es zu verwenden. SPZ speichert jeden Koeffizienten der Kugelflächenfunktionen als 8-Bit-Ganzzahl mit Vorzeichen, mit optionaler weiterer Quantisierung, und landet bei etwa 10× kleiner als die äquivalente PLY-Datei ohne wahrnehmbaren Qualitätsverlust. Niantics eigene Tests sehen rund 5 Bit als Sweet Spot für die meisten Szenen, mit praktisch null MSE bei 8 Bit und etwa 18-facher Kompression bei 3. SPZ 4, 2026 veröffentlicht, teilt die Kompression in sechs parallele ZSTD-Streams auf — einen pro Attributklasse — für ungefähr 3–5× schnellere Kompression und 1,5–2× schnelleres Laden von Ende zu Ende bei demselben ~10×-Größenvorteil.

Wenn Sie Splats über das Web ausliefern, ist das der Unterschied zwischen einer Szene, die lädt, und einer, die es nicht tut.

Die API, konkret​

Die World API stellt Marbles Generierung Ihrem eigenen Code bereit. Die verifizierte Form, aus World Labs' Doku-Index und dem offiziellen Python-Client:

  • Eingaben: Text, Bilder, Panoramen, Multi-View-Eingaben, Video.
  • Ausgaben: Splats in SPZ, PLY, SOGS, KSPLAT und SPLAT.
  • Auth: ein API-Key, übergeben im WLT-Api-Key-Header; der Python-Client liest WORLDLABS_API_KEY aus der Umgebung.
  • Ausführungsmodell: asynchron. Sie reichen eine Generierung ein, erhalten eine Operation zurück und pollen, bis sie fertig ist. Es gibt außerdem einen Endpunkt für den Guthabenstand, Medien-Upload/-Abruf und World-Create/-Retrieve/-List/-Export/-Delete.
  • Client: worldlabsai/worldlabs-api-python, Python 3.12+. Eine CUDA-GPU wird nur für lokales Rendern benötigt, nicht für die API-Nutzung.
  • Preise: nutzungsbasiert.

Eine Welt aus Text generieren und darauf pollen

# github.com/worldlabsai/worldlabs-api-python  (Python 3.12+)
# export WORLDLABS_API_KEY=...

from worldlabs_api.client import WorldLabsClient
from worldlabs_api.models import WorldTextPrompt, WorldsGenerateRequest

client = WorldLabsClient(api_key="your-key-here")

request = WorldsGenerateRequest(
  display_name="Mystical Forest",
  world_prompt=WorldTextPrompt(text_prompt="A mystical forest"),
)

op = client.generate_world(request)      # returns an operation, not a world
done = client.poll_operation(op.operation_id)   # poll until done is true
world = done.response

Entwerfen Sie Ihre Integration von Tag eins an um diese asynchrone Grenze herum. Welt-Generierung ist ein Job, keine Anfrage — dieselbe Lektion wie bei Batch-Inferenz oder Videogenerierung. Wenn Ihr Handler inline auf eine Welt wartet, werden Sie ihn neu schreiben.

Rendern ohne Game-Engine​

World Labs pflegt außerdem Spark, einen MIT-lizenzierten Renderer für 3D-Gaussian-Splatting für THREE.js / WebGL2, sodass eine generierte Welt als Webseite ausgeliefert werden kann. Er lädt .PLY, .SPZ, .SPLAT, .KSPLAT und .SOG, verschmilzt Splats mit gewöhnlichen Meshes in der THREE.js-Pipeline und adressiert die ~98 % der Geräte mit WebGL2.

Spark 2.0 (15. April 2026) ist das Release, das große Szenen im Browser tragfähig macht: ein Level-of-Detail-Splat-Tree, der unabhängig von der Szenengröße eine feste Anzahl von Splats pro Frame rendert, ein streamendes .RAD-Format, das HTTP-Range-Requests unterstützt, sodass ein grober Proxy fast sofort erscheint und progressiv nachschärft, und virtuelles Splat-Paging gegen einen festen GPU-Speicherpool, sodass Szenen, die größer als der GPU-Speicher sind, dennoch rendern — auch auf Telefonen und der Quest 3.

Eine generierte Welt ins Web stellen

npm install @sparkjsdev/spark three
# docs and live examples: https://sparkjs.dev
# repo: https://github.com/sparkjsdev/spark
#
# Export from Marble as .spz (≈10x smaller than .ply), serve it as a
# static file, and load it into a THREE.js scene with Spark.
# For scenes over a few hundred MB, convert to .RAD so the viewer can
# range-request a coarse proxy first.

Beachten Sie, was gerade mit Ihrer Kostenkurve passiert ist. Nach der Generierung liefern Sie eine statische Datei von einem CDN aus und rendern auf der GPU des Nutzers. Das Ausliefern der Welt ist kostenlos. Das ist die Umkehrung des Frame-Generator-Modells, in dem jede Betrachter-Sekunde Inferenz ist.

Die Belege: WorldScore​

„Nimm einfach ein Videomodell“ ist hier die häufigste Abkürzung, und es gibt inzwischen einen Benchmark, der darauf antwortet. WorldScore (Stanford, arXiv:2504.00983) ist ein einheitlicher Benchmark für Welt-Generierung über 3D-, 4D-, Text-zu-Video- und Bild-zu-Video-Modelle hinweg — etwa 3.000 Beispiele, mit Metriken für Steuerbarkeit, Konsistenz, Wahrnehmungsqualität und Bewegung sowie expliziten Maßen für 3D-Konsistenz und Kamerasteuerung.

Das Ergebnis, das eine Entscheidung ändern sollte: bei WorldScore-Static führen dedizierte 3D-Szenengeneratoren — WonderWorld mit 72,69 und LucidDreamer mit 70,40 — klar vor den Videomodellen. Wenn Ihre Anforderung eine geometrisch konsistente Welt ist, durch die Sie eine Kamera bewegen können, ist ein Videomodell das falsche Werkzeug, selbst wenn seine einzelnen Frames besser aussehen.

Zwei Einschränkungen. Das Leaderboard ist live und verschiebt sich, sobald Teams einreichen. Und WorldScore-Static messt genau das, was der Name sagt — eine statische Welt; starke statische Konsistenz sagt Ihnen nichts über Dynamik.

Offene Gewichte: Cosmos 3, und was AMD wirklich gekauft hat​

Sie brauchen keine Anbieter-API, um ein World Model zu haben. NVIDIA hat Cosmos 3 veröffentlicht — ein offenes Omnimodell für Physical AI — mit Gewichten auf Hugging Face:

ModellGrößeLäuft auf
nvidia/Cosmos3-Edge4BEdge-Geräte, Roboter, Vision-Agents
nvidia/Cosmos3-Nano16B = 8B Reasoner + 8B GeneratorWorkstation-Klasse, z. B. RTX PRO 6000
nvidia/Cosmos3-Super64B = 32B Reasoner + 32B GeneratorHopper / Blackwell, großmaßstäbliche synthetische Daten

Architektonisch ist es eine Mixture-of-Transformers, die Text, Bild, Video, Audio und Aktion in einem Modell verarbeitet und eine autoregressive Teilsequenz für Reasoning mit einer Diffusions-Teilsequenz für Generierung verbindet. Es ist in Hugging Face Diffusers eingebunden, der Einstiegspunkt ist also gewöhnliches Python.

Ein offenes World Model lokal betreiben

pip install --upgrade diffusers transformers accelerate

# Cosmos3-Nano is 16B (8B reasoner + 8B generator); check the model
# card on Hugging Face for the licence and the exact torch version
# before you build on it.

import torch
from diffusers import Cosmos3OmniPipeline

pipe = Cosmos3OmniPipeline.from_pretrained(
  "nvidia/Cosmos3-Nano", torch_dtype=torch.bfloat16
)

Nun zu dem Teil, der das Preisschild erklärt. Die Aufgabentabelle von Cosmos 3 ist keine Liste von Video-Tricks:

EingabeAusgabeWas es ist
Text / Bild / VideoVideoVideogenerierung
Text / VideoTextVision-Language-Reasoning
Aktion + Bild + TextVideoForward Dynamics — „wenn ich das tue, was passiert?“
Text + VideoAktionInverse Dynamics — „welche Aktionen haben das erzeugt?“
Bild + TextVideo und AktionPolicy-Generierung

Inverse Dynamics ist die stille Fähigkeit. Sie verwandelt Aufnahmen in beschriftete Aktionen — was bedeutet, dass gewöhnliches Video zu Roboter-Trainingsdaten wird und eine generierte Welt zu einem Ort, an dem man eine Policy ohne Hardware trainieren und evaluieren kann. AMDs eigene Mitteilung beschreibt World Labs als Entwickler von Modellen, die „interaktive 3D-Umgebungen generieren, rekonstruieren und simulieren“, plus Technologie für „robotisches Lernen und Simulation“, und rahmt den Deal um Reasoning, Robotik, Simulation und Physical AI, die AMDs künftige Silizium-Roadmap prägen.

Als Compute-Geschichte statt als Grafik-Geschichte gelesen, sind 8,2 Milliarden US-Dollar für ein Trainingsumgebungs-Flywheel eine andere Art von Wette als 8,2 Milliarden US-Dollar für ein Text-zu-3D-Werkzeug.

Fünf Aufgaben, die ein World Model nicht für Sie übernimmt​

Guided walkthrough1 of 5
  1. Keine Ihrer Chain-of-Thought-, XML-Tag- oder Tool-Use-Techniken lässt sich übertragen. Ein World Model zu konditionieren ist näher am Führen einer Kamera als am Anweisen eines Assistenten: entscheidend sind das Eingabebild, der Blickwinkel, die beschriebene Beleuchtung und die Aktionssequenz. Die eine Gewohnheit, die sich überträgt, ist Quellendisziplin — ein klares, gut kadriertes Konditionierungsbild schlägt einen ausgefeilten Absatz.

Auswählen, in einem Durchgang​

  • Spiel- oder Produkt-Asset, mehrere Nutzer, muss morgen gleich aussehen → 3D- Generator. Exportieren Sie SPZ fürs Web oder GLB für eine Engine, und denken Sie an den Collider.
  • Interaktive Erkundung, ein Nutzer, Neuheit ist der Punkt → Frame-Generator, und gestalten Sie innerhalb einer 60-Sekunden-Sitzung.
  • Eine Policy trainieren oder evaluieren → offene Gewichte mit Forward und Inverse Dynamics, auf Ihrer eigenen GPU, mit einem echten Simulator für alles Sicherheitsrelevante.
  • Eine Kamera, die sich durch eine konsistente Szene bewegt → kein Videomodell. WorldScore sagt es.
Vokabular der Spatial Intelligence
Drücke Enter oder die Leertaste, um die Karte umzudrehen. Nutze die Pfeiltasten links und rechts, um zwischen den Karten zu wechseln.Begriff angezeigt.
1 / 10

Quiz​

Check yourself

0/5
  1. Sie brauchen eine 3D-Umgebung, die fünf verschiedene Nutzer nächsten Monat laden und identisch sehen. Welche Familie passt?
  2. Warum ist Project Genies 60-Sekunden-Generierungslimit eine Designfolge und keine Preisentscheidung?
  3. Sie exportieren eine Marble-Welt als SPZ, ziehen sie in Ihre Engine, und der Spieler fällt durch den Boden. Was fehlt?
  4. WorldScore-Static wird von 3D-Szenengeneratoren angeführt (WonderWorld 72,69, LucidDreamer 70,40) statt von Videomodellen. Was rechtfertigt das?
  5. Welche Fähigkeit in Cosmos 3s Aufgabentabelle verwandelt gewöhnliches Video in Roboter-Trainingsdaten?

Quellen & weiterführende Literatur​

Weiter​