Sim-to-real (Kurzform für „from simulation to reality”) ist ein Verfahren, bei dem ein Roboter eine Fähigkeit zunächst in einer Computersimulation erlernt und die erlernte Policy erst danach auf die reale Maschine überträgt. Die Hauptmotivation ist praktischer Natur: In der im Simulator laufenden Physik lassen sich parallel Tausende virtueller Roboter starten, die innerhalb weniger Stunden eine Erfahrung sammeln, die jahrelangem realem Training entspricht — und das ohne das Risiko, dass teure Hardware kaputtgeht oder jemand verletzt wird.
Sim-to-real ist vor allem für Gehen und Gleichgewicht nahezu unverzichtbar, wo das Reinforcement Learning massiv zum Einsatz kommt — das erfordert in der Realität eine enorme Zahl an Stürzen, die sich niemand leisten kann. Viele eindrucksvolle Demonstrationen dynamischen Gehens und der Wiederherstellung des Gleichgewichts bei Robotern wie Unitree H1, Unitree G1 oder dem elektrischen Atlas entstanden gerade durch Training in der Simulation.
Der Haken heißt Reality Gap — die Lücke zwischen Simulation und Realität. Die Simulation trifft niemals perfekt die Reibung, das Spiel in den Getrieben, die Latenz der Sensoren oder die kleinen Fertigungsabweichungen, sodass eine Policy, die virtuell funktionierte, in der Realität versagen kann. Die Standardlösung heißt Domain Randomization: Während des Trainings werden die Umgebungsparameter (Reibung, Massen, Verzögerungen, Sensorrauschen) zufällig variiert, sodass die Policy lernt, robust gegenüber Unsicherheit zu sein und sich nicht auf ein einziges exaktes Weltmodell verlässt.
Sim-to-real hängt eng mit dem digitalen Zwilling des Roboters und der Umgebung sowie mit hochwertigen Physik-Engines zusammen. NVIDIA baut deshalb rund um sein Isaac-Ökosystem Simulationswerkzeuge und synthetische Daten auf — die Simulation wird so zu einer ebenso wichtigen „Datenquelle” wie der reale Einsatz.