Le sim-to-real (abréviation de « from simulation to reality ») est une approche où le robot apprend d’abord une compétence dans une simulation informatique, puis seulement ensuite la politique apprise est chargée dans la machine réelle. La motivation principale est pratique : dans la physique tournant au sein d’un simulateur, on peut lancer en parallèle des milliers de robots virtuels qui, en quelques heures, accumulent une expérience équivalente à des années d’entraînement réel — et cela sans risquer d’abîmer du matériel coûteux ou de blesser quelqu’un.
Le sim-to-real est quasi indispensable surtout pour la marche et l’équilibre, où l’apprentissage par renforcement est massivement employé — celui-ci exige en réalité un nombre énorme de chutes que personne ne peut se permettre. Beaucoup de démonstrations impressionnantes de marche dynamique et de récupération d’équilibre chez des robots comme l’Unitree H1, l’Unitree G1 ou l’Atlas électrique sont nées précisément d’un entraînement en simulation.
Le piège s’appelle le reality gap — l’écart entre la simulation et la réalité. La simulation ne reproduit jamais parfaitement le frottement, les jeux dans les réducteurs, la latence des capteurs ni les petites variations de fabrication, si bien qu’une politique qui fonctionnait virtuellement peut échouer dans le monde réel. La solution standard est la domain randomization : pendant l’entraînement, on fait varier aléatoirement les paramètres de l’environnement (frottement, masses, délais, bruit des capteurs), de sorte que la politique apprenne à être robuste face à l’incertitude et ne s’appuie pas sur un unique modèle du monde précis.
Le sim-to-real est étroitement lié au jumeau numérique du robot et de l’environnement, ainsi qu’à des moteurs physiques de qualité. NVIDIA construit pour cette raison autour de son écosystème Isaac des outils de simulation et des données synthétiques — la simulation devient ainsi une « source de données » aussi importante que le déploiement réel.