Sim-to-real (скорочення від „from simulation to reality”) — це підхід, за якого робот спершу опановує навичку в комп’ютерній симуляції, а вже потім набута політика завантажується в реальну машину. Головна мотивація суто практична: у фізиці, що працює в симуляторі, можна паралельно запустити тисячі віртуальних роботів, які за кілька годин назбирають досвід, еквівалентний рокам реального тренування — і це без ризику, що дороге обладнання зламається чи когось травмує.
Sim-to-real майже незамінний насамперед для ходьби та рівноваги, де масово застосовується навчання з підкріпленням — у реальності воно вимагає величезної кількості падінь, які ніхто не може собі дозволити. Багато вражаючих демонстрацій динамічної ходьби та відновлення рівноваги в роботів на кшталт Unitree H1, Unitree G1 чи електричного Atlas виникли саме завдяки тренуванню в симуляції.
Заковика називається reality gap — розрив між симуляцією та реальністю. Симуляція ніколи не влучає ідеально в тертя, люфти в редукторах, затримки сенсорів чи дрібні відхилення виробництва, тож політика, яка працювала віртуально, у реальності може зазнати невдачі. Стандартним рішенням є domain randomization: під час тренування випадково змінюють параметри середовища (тертя, маси, затримки, шум сенсорів), завдяки чому політика вчиться бути стійкою до невизначеності і не покладається на одну точну модель світу.
Sim-to-real тісно пов’язаний із цифровим двійником робота й середовища та з якісними фізичними рушіями. Тому NVIDIA довкола своєї екосистеми Isaac будує симуляційні інструменти та синтетичні дані — симуляція таким чином стає таким самим важливим „джерелом даних”, як і реальне розгортання.