Sim-to-real (abreviatura de «from simulation to reality») es el procedimiento por el cual el robot primero aprende una habilidad en una simulación por ordenador y solo después se carga la política aprendida en la máquina real. La principal motivación es práctica: en la física que corre dentro del simulador se pueden poner en marcha en paralelo miles de robots virtuales que, en pocas horas, acumulan una experiencia equivalente a años de entrenamiento real, y todo ello sin el riesgo de que el costoso hardware se rompa o lesione a alguien.
El sim-to-real es casi imprescindible sobre todo para la marcha y el equilibrio, donde se aplica masivamente el aprendizaje por refuerzo, que en la realidad exige una enorme cantidad de caídas que nadie puede permitirse. Muchas de las impresionantes demostraciones de marcha dinámica y recuperación del equilibrio de robots como Unitree H1, Unitree G1 o el Atlas eléctrico nacieron precisamente del entrenamiento en simulación.
El inconveniente se llama reality gap, la brecha entre la simulación y la realidad. La simulación nunca acierta a la perfección el rozamiento, las holguras de los reductores, la latencia de los sensores ni las pequeñas desviaciones de fabricación, de modo que una política que funcionaba en lo virtual puede fallar en la realidad. La solución estándar es la domain randomization: durante el entrenamiento se cambian aleatoriamente los parámetros del entorno (rozamiento, masas, retardos, ruido de los sensores), de manera que la política aprende a ser robusta frente a la incertidumbre y no se apoya en un único modelo del mundo exacto.
El sim-to-real está estrechamente relacionado con el gemelo digital del robot y del entorno, así como con motores físicos de calidad. Por eso NVIDIA construye en torno a su ecosistema Isaac herramientas de simulación y datos sintéticos: la simulación se convierte así en una «fuente de datos» tan importante como el despliegue real.