LeRobot documentation
LeRobot
LeRobot
Machine learning de última generación para robótica en el mundo real
🤗 LeRobot ofrece una interfaz nativa de Python e independiente del hardware para controlar robots reales, desde brazos asequibles como el SO-ARM101 hasta humanoides completos. Además, incluye las herramientas para grabar, almacenar y compartir los conjuntos de datos que generan. Cada conjunto de datos utiliza el formato estandarizado LeRobotDataset (vídeo sincronizado + datos de acción/estado) y puede transmitirse directamente desde el Hugging Face Hub.
🤗 Sobre esos datos, LeRobot implementa políticas de última generación: desde modelos ligeros de aprendizaje por imitación como ACT hasta grandes modelos de visión-lenguaje-acción como π₀ y SmolVLA, todos entrenables, compartibles y desplegables con el mismo puñado de comandos de CLI.
El objetivo: reducir la barrera de entrada a la robótica, para que todos puedan contribuir a, y beneficiarse de, conjuntos de datos y modelos preentrenados compartidos.
Cómo funciona
Teleoperar → Grabar → Entrenar → Desplegar
- Teleoperar - controla el robot tú mismo (con un brazo líder, un teclado o un teléfono) para que pueda aprender de tus movimientos.
- Record - cada demostración se guarda como un conjunto de datos: el video de la cámara sincronizado junto con las acciones que realizaste.
- Entrenar - una política (la red neuronal que controlará el robot) aprende a imitar tus demostraciones.
- Desplegar - ejecutar la política entrenada en el robot y observar cómo completa la tarea por sí solo.
Comenzar
¿Nuevo por aquí? Vea cómo es un conjunto de datos de LeRobot antes de instalar nada:
Abre lerobot/svla_so101_pickplace en el LeRobot Dataset Visualizer para ver sus grabaciones de cámara junto al estado y las acciones del robot, cuadro a cuadro, sin necesidad de instalar nada. Funciona con cualquier conjunto de datos de LeRobot en el Hub, incluidos los tuyos. Consulta cómo usarlo.
¿Listo para probarlo? Instala LeRobot y luego elige tu camino:
LeRobot es compatible con una amplia variedad de brazos y robots móviles. Opciones populares:
- SO-101 - nuestro brazo insignia de bajo costo
- LeKiwi - una base móvil con un brazo en la parte superior
- Koch v1.1 - un favorito de la comunidad desde hace mucho tiempo
- o encuentra el tuyo en Robots en la barra lateral
Una vez que esté ensamblado y calibrado, registra un conjunto de datos y entrena tu primera política con el tutorial de aprendizaje por imitación - o omite por completo la CLI con LeLab, una interfaz gráfica de navegador para el mismo flujo de trabajo.
Aun así, puedes entrenar y evaluar políticas sin poseer un robot:
- explorar cualquier conjunto de datos en el Dataset Visualizer
- entrenar en un conjunto de datos de LeRobot existente del Hub
- evaluar en simulación, frente a benchmarks como LIBERO o Meta-World
- prueba los notebooks de Colab gratuitos: no hay nada que instalar
Comience con la Guía de contribución y luego agregue una nueva política o traiga su propio hardware.
Explora la documentación
Todos los comandos de la CLI de LeRobot, listos para copiar y pegar.
Qué política se adapta a tu GPU y cuánto tiempo tarda el entrenamiento.
Carga, transmite y visualiza conjuntos de datos de robots desde el Hub.
Una interfaz gráfica de navegador para calibrar, grabar y entrenar, sin necesidad de CLI.
Comience con ACT, nuestra primera política recomendada, o explore SmolVLA, π₀ y más en la barra lateral.
Entrena y evalúa en benchmarks simulados como LIBERO antes de trabajar con hardware real.
Problemas comunes
¿Tienes problemas? Algunos de los más frecuentes:
- Grabación borrosa o inutilizable de la cámara - la iluminación es más importante que la resolución. Consulta Colocación de la cámara e iluminación.
- Errores de compilación o instalación (
cmake,ffmpeg, CUDA): consulte la sección de Solución de problemas de la Guía de instalación. - ¿No está seguro de qué política se adapta a su GPU? Consulte la Guía de cómputo y hardware.
- ¿Sigues atascado? Pregunta en Discord: la comunidad (y el equipo de LeRobot) está ahí para ayudarte.