LeRobot documentation
LeRobot
LeRobot
Machine learning de ponta para robótica em cenários reais
🤗 O LeRobot oferece uma interface nativa em Python, agnóstica em relação ao hardware, para controlar robôs reais - desde braços acessíveis como o SO-ARM101 até humanóides completos. Além disso, fornece as ferramentas para gravar, armazenar e compartilhar os conjuntos de dados que eles geram. Cada conjunto de dados utiliza o formato padronizado LeRobotDataset (vídeo sincronizado + dados de ação/estado) e pode ser transmitido diretamente do Hugging Face Hub.
🤗 Sobre esses dados, o LeRobot implementa políticas de estado da arte - desde modelos leves de aprendizado por imitação, como o ACT, até grandes modelos de visão-linguagem-ação, como π₀ e SmolVLA - todos treináveis, compartilháveis e implantáveis com o mesmo conjunto de comandos de CLI.
O objetivo: reduzir a barreira de entrada para a robótica, para que todos possam contribuir com, e se beneficiar de, conjuntos de dados compartilhados e modelos pré-treinados.
Como Funciona
Teleopere → Grave → Treine → Implante
- Teleoperação - controle o robô você mesmo (com um braço líder, teclado ou celular) para que ele possa aprender com seus movimentos.
- Registro - cada demonstração é salva como um conjunto de dados: vídeo da câmera sincronizado com as ações que você executou.
- Treinar - uma política (a rede neural que controlará o robô) aprende a imitar suas demonstrações.
- Implantação - execute a política treinada no robô e observe-a concluir a tarefa de forma autônoma.
Comece
Novo por aqui? Veja como é um dataset do LeRobot antes de instalar qualquer coisa:
Abra lerobot/svla_so101_pickplace no LeRobot Dataset Visualizer para assistir às gravações da câmera ao lado do estado e das ações do robô, quadro a quadro, sem precisar instalar nada. Funciona para qualquer dataset LeRobot no Hub, incluindo os seus. Veja como usá-lo.
Pronto para tentar por conta própria? Instale o LeRobot e, em seguida, escolha seu caminho:
O LeRobot suporta uma ampla variedade de braços e robôs móveis. Opções populares:
- SO-101 - nosso braço principal, de baixo custo
- LeKiwi - uma base móvel com um braço no topo
- Koch v1.1 - um favorito de longa data da comunidade
- ou encontre o seu em Robots na barra lateral
Depois de montado e calibrado, registre um conjunto de dados e treine sua primeira política com o tutorial de aprendizado por imitação - ou pule completamente a CLI com o LeLab, uma interface gráfica do navegador para o mesmo fluxo de trabalho.
Você ainda pode treinar e avaliar políticas sem possuir um robô:
- explorar qualquer conjunto de dados no Dataset Visualizer
- treinar em um conjunto de dados LeRobot existente no Hub
- avaliar em simulação, contra benchmarks como LIBERO ou Meta-World
- experimente os notebooks do Colab gratuitos - nada para instalar
Comece pelo Guia de contribuição, depois adicione uma nova política ou traga seu próprio hardware.
Explore a Documentação
Todos os comandos da CLI do LeRobot, prontos para copiar e colar.
Qual política se adequa à sua GPU e quanto tempo o treinamento leva.
Carregue, transmita e visualize conjuntos de dados de robôs do Hub.
Uma interface gráfica de navegador para calibrar, gravar e treinar - sem necessidade de CLI.
Comece com o ACT, nossa primeira política recomendada - ou navegue por SmolVLA, π₀ e mais opções na barra lateral.
Treine e avalie em benchmarks simulados, como o LIBERO, antes de tocar em hardware real.
Problemas comuns
Encontrando problemas? Alguns dos mais frequentes:
- Imagens da câmera embaçadas ou inutilizáveis - a iluminação é mais importante que a resolução. Consulte Posicionamento da câmera e iluminação.
- Erros de compilação ou instalação (
cmake,ffmpeg, CUDA) - consulte a seção de Solução de problemas do guia de instalação. - Não tem certeza de qual política se adequa à sua GPU - consulte o Guia de Computação e Hardware.
- Ainda travado? Pergunte no Discord - a comunidade (e a equipe do LeRobot) está lá para ajudar.