WALL-OSS

WALL-OSS, 2025 yılında XSquare Robot ekibi tarafından önerilen, gövdeli zeka için açık kaynak bir temel modeldir. LeRobot uygulaması, açık kaynak WallX deposundan uyarlanmıştır.

X Square Robot’un WALL-OSS modeli artık Hugging Face’in LeRobot ekosistemine entegre edildi. Bu, LeRobot ve X Square Robot ekipleri arasında heyecan verici bir iş birliği projesidir. Artık WALL-OSS modelini doğrudan LeRobot üzerinden post-eğitim (post-train) yapabilir, değerlendirebilir ve dağıtabilirsiniz. Bu sayede, açık kaynak robotik topluluğunun WALL-OSS temel modellerini özelleştirmesini ve dağıtmasını kolaylaştırmayı hedefliyoruz. WALL-OSS makalesini ve kodunu okuyup inceleyin.

Model Genel Bakış

WALL-OSS ekibi, dünyanın en değerli verisini yakalayıp sıkıştıran somut temel modeli inşa etmektedir: sürekli, yüksek sadakatli fiziksel etkileşim akışı. Modelin kararları ile bedenin yaşanmış deneyimi arasında doğrudan bir geri bildirim döngüsü oluşturarak, gerçekten genellenebilir bir zekânın ortaya çıkması mümkün kılınmaktadır—dünyanın nasıl işlediğini değil, aynı zamanda içinde nasıl etkili bir şekilde hareket edileceğini anlayan bir zekâ.

Teknik olarak WALL-OSS, hem ayrık hem de sürekli eylem modelleme stratejilerini birleştiren sıkı bağlı çok modlu bir mimariyi (sıkı bağlı MoE yapısı) tanıtır. İki aşamalı bir eğitim hattı (İlham → Entegrasyon) aracılığıyla model, anlamsal çıkarımı ve yüksek frekanslı eylem üretimini kademeli olarak birleştirir. Temel yenilikleri şunlardır:

• Gömülü algı destekli çok modlu ön eğitim: Uzamsal, nedensel ve manipülasyon anlayışını güçlendirmek için birleşik görme-dil-aksiyon verileri üzerinde büyük ölçekli eğitim.
• Unified Cross-Level Chain-of-Thought (Uni-CoT): Yüksek düzey talimat çıkarımı, alt görev ayrıştırması ve ince taneli eylem sentezini birleştiren, “anlama”dan “uygulamaya” uzanan kesintisiz bir zincir oluşturan tek bir farklılanabilir çerçeve.
• Mixture-of-Experts (MoE) eylem başlıkları: Görev aşamasına bağlı olarak uzmanları dinamik olarak etkinleştirir ve VLM öncüllerini kararlı tutmak için eylemleri ayrık veya sürekli uzayda modeler.
• Two-stage training paradigm:
  • İlham aşaması: Mekânsal anlayışı ve anlamsal-aksiyon hizalamasını güçlendirmek için ayrık eylem önceliklerinin enjekte edilmesi.
  • Entegrasyon aşaması: Yüksek frekanslı sürekli kontrolü akış eşleştirmesi (flow matching) ile sağlamak.

Kurulum Gereksinimleri

1. LeRobot'u Yükleme Kılavuzumuz’u takip ederek yükleyin.

2. Aşağıdaki komutu çalıştırarak WallX bağımlılıklarını yükleyin:

   Kopyalandı

   pip install -e ".[wallx]"

Kullanım

LeRobot'ta WallX'i kullanmak için politika türünü şu şekilde belirtin:

policy.type=wall_x

Metin üretimi ve etkileşimli kontrol

WALL-OSS, Kendi politikasını getir sözleşmesinden yerel metin üretimini açığa çıkarır. Çalışma zamanı, WALL-OSS’un normal giriş hattını çalıştırmadan önce query_kind ve çağıran tarafından sahip olunan query_text değerlerini sağlar:

request = {
    **observation,
    "query_kind": "vqa",
    "query_text": "Which object is closest to the right gripper?",
}
processed_batch = preprocessor(request)
answer = policy.generate_text(processed_batch)

vqa, soruyu kullanıcı yükü olarak korur. next_subtask, ${subtask} öncesinde checkpoint tarifini uygular. WALL-X, Qwen görme-dil uzmanı için herkese açık generate_text(processed_batch) API'sini doğrudan geçersiz kılar ve bu yeteneği supports_text_generation() üzerinden bildirir.

Etkileşimli dil çalışma zamanı bir alt görev oluşturabilir ve ardından WALL-OSS eylem tahminini buna göre koşullandırabilir:

lerobot-rollout \
  --strategy.type=base \
  --policy.path=your-org/your-wall-oss-checkpoint \
  --robot.type=your_robot_type \
  --robot.port=/dev/your_robot_port \
  --task="clear the table" \
  --interactive=true

/start sonrasında, görüntüye dayalı VQA için /vqa <question> veya tarife dayalı bir sonraki alt görevin oluşturulması için /autosteer <goal> kullanın. /subtask <text> komutu, üretimi atlayarak talimatı doğrudan eylem çıkarımına iletir.

Eğitim

WallX'i eğitmek için uygun yapılandırmayla standart LeRobot eğitim betiğini kullanabilirsiniz:

lerobot-train \
    --dataset.repo_id=your_dataset \
    --policy.type=wall_x \
    --output_dir=./outputs/wallx_training \
    --job_name=wallx_training \
    --policy.repo_id=your_repo_id \
    --policy.pretrained_name_or_path=x-square-robot/wall-oss-flow \
    --policy.prediction_mode=diffusion \
    --policy.attn_implementation=eager \
    --steps=3000 \
    --policy.device=cuda \
    --batch_size=32

Dil açıklamalarıyla eğitin

WALL-X, LeRobot'un isteğe bağlı dil sütunlarından eğitim almak için yerleşik tarifini kullanır. Yalnızca bu tarifi değiştirmek için recipe_path değerini ayarlayın:

lerobot-train \
  --dataset.repo_id=your_org/your_language_annotated_dataset \
  --policy.type=wall_x \
  --policy.pretrained_name_or_path=x-square-robot/wall-oss-flow \
  --policy.text_loss_weight=0.01 \
  --policy.flow_loss_weight=1.0 \
  --policy.device=cuda \
  --batch_size=1 \
  --steps=20000

Hedefli asistan turları bir sonraki jeton çapraz entropisi alırken, low_level tarifi akışları sürekli akış-aksiyon denetimi alır. Bir satır, bu amaçlardan birini veya her ikisini de alabilir. Kullanıcı istemleri, görüntüler, propriyosepsiyon, aksiyon-sorgu jetonları ve dolgu, metin kaybından hariç tutulur. WALL-OSS’ün orijinal yalnızca aksiyon eğitim yolunu kullanmak için policy.recipe=null olarak ayarlayın.

Annotasyon şeması ve mevcut tarifler için Dil sütunları ve tarifler bölümüne bakın.

Eğitim Argümanları

Dil eğitimi policy.text_loss_weight (varsayılan 0.01), policy.flow_loss_weight (varsayılan 1.0) ve policy.tokenizer_max_length (varsayılan 768) kullanır. policy.recipe_path, yerleşik tarifi isteğe bağlı olarak değiştirir.

Lisans

Bu model, orijinal WallX deposu ile tutarlı olarak Apache 2.0 Lisansı'na uyar.