Transformers documentation
AQLM
AQLM
Dil Modellerinin Çekirdeksel Kuantizasyonu (AQLM), birden fazla ağırlığı birlikte kuantize eder ve bunlar arasındaki karşılıklı bağımlılıklardan yararlanır. AQLM, 8-16 ağırlıktan oluşan grupları, birden çok vektör kodunun toplamı olarak temsil eder.
AQLM, PEFT kütüphanesiyle LoRA kullanılarak ince ayarı da destekler ve daha hızlı çıkarım ve eğitim için torch.compile ile tam uyumludur.
GPU ve CPU çıkarımı ile eğitim için çekirdek desteğine sahip AQLM kütüphanesini yüklemek için aşağıdaki komutu çalıştırın.
pip install aqlm[gpu,cpu]
AQLM-kuantize edilmiş bir modeli from_pretrained() ile yükleyin.
from transformers import AutoTokenizer, AutoModelForCausalLM
quantized_model = AutoModelForCausalLM.from_pretrained(
"ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf",
dtype="auto",
device_map="auto"
)Yapılandırmalar
AQLM kuantizasyon kurulumları, kullanılan kod kitabı sayısında ve kod kitabı boyutlarında (bit cinsinden) farklılık gösterir. En popüler kurulumlar ve desteklenen çıkarım çekirdekleri aşağıda gösterilmektedir.
| Çekirdek | Kod kitapları sayısı | Kod kitabı boyutu, bit | Notasyon | Doğruluk | Hızlanma | Hızlı GPU çıkarımı | Hızlı CPU çıkarımı |
|---|---|---|---|---|---|---|---|
| Triton | K | N | KxN | - | ~0,7x'e kadar | ✅ | ❌ |
| CUDA | 1 | 16 | 1x16 | En iyi | ~1.3x'e kadar | ✅ | ❌ |
| CUDA | 2 | 8 | 2x8 | Tamam | ~3.0x'e kadar | ✅ | ❌ |
| Numba | K | 8 | Kx8 | İyi | ~4.0 katına kadar | ❌ | ✅ |
Kaynaklar
Daha fazla örnek için, bir modeli nasıl kuantize edeceğinizi, kuantize edilmiş bir modeli Hub'a nasıl yükleyeceğinizi ve daha fazlasını gösteren AQLM demo notebook'unu çalıştırın.
Daha fazla örnek demo defterleri için AQLM deposuna göz atın.
Update on GitHub