Bu model 2020-06-24 tarihinde HF papers'ta yayımlanmış ve 2023-06-20 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.

XLSR-Wav2Vec2

Genel Bakış

XLSR-Wav2Vec2 modeli, Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed ve Michael Auli tarafından Unsupervised Cross-Lingual Representation Learning For Speech Recognition makalesinde önerilmiştir.

Makalenin özeti aşağıdaki gibidir:

Bu makale, çok sayıda dildeki ham ses dalgalarından tek bir modeli ön eğiterek diller arası ses temsilleri öğrenen XLSR'yi sunar. wav2vec 2.0 üzerine inşa ediyoruz; bu model, maskelenmiş gizli ses temsilleri üzerinde bir kontrastif görevi çözerek eğitilir ve diller arasında paylaşılan gizli değişkenlerin bir kuantizasyonunu birlikte öğrenir. Elde edilen model etiketli verilerle ince ayarlanır ve deneyler, diller arası ön eğitimin tek dilli ön eğitime göre önemli ölçüde daha iyi performans gösterdiğini ortaya koyar. CommonVoice benchmark'ında XLSR, bilinen en iyi sonuçlara kıyasla %72'lik bir göreli fonem hata oranı azalması gösterir. BABEL'de, yaklaşımımız karşılaştırılabilir bir sisteme göre %16'lık bir göreli kelime hata oranı iyileşmesi sağlar. Yaklaşımımız, güçlü bireysel modellerle rekabet edebilen tek bir çok dilli ses tanıma modelini mümkün kılar. Analiz, gizli ayrık ses temsillerinin diller arasında paylaşıldığını ve ilişkili dillerde paylaşımın arttığını göstermektedir. 53 dilde ön eğitilmiş büyük bir model olan XLSR-53'ü yayınlayarak, düşük kaynaklı ses anlama alanındaki araştırmaları hızlandırmayı umuyoruz.

Orijinal kod burada bulunabilir.

Not: Meta (FAIR), Wav2Vec2-BERT 2.0'ın yeni bir sürümünü yayınladı - 4,5 milyon saatlik ses verisi üzerinde ön eğitilmiş durumda. Özellikle ince ayar görevleri için kullanmanızı, örneğin bu kılavuza uygun olarak, özellikle öneriyoruz.

Kullanım ipuçları

• XLSR-Wav2Vec2, ses sinyalinin ham dalga formuna karşılık gelen bir float dizisini kabul eden bir konuşma modelidir.
• XLSR-Wav2Vec2 modeli, bağlantısal zamansal sınıflandırma (CTC) kullanılarak eğitildiğinden, model çıktısının Wav2Vec2CTCTokenizer ile çözümlenmesi gerekir.

XLSR-Wav2Vec2’nin mimarisi Wav2Vec2 modeline dayanmaktadır, bu nedenle Wav2Vec2’nin dokümantasyon sayfasına başvurulabilir.