Model ini dipublikasikan di HF papers pada 2020-06-24 dan disumbangkan ke Hugging Face Transformers pada 2023-06-20.

XLSR-Wav2Vec2

Ikhtisar

Model XLSR-Wav2Vec2 diusulkan dalam Unsupervised Cross-Lingual Representation Learning For Speech Recognition oleh Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.

Abstrak dari makalah tersebut adalah sebagai berikut:

Paper ini memperkenalkan XLSR, yang mempelajari representasi ucapan lintas bahasa dengan melakukan pra-pelatihan model tunggal dari gelombang mentah (raw waveform) ucapan dalam berbagai bahasa. Kami membangun di atas wav2vec 2.0, yang dilatih dengan menyelesaikan tugas kontras atas representasi laten ucapan yang dimasker, serta secara bersama-sama mempelajari kuantisasi dari laten yang dibagikan di antara bahasa-bahasa. Model yang dihasilkan kemudian disempurnakan (fine-tuned) pada data berlabel, dan eksperimen menunjukkan bahwa pra-pelatihan lintas bahasa secara signifikan melampaui pra-pelatihan monolingual. Pada benchmark CommonVoice, XLSR menunjukkan penurunan tingkat kesalahan fonem relatif sebesar 72% dibandingkan dengan hasil terbaik yang diketahui. Pada BABEL, pendekatan kami meningkatkan tingkat kesalahan kata (word error rate) sebesar 16% relatif dibandingkan dengan sistem yang sebanding. Pendekatan kami memungkinkan adanya satu model pengenalan ucapan multibahasa yang kompetitif dengan model-model individual yang kuat. Analisis menunjukkan bahwa representasi ucapan diskrit laten dibagikan di antara bahasa-bahasa, dengan tingkat pembagian yang lebih tinggi untuk bahasa-bahasa yang terkait. Kami berharap dapat mendorong penelitian dalam pemahaman ucapan sumber daya rendah dengan merilis XLSR-53, sebuah model besar yang telah dipra-latih dalam 53 bahasa.

Kode asli dapat ditemukan di sini.

Catatan: Meta (FAIR) merilis versi baru dari Wav2Vec2-BERT 2.0 - model ini telah dipretrain pada 4,5 juta jam audio. Kami sangat merekomendasikannya untuk tugas fine-tuning, misalnya sesuai dengan panduan ini.

Tips penggunaan

• XLSR-Wav2Vec2 adalah model ucapan yang menerima array float yang sesuai dengan gelombang mentah dari sinyal ucapan.
• Model XLSR-Wav2Vec2 dilatih menggunakan connectionist temporal classification (CTC), sehingga output model harus didekode menggunakan Wav2Vec2CTCTokenizer.

Arsitektur XLSR-Wav2Vec2 didasarkan pada model Wav2Vec2, sehingga Anda dapat merujuk ke halaman dokumentasi Wav2Vec2.