# XLS-R

## Обзор

Модель XLS-R была предложена в статье [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) авторами Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

Аннотация из статьи следующая:

*В данной статье представлен XLS-R — модель крупного масштаба для обучения кросс-лингвальных представлений речи на основе wav2vec 2.0. Мы обучаем модели с количеством параметров до 2 млрд на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках, что на порядок превышает объём открытых данных, использованных в крупнейших известных ранее работах. Наша оценка охватывает широкий спектр задач, областей применения, режимов данных и языков, как с большим, так и с малым объёмом ресурсов. На бенчмарке перевода речи CoVoST-2 мы улучшаем предыдущий лучший результат в среднем на 7,4 BLEU по 21 направлению перевода на английский язык. Для распознавания речи XLS-R превосходит лучшие известные ранее результаты на BABEL, MLS, CommonVoice, а также VoxPopuli, снижая уровень ошибок в среднем на 14–34% относительно. XLS-R также устанавливает новый лучший результат на VoxLingua107 для задачи идентификации языка. Кроме того, мы показываем, что при достаточном размере модели кросс-лингвальное предварительное обучение может превосходить предварительное обучение только на английском языке при переводе английской речи на другие языки, в сценарии, который благоприятствует монолингвальному предварительному обучению. Мы надеемся, что XLS-R поможет улучшить задачи обработки речи для многих других языков мира.*

Соответствующие контрольные точки можно найти по адресу https://huggingface.co/models?other=xls_r.

Исходный код можно найти [здесь](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec).

## Советы по использованию

- XLS-R — это модель для обработки речи, которая принимает массив float, соответствующий исходной волновой форме речевого сигнала.
- Модель XLS-R обучалась с использованием connectionist temporal classification (CTC), поэтому вывод модели необходимо декодировать с помощью [Wav2Vec2CTCTokenizer](/docs/transformers/main/ru/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

Архитектура XLS-R основана на модели Wav2Vec2, см. [страницу документации Wav2Vec2](wav2vec2) для справки по API.