Эта модель была опубликована в HF papers 17.11.2021 и добавлена в Hugging Face Transformers 20.06.2023.

XLS-R

Обзор

Модель XLS-R была предложена в работе XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale авторами Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

Аннотация из статьи следующая:

В данной статье представлен XLS-R — крупномасштабная модель для обучения кросс-лингвальных представлений речи на основе wav2vec 2.0. Мы обучаем модели с числом параметров до 2 млрд на почти полумиллионе часов общедоступных аудиозаписей речи на 128 языках, что на порядок превышает объём открытых данных, использованных в крупнейших известных ранее работах. Наша оценка охватывает широкий спектр задач, областей применения, режимов данных и языков, как с большим, так и с малым объёмом ресурсов. На бенчмарке перевода речи CoVoST-2 мы улучшаем предыдущий уровень состояния техники в среднем на 7,4 BLEU по 21 направлению перевода на английский язык. Для распознавания речи XLS-R превосходит лучшие известные ранее результаты на BABEL, MLS, CommonVoice, а также VoxPopuli, снижая показатели ошибок в среднем на 14–34% относительно. XLS-R также устанавливает новый уровень состояния техники в задаче идентификации языка VoxLingua107. Кроме того, мы показываем, что при достаточном размере модели кросс-лингвальное предобучение может превосходить предобучение только на английском языке при переводе английской речи на другие языки, в сценарии, который благоприятствует монолингвальному предобучению. Мы надеемся, что XLS-R поможет улучшить задачи обработки речи для многих других языков мира.

Соответствующие контрольные точки можно найти по адресу https://huggingface.co/models?other=xls_r.

Исходный код можно найти здесь.

Советы по использованию

• XLS-R — это модель для обработки речи, которая принимает массив float, соответствующий исходной волновой форме речевого сигнала.
• Модель XLS-R обучалась с использованием connectionist temporal classification (CTC), поэтому вывод модели необходимо декодировать с помощью Wav2Vec2CTCTokenizer.

Архитектура XLS-R основана на модели Wav2Vec2, см. страницу документации Wav2Vec2 для справки по API.