Эта модель была опубликована в HF papers 12.02.2020 и добавлена в Hugging Face Transformers 20.06.2023.

T5v1.1

Обзор

T5v1.1 был выпущен в репозитории google-research/text-to-text-transfer-transformer Колином Раффелом и соавторами. Это улучшенная версия исходной модели T5. Эта модель была добавлена patrickvonplaten. Исходный код можно найти здесь.

Советы по использованию

Можно напрямую подставить веса T5v1.1 в модель T5, как показано ниже:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

Версия T5 1.1 включает следующие улучшения по сравнению с исходной моделью T5:

• Функция активации GEGLU в скрытом слое с прямой передачей вместо ReLU. См. эту статью.

• Dropout был отключен на этапе предварительного обучения (это повысило качество). При дообучении Dropout следует включить обратно.

• Предобучен только на C4 без смешивания с задачами целевого применения.

• Отсутствие общего использования параметров между слоем встраивания и слоем классификатора.

• «xl» и «xxl» заменяют «3B» и «11B». Формы моделей немного отличаются — более крупный d_model и меньшие num_heads и d_ff.

Примечание: T5 Version 1.1 был обучен только на C4 без какого-либо обучения с учителем. Поэтому перед использованием в конкретной прикладной задаче эту модель необходимо дообучить, в отличие от исходной модели T5. Поскольку t5v1.1 был обучен без учителя, при дообучении на одной задаче нет реального преимущества в использовании префикса задачи. Если вы выполняете дообучение на нескольких задачах, префикс следует использовать.

Google выпустила следующие варианты:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

См. страницу документации T5 для полного справочника API, советов, примеров кода и ноутбуков.