# T5v1.1

## Обзор

T5v1.1 был выпущен в репозитории [google-research/text-to-text-transfer-transformer](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) Коллином Раффелом и соавторами. Это улучшенная версия исходной модели T5. Данная модель была добавлена [patrickvonplaten](https://huggingface.co/patrickvonplaten). Исходный код можно найти [здесь](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511).

## Советы по использованию

Можно напрямую подставить веса T5v1.1 в модель T5, как показано ниже:

```python
from transformers import T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")
```

Версия T5 1.1 включает следующие улучшения по сравнению с исходной моделью T5:

- Функция активации GEGLU в скрытом слое с прямой передачей вместо ReLU. См. [эту статью](https://huggingface.co/papers/2002.05202).

- Dropout был отключен на этапе предварительного обучения (это повысило качество). При дообучении Dropout следует включить обратно.

- Предобучен только на C4 без смешивания с задачами целевого применения.

- Отсутствие общего использования параметров между слоем встраивания и слоем классификатора.

- "xl" и "xxl" заменяют "3B" и "11B". Формы моделей немного отличаются — более крупный `d_model` и меньшие `num_heads` и `d_ff`.

Примечание: T5 Version 1.1 был обучен только на [C4](https://huggingface.co/datasets/allenai/c4) без какого-либо обучения с учителем. Поэтому, в отличие от исходной модели T5, перед использованием в прикладной задаче эту модель необходимо дообучить. Поскольку t5v1.1 был обучен без учителя, при дообучении на одной задаче нет реального преимущества в использовании префикса задачи. Если вы выполняете дообучение на нескольких задачах, следует использовать префикс.

Google выпустила следующие варианты:

- [google/t5-v1_1-small](https://huggingface.co/google/t5-v1_1-small)

- [google/t5-v1_1-base](https://huggingface.co/google/t5-v1_1-base)

- [google/t5-v1_1-large](https://huggingface.co/google/t5-v1_1-large)

- [google/t5-v1_1-xl](https://huggingface.co/google/t5-v1_1-xl)

- [google/t5-v1_1-xxl](https://huggingface.co/google/t5-v1_1-xxl).

См. [страницу документации T5](t5) для полного справочника API, советов, примеров кода и ноутбуков.