Ce modèle a été publié dans HF papers le 2021-05-28 et contribué à Hugging Face Transformers le 2021-06-01.

ByT5

ByT5 est une version du modèle T5 qui ne nécessite pas de tokenizer et qui est conçue pour fonctionner directement sur des octets UTF-8 bruts. Cela signifie qu'elle peut traiter n'importe quelle langue, qu'elle est plus robuste face au bruit comme les fautes de frappe, et qu'elle est plus simple à utiliser car elle ne requiert pas de pipeline de prétraitement.

Vous pouvez trouver tous les points de contrôle originaux de ByT5 sous l'organisation Google.

Reportez-vous à la documentation T5 pour plus d'exemples sur l'application de ByT5 à différentes tâches linguistiques.

L'exemple ci-dessous montre comment générer du texte avec Pipeline, AutoModel et depuis la ligne de commande.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Quantification

La quantification réduit la charge mémoire des grands modèles en représentant les poids avec une précision inférieure. Reportez-vous à l'aperçu de la Quantization pour plus d'informations sur les backends de quantification disponibles.

L'exemple ci-dessous utilise torchao pour quantiser uniquement les poids en int4.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Notes

• Il est recommandé d'utiliser le tokenizer pour l'inférence et l'entraînement par lots.

• L'exemple ci-dessous montre comment utiliser le modèle sans tokenizer.

  Copié

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5 utilise les valeurs de byte supérieures (258, 257, etc.) pour le masquage au lieu de jetons sentinelles comme {extra_id_0}.

  Copié

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer