# MADLAD-400

## 개요

MADLAD-400 모델은 [MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662) 논문에서 공개되었습니다.

해당 논문의 초록은 다음과 같습니다:

*MADLAD-400를 소개합니다. MADLAD-400은 CommonCrawl을 기반으로 한 수동 감사 대상 일반 도메인 3T 토큰 단일 언어 데이터셋으로, 419개 언어를 포함합니다. MADLAD-400의 자체 감사 과정에서 드러난 한계점과 데이터 감사가 데이터셋 생성 과정에서 수행한 역할을 논의합니다. 이후 공개된 데이터를 사용하여 450개 이상의 언어를 다루는 2,500억 토큰으로 107억 파라미터의 다국어 기계 번역 모델을 학습하고 공개합니다. 이 모델은 훨씬 더 큰 모델과 경쟁력이 있으며, 다양한 도메인에서의 결과를 보고합니다. 추가로 80억 파라미터의 언어 모델을 학습하고, few-shot 번역에 대한 결과를 평가합니다. 베이스라인 모델 1을 연구 커뮤니티에 공개합니다.*

이 모델은 [Juarez Bochi](https://huggingface.co/jbochi)에 의해 추가되었습니다. 원래 체크포인트는 [여기](https://github.com/google-research/google-research/tree/master/madlad_400)에서 찾을 수 있습니다.

이것은 많은 저자원 언어를 지원하며, 훨씬 더 큰 모델들과 경쟁할 수 있는 기계 번역 모델입니다.

모델을 fine-tuning하지 않고 MADLAD-400 가중치를 바로 사용할 수 있습니다:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

Google은 다음 변형을 출시했습니다:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

원본 체크포인트는 [여기](https://github.com/google-research/google-research/tree/master/madlad_400)에서 찾을 수 있습니다.

모든 API 참조, 코드 예제 및 노트북은 [T5 문서 페이지](t5)를 참조하세요. MADLAD-400의 학습 및 평가에 대한 자세한 내용은 모델 카드를 참조하세요.

