Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-09-27에 HF papers에 게시되었으며, 2025-01-10에 Hugging Face Transformers에 기여되었습니다.

Emu3

개요

Emu3 모델은 Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang, Zhongyuan Wang이 발표한 Emu3: Next-Token Prediction is All You Need에서 제안되었습니다.

Emu3은 벡터 양자화를 사용하여 이미지를 이산 토큰으로 토큰화하는 멀티모달 LLM입니다. 이산화된 이미지 토큰은 이후 이미지 및 텍스트 생성을 위해 텍스트 토큰 ID와 결합됩니다. 이 모델은 이미지 토큰 ID를 예측하여 이미지를 생성할 수도 있습니다.

해당 논문의 초록은 다음과 같습니다:

다음 토큰 예측은 범용 인공지능으로 가는 유망한 경로로 여겨지지만, 여전히 확산 모델(예: Stable Diffusion)과 조합형 접근법(예: LLM과 결합된 CLIP)이 주도하는 멀티모달 작업에서 뛰어난 성능을 내지 못하고 있습니다. 본 논문에서는 다음 토큰 예측만으로 학습된 최첨단 멀티모달 모델 스위트인 Emu3를 소개합니다. 이미지, 텍스트, 비디오를 이산 공간으로 토큰화하여 멀티모달 시퀀스 혼합 데이터로 단일 transformer를 처음부터 학습했습니다. Emu3는 생성 및 인식 작업 모두에서 여러 잘 확립된 작업별 모델을 능가하며, SDXL과 LLaVA-1.6과 같은 플래그십 모델을 뛰어넘는 동시에 확산 또는 조합형 아키텍처의 필요성을 제거합니다. Emu3는 비디오 시퀀스에서 다음 토큰을 예측함으로써 고충실도 비디오 생성도 가능합니다. Emu3는 토큰이라는 단일 초점으로 수렴하여 복잡한 멀티모달 모델 설계를 단순화하고, 학습과 추론 모두에서 확장할 수 있는 큰 잠재력을 열어줍니다. 우리의 결과는 언어를 넘어선 범용 멀티모달 지능을 구축하는 데 있어 다음 토큰 예측이 유망한 경로임을 보여줍니다. 이 방향의 추가 연구를 지원하기 위해 핵심 기술과 모델을 오픈소스로 공개합니다.

팁:

배치 생성 전에 processor.tokenizer.padding_side = "left"를 설정하는 것을 권장합니다. 이렇게 하면 더 정확한 결과를 얻을 수 있습니다.
모델은 채팅을 위해 특정 프롬프트 형식으로 학습되었습니다. 프롬프트를 올바르게 포맷하려면 processor.apply_chat_template(my_conversation_dict)를 사용하세요.
Emu3에는 이미지 생성과 텍스트 생성을 위한 두 가지 다른 체크포인트가 있으므로, 모델을 로드할 때 올바른 체크포인트를 사용하는지 확인하세요. 이미지를 생성할 경우, 생성된 토큰이 가능한 이미지 토큰에서만 샘플링되도록 prefix_constraints 사용을 권장합니다. 사용 예제는 아래에서 확인하세요.

Transformers의 Emu3 구현에서는 이미지 임베딩을 병합할 위치를 나타내기 위해 특수 이미지 토큰을 사용합니다. 이 특수 이미지 토큰은 새로 도입된 것이 아니라 예약된 토큰 중 하나인 <|extra_0|>를 사용합니다. 올바른 생성을 위해 이미지를 임베딩해야 할 위치에 프롬프트에 <image>를 추가해야 합니다.

이 모델은 RaushanTurganbay님이 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 예시

텍스트 생성 추론

다음은 텍스트 또는 텍스트와 이미지 입력에서 텍스트 출력을 생성하기 위해 모델을 로드하고 반정밀도(torch.bfloat16)로 추론을 수행하는 방법입니다:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

이미지 생성 추론

Emu3은 텍스트 입력으로부터 이미지를 생성할 수도 있습니다. 방법은 다음과 같습니다:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

개요

사용 예시

텍스트 생성 추론

이미지 생성 추론

Emu3Config

클래스 transformers.Emu3Config

Emu3VQVAEConfig

클래스 transformers.Emu3VQVAEConfig

Emu3TextConfig

class transformers.Emu3TextConfig

Emu3Processor

클래스 transformers.Emu3Processor

__call__

Emu3ImageProcessor

클래스 transformers.Emu3ImageProcessor

preprocess

Emu3VQVAE

class transformers.Emu3VQVAE

forward

Emu3TextModel

클래스 transformers.Emu3TextModel

forward

Emu3Model

클래스 transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

class transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

클래스 transformers.Emu3ForConditionalGeneration

forward

call