Diffusers documentation

GlmImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

Um modelo Diffusion Transformer para dados 2D de [GlmImageTransformer2DModel] (TODO).

GlmImageTransformer2DModel

classe diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

Parâmetros

  • patch_size (int, padrão 2) — O tamanho dos patches a serem usados na camada de incorporação de patches.
  • in_channels (int, padrão 16) — O número de canais na entrada.
  • num_layers (int, padrão 30) — O número de blocos de camadas de Transformer a serem usados.
  • attention_head_dim (int, padrão 40) — O número de canais em cada cabeça.
  • num_attention_heads (int, padrão 64) — O número de cabeças a serem usadas para a atenção multi-cabeça.
  • out_channels (int, padrão 16) — O número de canais na saída.
  • text_embed_dim (int, padrão 1472) — Dimensão de entrada dos embeddings de texto do codificador de texto.
  • time_embed_dim (int, padrão 512) — Dimensão de saída dos embeddings de timestep.
  • condition_dim (int, padrão 256) — A dimensão do embedding das condições de resolução no estilo SDXL de entrada (original_size, target_size, crop_coords).
  • pos_embed_max_size (int, padrão 128) — A resolução máxima dos embeddings posicionais, da qual são extraídas fatias de forma H x W e adicionadas aos latentes em patches de entrada, onde H e W são, respectivamente, a altura e a largura do latente. Um valor de 128 significa que a altura e a largura máximas suportadas para a geração de imagens são 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.
  • sample_size (int, padrão 128) — A resolução base dos latentes de entrada. Se a altura/largura não for fornecida durante a geração, esse valor é usado para determinar a resolução como sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parâmetros

  • hidden_states (torch.Tensor de forma (batch_size, in_channels, height, width)) — hidden_states de entrada.
  • encoder_hidden_states (torch.Tensor de forma (batch_size, sequence_len, embed_dims)) — Incorporações condicionais (incorporações calculadas a partir das condições de entrada, como prompts) a serem usadas.
  • prior_token_id (torch.Tensor) — IDs dos tokens para a busca do embedding anterior.
  • prior_token_drop (torch.Tensor) — Máscara booleana que indica quais embeddings anteriores devem ser descartados (zerados).
  • timestep (torch.LongTensor) — Usado para indicar o passo de desruido.
  • target_size (torch.Tensor) — Condição de tamanho da imagem alvo.
  • crop_coords (torch.Tensor) — Coordenadas de recorte para condicionamento.
  • attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado ao AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.
  • attention_mask (torch.Tensor, opcional) — Máscara aplicada às pontuações de atenção.
  • kv_caches (GlmImageKVCache, opcional) — Caches de chave/valor pré-computados usados para acelerar a inferência.
  • image_rotary_emb (tuple de torch.Tensor, opcional) — Incorporações posicionais rotativas pré-computadas.

O método forward do GlmImageTransformer2DModel.

Update on GitHub