Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

Um modelo Diffusion Transformer para dados de vídeo 3D foi introduzido em SkyReels-V2 pela Skywork AI.

O modelo pode ser carregado com o seguinte trecho de código.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

classe diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

Parâmetros

  • patch_size (tuple[int], padrão (1, 2, 2)) — Dimensões do patch 3D para incorporação de vídeo (t_patch, h_patch, w_patch).
  • num_attention_heads (int, padrão 16) — Comprimento fixo para incorporações de texto.
  • attention_head_dim (int, padrão 128) — O número de canais em cada head.
  • in_channels (int, padrão 16) — O número de canais na entrada.
  • out_channels (int, padrão 16) — O número de canais na saída.
  • text_dim (int, padrão 4096) — Dimensão de entrada para embeddings de texto.
  • freq_dim (int, padrão 256) — Dimensão para incorporações de tempo sinusoidais.
  • ffn_dim (int, padrão 8192) — Dimensão intermediária na rede feed-forward.
  • num_layers (int, padrão 32) — O número de camadas de blocos de transformador a serem usadas.
  • window_size (tuple[int], padrão (-1, -1)) — Tamanho da janela para atenção local (-1 indica atenção global).
  • cross_attn_norm (bool, padrão True) — Ativa a normalização de atenção cruzada.
  • qk_norm (str, opcional, padrão "rms_norm_across_heads") — Ativa a normalização de query/key.
  • eps (float, padrão 1e-6) — Valor de epsilon para as camadas de normalização.
  • inject_sample_info (bool, padrão False) — Se deve injetar informações da amostra no modelo.
  • image_dim (int, opcional) — A dimensão dos embeddings de imagem.
  • added_kv_proj_dim (int, opcional) — A dimensão da projeção de chave/valor adicionada.
  • rope_max_seq_len (int, padrão 1024) — O comprimento máximo da sequência para os embeddings rotativos.
  • pos_embed_seq_len (int, opcional) — O comprimento da sequência para os embeddings posicionais.

Um modelo Transformer para dados semelhantes a vídeo, utilizado no modelo SkyReels-V2 baseado em Wan.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parâmetros

  • hidden_states (torch.Tensor de forma (batch_size, num_channels, num_frames, height, width)) — hidden_states de entrada.
  • timestep (torch.LongTensor) — Usado para indicar o passo de desruido.
  • encoder_hidden_states (torch.Tensor de forma (batch_size, sequence_len, embed_dims)) — Incorporações condicionais (incorporações calculadas a partir das condições de entrada, como prompts) a serem usadas.
  • encoder_hidden_states_image (torch.Tensor, opcional) — Incorporações condicionais de imagem para geração condicionada por imagem.
  • enable_diffusion_forcing (bool, opcional, padrão False) — Se deve ativar o diffusion forcing (mascaramento causal por bloco).
  • fps (torch.Tensor, opcional) — Embedding de condicionamento de FPS.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.
  • attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado ao AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.

O método forward do SkyReelsV2Transformer3DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parâmetros

  • sample (torch.Tensor de forma (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) se Transformer2DModel for discreto) — A saída dos estados ocultos condicionada à entrada encoder_hidden_states. Se discreto, retorna distribuições de probabilidade para os pixels latentes sem ruído.

A saída de Transformer2DModel.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→