Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

Un modelo Diffusion Transformer para datos de video 3D fue introducido en SkyReels-V2 por Skywork AI.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

clase diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

Parámetros

  • patch_size (tuple[int], por defecto (1, 2, 2)) — Dimensiones del parche 3D para la incrustación de video (t_patch, h_patch, w_patch).
  • num_attention_heads (int, por defecto 16) — Longitud fija para las incrustaciones de texto.
  • attention_head_dim (int, por defecto 128) — El número de canales en cada cabeza.
  • in_channels (int, por defecto 16) — El número de canales en la entrada.
  • out_channels (int, por defecto 16) — El número de canales en la salida.
  • text_dim (int, por defecto 4096) — Dimensión de entrada para las incrustaciones de texto.
  • freq_dim (int, por defecto 256) — Dimensión para las incrustaciones sinusoidales de tiempo.
  • ffn_dim (int, por defecto 8192) — Dimensión intermedia en la red feed-forward.
  • num_layers (int, por defecto 32) — El número de capas de bloques de transformador a utilizar.
  • window_size (tuple[int], por defecto (-1, -1)) — Tamaño de la ventana para la atención local (-1 indica atención global).
  • cross_attn_norm (bool, por defecto True) — Habilita la normalización de atención cruzada.
  • qk_norm (str, opcional, valor predeterminado "rms_norm_across_heads") — Habilita la normalización de consulta/clave.
  • eps (float, por defecto 1e-6) — Valor de epsilon para las capas de normalización.
  • inject_sample_info (bool, por defecto False) — Si se inyecta información de la muestra en el modelo.
  • image_dim (int, opcional) — La dimensión de las incrustaciones de imagen.
  • added_kv_proj_dim (int, opcional) — La dimensión de la proyección de clave/valor añadida.
  • rope_max_seq_len (int, por defecto 1024) — La longitud máxima de la secuencia para los embeddings rotatorios.
  • pos_embed_seq_len (int, opcional) — La longitud de la secuencia para los embeddings posicionales.

Un modelo Transformer para datos tipo video utilizado en el modelo SkyReels-V2 basado en Wan.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Parámetros

  • hidden_states (torch.Tensor de forma (batch_size, num_channels, num_frames, height, width)) — Entrada hidden_states.
  • timestep (torch.LongTensor) — Se utiliza para indicar el paso de desruido.
  • encoder_hidden_states (torch.Tensor de forma (batch_size, sequence_len, embed_dims)) — Incrustaciones condicionales (incrustaciones calculadas a partir de las condiciones de entrada, como los prompts) que se deben utilizar.
  • encoder_hidden_states_image (torch.Tensor, opcional) — Incrustaciones de imagen condicionales para la generación condicionada por imagen.
  • enable_diffusion_forcing (bool, opcional, valor predeterminado False) — Si se habilita el diffusion forcing (enmascarado causal por bloque).
  • fps (torch.Tensor, opcional) — Embedding de condicionamiento de FPS.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.
  • attention_kwargs (dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido en self.processor dentro de diffusers.models.attention_processor.

El método forward de SkyReelsV2Transformer3DModel.

Transformer2DModelOutput

clase diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parámetros

  • sample (torch.Tensor de forma (batch_size, num_channels, height, width) o (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel es discreto) — La salida de estados ocultos condicionada a la entrada encoder_hidden_states. Si es discreto, devuelve distribuciones de probabilidad para los píxeles latentes sin ruido.

La salida de Transformer2DModel.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→