Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

Un modèle Diffusion Transformer pour des données vidéo 3D a été introduit dans SkyReels-V2 par Skywork AI.

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

classe diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

Paramètres

  • patch_size (tuple[int], par défaut (1, 2, 2)) — Dimensions des patches 3D pour l'encodage vidéo (t_patch, h_patch, w_patch).
  • num_attention_heads (int, par défaut 16) — Longueur fixe pour les embeddings de texte.
  • attention_head_dim (int, par défaut 128) — Le nombre de canaux dans chaque tête.
  • in_channels (int, par défaut 16) — Le nombre de canaux dans l'entrée.
  • out_channels (int, par défaut 16) — Le nombre de canaux dans la sortie.
  • text_dim (int, par défaut 4096) — Dimension d'entrée pour les embeddings de texte.
  • freq_dim (int, par défaut 256) — Dimension pour les embeddings temporels sinusoïdaux.
  • ffn_dim (int, par défaut 8192) — Dimension intermédiaire du réseau feed-forward.
  • num_layers (int, par défaut 32) — Le nombre de blocs de transformeurs à utiliser.
  • window_size (tuple[int], par défaut (-1, -1)) — Taille de la fenêtre pour l'attention locale (-1 indique une attention globale).
  • cross_attn_norm (bool, par défaut True) — Active la normalisation de l'attention croisée.
  • qk_norm (str, facultatif, par défaut "rms_norm_across_heads") — Active la normalisation des requêtes/clés.
  • eps (float, par défaut 1e-6) — Valeur de l'épsilon pour les couches de normalisation.
  • inject_sample_info (bool, par défaut False) — Indique s'il faut injecter les informations d'échantillon dans le modèle.
  • image_dim (int, facultatif) — La dimension des embeddings d'image.
  • added_kv_proj_dim (int, facultatif) — La dimension de la projection clé/valeur ajoutée.
  • rope_max_seq_len (int, par défaut 1024) — La longueur de séquence maximale pour les embeddings rotatifs.
  • pos_embed_seq_len (int, facultatif) — La longueur de séquence pour les embeddings positionnels.

Un modèle Transformer pour des données de type vidéo, utilisé dans le modèle SkyReels-V2 basé sur Wan.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

Paramètres

  • hidden_states (torch.Tensor de forme (batch_size, num_channels, num_frames, height, width)) — hidden_states d'entrée.
  • timestep (torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage.
  • encoder_hidden_states (torch.Tensor de forme (batch_size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser.
  • encoder_hidden_states_image (torch.Tensor, facultatif) — Embeddings d’image conditionnels pour la génération conditionnée par image.
  • enable_diffusion_forcing (bool, facultatif, valeur par défaut False) — Indique s'il faut activer le diffusion forcing (masquage causal par bloc).
  • fps (torch.Tensor, facultatif) — Embedding de conditionnement FPS.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.
  • attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.

La méthode forward du SkyReelsV2Transformer3DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→