Hugging Face's logo

Diffusers documentation

MotifVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MotifVideoTransformer3DModel

Un modèle Diffusion Transformer pour des données vidéo 3D a été introduit dans Motif-Video par l'équipe Motif Technologies.

Le modèle utilise une architecture en trois étapes avec 12 couches décodeur à double flux + 16 couches à flux unique + 8 couches décodeur DDT et des embeddings positionnels rotatifs (RoPE) pour la génération de vidéos.

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import MotifVideoTransformer3DModel

transformer = MotifVideoTransformer3DModel.from_pretrained("Motif-Technologies/Motif-Video-2B", subfolder="transformer", dtype=torch.bfloat16)

MotifVideoTransformer3DModel

classe diffusers.MotifVideoTransformer3DModel

< >

( in_channels: int = 33out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_decoder_layers: int = 0mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'norm_type: str = 'layer_norm'text_embed_dim: int = 4096image_embed_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: typing.Tuple[int, ...] = (16, 56, 56)enable_text_cross_attention_dual: bool = Falseenable_text_cross_attention_single: bool = False )

Paramètres

  • in_channels (int, par défaut 33) — Le nombre de canaux dans l'entrée.
  • out_channels (int, par défaut 16) — Le nombre de canaux dans la sortie.
  • num_attention_heads (int, par défaut 24) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
  • attention_head_dim (int, par défaut 128) — Le nombre de canaux dans chaque tête.
  • num_layers (int, par défaut 20) — Le nombre de blocs dual-stream à utiliser.
  • num_single_layers (int, par défaut 40) — Le nombre de couches de blocs mono-flux à utiliser.
  • num_decoder_layers (int, par défaut 0) — Le nombre de couches de décodeur dans les blocs à flux unique.
  • mlp_ratio (float, par défaut 4.0) — Le ratio de la taille de la couche cachée par rapport à la taille de l'entrée dans le réseau feedforward.
  • patch_size (int, par défaut 2) — La taille des patches spatiaux à utiliser dans la couche d'encodage de patches.
  • patch_size_t (int, par défaut 1) — La taille des patches temporels à utiliser dans la couche d'embedding de patches.
  • qk_norm (str, par défaut rms_norm) — La normalisation à utiliser pour les projections de requête et de clé dans les couches d'attention.
  • text_embed_dim (int, par défaut 4096) — Dimension d'entrée des embeddings de texte issus de l'encodeur de texte.
  • image_embed_dim (int, facultatif) — Dimension d'entrée des embeddings d'image provenant d'un encodeur visuel. Si fournie, active le conditionnement par image.
  • rope_theta (float, par défaut 256.0) — La valeur de theta à utiliser dans la couche RoPE.
  • rope_axes_dim (Tuple[int], par défaut (16, 56, 56)) — Les dimensions des axes à utiliser dans la couche RoPE.

Un modèle Transformer pour des données de type vidéo utilisé dans le modèle Motif-Video.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Paramètres

  • hidden_states (torch.Tensor) — Tenseur latent d'entrée de forme (batch_size, channels, num_frames, height, width).
  • timestep (torch.LongTensor) — Pas de diffusion de forme (batch_size,).
  • encoder_hidden_states (torch.Tensor) — Conditionnement textuel de forme (batch_size, sequence_length, embed_dim).
  • encoder_attention_mask (torch.Tensor) — Masque de conditionnement du texte de forme (batch_size, sequence_length).
  • image_embeds (torch.Tensor, facultatif) — Embeddings d’images issus de l’encodeur visuel, de forme (batch_size, num_tokens, embed_dim).
  • attention_kwargs (dict, facultatif) — Arguments supplémentaires pour les processeurs d'attention.
  • return_dict (bool, par défaut True) — Indique s'il faut retourner un Transformer2DModelOutput.

Retourne

Transformer2DModelOutput ou tuple

Les échantillons prédits.

Passage avant du MotifVideoTransformer3DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.

Update on GitHub

←MochiTransformer3DModel OmniGenTransformer2DModel→