Hugging Face's logo

Diffusers documentation

MotifVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MotifVideoTransformer3DModel

Model Diffusion Transformer untuk data video 3D diperkenalkan dalam Motif-Video oleh Tim Motif Technologies.

Model ini menggunakan arsitektur tiga tahap dengan 12 lapisan decoder dual-stream + 16 lapisan decoder single-stream + 8 lapisan decoder DDT dan rotary positional embeddings (RoPE) untuk generasi video.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import MotifVideoTransformer3DModel

transformer = MotifVideoTransformer3DModel.from_pretrained("Motif-Technologies/Motif-Video-2B", subfolder="transformer", dtype=torch.bfloat16)

MotifVideoTransformer3DModel

kelas diffusers.MotifVideoTransformer3DModel

< >

( in_channels: int = 33out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_decoder_layers: int = 0mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'norm_type: str = 'layer_norm'text_embed_dim: int = 4096image_embed_dim: int | None = Nonerope_theta: float = 256.0rope_axes_dim: typing.Tuple[int, ...] = (16, 56, 56)enable_text_cross_attention_dual: bool = Falseenable_text_cross_attention_single: bool = False )

Parameter

  • in_channels (int, defaultnya 33) — Jumlah channel pada input.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • num_attention_heads (int, defaultnya 24) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 128) — Jumlah saluran di setiap head.
  • num_layers (int, defaultnya 20) — Jumlah lapisan blok dual-stream yang akan digunakan.
  • num_single_layers (int, defaultnya 40) — Jumlah lapisan blok single-stream yang akan digunakan.
  • num_decoder_layers (int, defaultnya 0) — Jumlah lapisan decoder dalam blok single-stream.
  • mlp_ratio (float, defaultnya 4.0) — Rasio ukuran lapisan tersembunyi terhadap ukuran input dalam jaringan feedforward.
  • patch_size (int, defaultnya 2) — Ukuran patch spasial yang akan digunakan di lapisan patch embedding.
  • patch_size_t (int, defaultnya 1) — Ukuran patch temporal yang akan digunakan di lapisan patch embedding.
  • qk_norm (str, defaultnya rms_norm) — Normalisasi yang digunakan untuk proyeksi query dan key pada lapisan attention.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • image_embed_dim (int, opsional) — Dimensi input dari embedding gambar yang berasal dari vision encoder. Jika disediakan, memungkinkan kondisioning gambar.
  • rope_theta (float, defaultnya 256.0) — Nilai theta yang digunakan di lapisan RoPE.
  • rope_axes_dim (Tuple[int], defaultnya (16, 56, 56)) — Dimensi sumbu yang akan digunakan di lapisan RoPE.

Model Transformer untuk data mirip video yang digunakan dalam model Motif-Video.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Noneimage_embeds: typing.Optional[torch.Tensor] = Noneattention_kwargs: typing.Optional[typing.Dict[str, typing.Any]] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Parameter

  • hidden_states (torch.Tensor) — Tensor laten input dengan bentuk (batch_size, channels, num_frames, height, width).
  • timestep (torch.LongTensor) — Timestep difusi dengan bentuk (batch_size,).
  • encoder_hidden_states (torch.Tensor) — Kondisi teks dengan bentuk (batch_size, sequence_length, embed_dim).
  • encoder_attention_mask (torch.Tensor) — Mask untuk kondisioning teks dengan bentuk (batch_size, sequence_length).
  • image_embeds (torch.Tensor, opsional) — Embedding gambar dari vision encoder dengan bentuk (batch_size, num_tokens, embed_dim).
  • attention_kwargs (dict, opsional) — Argumen tambahan untuk prosesor attention.
  • return_dict (bool, defaultnya True) — Apakah akan mengembalikan Transformer2DModelOutput.

Mengembalikan

Transformer2DModelOutput atau tuple

Sampel yang diprediksi.

Forward pass dari MotifVideoTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←MochiTransformer3DModel OmniGenTransformer2DModel→