Hugging Face's logo

Diffusers documentation

SkyReelsV2Transformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SkyReelsV2Transformer3DModel

تم تقديم نموذج SkyReels-V2، وهو نموذج Diffusion Transformer للبيانات المشابهة للفيديو ثلاثي الأبعاد، من قِبل Skywork AI.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import SkyReelsV2Transformer3DModel

transformer = SkyReelsV2Transformer3DModel.from_pretrained("Skywork/SkyReels-V2-DF-1.3B-540P-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

SkyReelsV2Transformer3DModel

فئة diffusers.SkyReelsV2Transformer3DModel

< >

( patch_size: tuple = (1, 2, 2)num_attention_heads: int = 16attention_head_dim: int = 128in_channels: int = 16out_channels: int = 16text_dim: int = 4096freq_dim: int = 256ffn_dim: int = 8192num_layers: int = 32cross_attn_norm: bool = Trueqk_norm: str | None = 'rms_norm_across_heads'eps: float = 1e-06image_dim: int | None = Noneadded_kv_proj_dim: int | None = Nonerope_max_seq_len: int = 1024pos_embed_seq_len: int | None = Noneinject_sample_info: bool = Falsenum_frame_per_block: int = 1 )

المعاملات

  • patch_size (tuple[int]، القيمة الافتراضية (1, 2, 2)) — أبعاد الباتش ثلاثية الأبعاد لتضمين الفيديو (t_patch, h_patch, w_patch).
  • num_attention_heads (int، القيمة الافتراضية 16) — طول ثابت لتضمينات النص.
  • attention_head_dim (int، القيمة الافتراضية 128) — عدد القنوات في كل رأس.
  • in_channels (int)، القيمة الافتراضية 16 — عدد القنوات في المدخلات.
  • out_channels (int، القيمة الافتراضية 16) — عدد القنوات في المخرجات.
  • text_dim (int، القيمة الافتراضية 4096) — البُعد المدخل لتضمينات النص.
  • freq_dim (int، القيمة الافتراضية 256) — البُعد الخاص بالتضمينات الزمنية الجيبية.
  • ffn_dim (int، القيمة الافتراضية 8192) — البُعد الوسيط في الشبكة الأمامية.
  • num_layers (int، القيمة الافتراضية 32) — عدد طبقات كتل التحويل (transformer blocks) المستخدمة.
  • window_size (tuple[int]، القيمة الافتراضية (-1, -1)) — حجم النافذة للانتباه المحلي (القيمة -1 تشير إلى الانتباه العام).
  • cross_attn_norm (bool، القيمة الافتراضية True) — تفعيل تطبيع الانتباه المتقاطع.
  • qk_norm (str، اختياري، القيمة الافتراضية "rms_norm_across_heads") — تفعيل تطبيع الاستعلام/المفتاح.
  • eps (float، القيمة الافتراضية 1e-6) — قيمة إبسيلون لطبقات التطبيع.
  • inject_sample_info (bool، القيمة الافتراضية False) — ما إذا كان سيتم حق معلومات العينة في النموذج.
  • image_dim (int، اختياري) — بعد تمثيلات الصورة.
  • added_kv_proj_dim (int, اختياري) — بعد الإسقاط المضاف للمفتاح/القيمة.
  • rope_max_seq_len (int، القيمة الافتراضية 1024) — أقصى طول للتسلسل الخاص بالتضمينات الدورانية.
  • pos_embed_seq_len (int, اختياري) — طول التسلسل للتضمينات الموضعية.

نموذج Transformer لبيانات تشبه الفيديو، يُستخدم في نموذج SkyReels-V2 المبني على Wan.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_hidden_states_image: typing.Optional[torch.Tensor] = Noneenable_diffusion_forcing: bool = Falsefps: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None )

المعاملات

  • hidden_states (torch.Tensor من الشكل (batch_size, num_channels, num_frames, height, width)) — مدخلات hidden_states.
  • timestep (torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • encoder_hidden_states (torch.Tensor من الشكل (batch_size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • encoder_hidden_states_image (torch.Tensor، اختياري) — تضمينات مشروطَة بالصور لتوليد مشروط بالصور.
  • enable_diffusion_forcing (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تفعيل إجبار الانتشار (إخفاء سببي لكل كتلة).
  • fps (torch.Tensor، اختياري) — تضمين تكييف FPS.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

طريقة SkyReelsV2Transformer3DModel الأمامية.

Transformer2DModelOutput

فئة diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

المعاملات

  • sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.

Update on GitHub

←SD3Transformer2DModel StableAudio3DiTModel→