Transformers documentation

PE Audio Video

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 17 أبريل 2025، وأُضيف إلى مكتبة Hugging Face Transformers في 16 ديسمبر 2025. أُطلق هذا النموذج في 17 أبريل 2025، وأُضيف إلى مكتبة Hugging Face Transformers في 16 ديسمبر 2025.

PE Audio Video

PE Audio Video هو فرع الصوت والفيديو المشترك في عائلة Meta Perception Encoder. يقوم بتشفير تدفقات الصوت والفيديو معًا باستخدام برج نصي مشترك، مما ينتج تمثيلات تباينية لكل تركيبة زوجية، وهي: الصوت والنص، والفيديو والنص، والصوت والفيديو، والصوت والنص مع الفيديو، وذلك من خلال تمريرة أمامية واحدة.

داخليًا، يقوم النموذج بمحاذاة تسلسل ميزات الفيديو مع الدقة الزمنية للصوت عبر الاستيفاء بأقرب جارٍ، مما يضمن بقاء المقاطع ذات معدلات الإطارات المختلفة عن معدلات العينات متزامنة. كما أن أوزان مشفّر النص مشتركة بين فرعي الصوت والفيديو.

يمكنك العثور على جميع نقاط التفتيش الرسمية لـ PE Audio Video ضمن مجموعة perception-encoder-audio-visual.

البدء السريع

import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioVideoModel
from transformers.video_utils import load_video

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioVideoModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
video, _ = load_video("https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4")
labels = ["a person playing tennis with background crowd", "a dog barking in a park"]

audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
video_inputs = processor.video_processor(video, num_frames=16, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **video_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

print("audio-text:", outputs.logits_audio_text.sigmoid().tolist())
print("video-text:", outputs.logits_video_text.sigmoid().tolist())
print("audio-video:", outputs.logits_audio_video.sigmoid().tolist())

نصائح وملاحظات حول الاستخدام

يتطلب PeAudioVideoModel على الأقل اثنين من input_ids، input_values، pixel_values_videos — فإذا تم توفير اثنين فقط، فإنه يوجّه الطلب إلى النموذج الفرعي للصوت فقط أو الفيديو فقط. أما تمرير الثلاثة معاً فيفعّل مسار الصوت والفيديو والنص المشترك، ويولّد مجموعة مصفوفات اللوجيت الكاملة في PeAudioVideoOutput.
يستخدم الصوت padding_mask ويستخدم الفيديو padding_mask_videos في الوقت نفسه. وهي أقنعة مستقلة؛ فلا تخلط بينها وبين attention_mask، الذي يُحجز لبرج النص.
تُنفَّذ محاذاة الصوت والفيديو لكل عنصر في الدفعة داخل _align_video_hidden_state، لذا فإن الدفعات التي تحتوي على أطوال صوت/فيديو مختلفة جداً تُعالَج بالتكرار بدلاً من المتجهية. حافظ على توازن تقريبي بين عناصر الدفعة لتحسين الإنتاجية.
تُربط أوزان برج النص عبر الفروع بواسطة _tied_weights_keys — لا تحاول تحميل مشفّرات نصية منفصلة لكلٍّ من نصفَي الصوت والفيديو.

PeAudioVideoConfig

فئة transformers.PeAudioVideoConfig

< source >

المعاملات

text_config (Union[dict, ~configuration_utils.PreTrainedConfig]، اختياري) — كائن الإعدادات أو قاموس العمود الفقري النصي.
audio_video_config (dict أو PreTrainedConfig، اختياري) — إعدادات مكوّن مُشفِّر الصوت والفيديو.
tie_word_embeddings (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب ربط ترميزات الأوزان (weight embeddings) وفقاً لخريطة tied_weights_keys الخاصة بالنموذج.

هذه فئة الإعدادات المخزنة لإعدادات نموذج PeAudioVideoModel. تُستخدم لاستحداث نموذج Pe Audio Video وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ facebook/pe-av-large

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

>>> from transformers import PeAudioVideoModel, PeAudioVideoConfig

>>> # Initializing a PeAudioVideoModel style configuration
>>> configuration = PeAudioVideoConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioVideoEncoderConfig

فئة transformers.PeAudioVideoEncoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevideo_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 1792intermediate_size: int = 4800num_hidden_layers: int = 6num_attention_heads: int = 14num_key_value_heads: int | None = Nonehead_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 10000initializer_range: float = 0.02rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0 )

المعاملات

audio_config (Union[dict, ~configuration_utils.PreTrainedConfig], اختياري) — كائن الإعداد أو قاموس العمود الفقري الصوتي.
video_config (Union[PreTrainedConfig, dict], اختياري) — إعدادات مشفّر الفيديو. إذا تم توفير قاموس، يُستخدم لإنشاء PeVideoEncoderConfig.
hidden_size (int، اختياري، القيمة الافتراضية 1792) — أبعاد التمثيلات المخفية.
intermediate_size (int، اختياري، القيمة الافتراضية 4800) — أبعاد تمثيلات MLP.
num_hidden_layers (int، اختياري، القيمة الافتراضية 6) — عدد الطبقات المخفية في مُفكِّك Transformer.
num_attention_heads (int، اختياري، القيمة الافتراضية 14) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
num_key_value_heads (int, اختياري) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فسيتم افتراض num_attention_heads.
head_dim (int، اختياري، القيمة الافتراضية 128) — بعد رأس الانتباه. إذا كانت القيمة None، فستكون القيمة الافتراضية هي hidden_size // num_attention_heads
hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
max_position_embeddings (int، اختياري، القيمة الافتراضية 10000) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج.
initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-05) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], اختياري) — قائمة تحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن تحتوي القائمة على قيمة لـ rope_theta، ومعاملات اختيارية تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع max_position_embeddings أطول.
attention_bias (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي.
attention_dropout (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه.

>>> from transformers import PeAudioVideoEncoder, PeAudioVideoEncoderConfig

>>> # Initializing a PeAudioVideoEncoder style configuration
>>> configuration = PeAudioVideoEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioVideoEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioVideoProcessor

فئة transformers.PeAudioVideoProcessor

< source >

( feature_extractor = Nonevideo_processor = Nonetokenizer = None**kwargs )

PeAudioVideoEncoder

class transformers.PeAudioVideoEncoder

< source >

( config: PeAudioVideoEncoderConfig )

المعاملات

config (PeAudioVideoEncoderConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج PeAudioVideo Encoder.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

forward

< source >

( input_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonepadding_mask_videos: typing.Optional[torch.Tensor] = None**kwargs ) → PeAudioVideoEncoderOutput or tuple(torch.Tensor)

المعاملات

input_values (torch.Tensor من الشكل (batch_size, sequence_length)، اختياري) — قيم رقمية عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع .flac أو .wav في مصفوفة من النوع list[float] أو numpy.ndarray أو torch.Tensor، على سبيل المثال باستخدام مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلى input_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوع torch.Tensor. راجع PeAudioVideoProcessor.call() للتفاصيل.
pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)، اختياري) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام PeVideoVideoProcessor. راجع PeVideoVideoProcessor.call() للتفاصيل (PeAudioVideoProcessor يستخدم PeVideoVideoProcessor لمعالجة الفيديوهات).
padding_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على عينات الحشو في input_values. قيم القناع المختارة من [0, 1]:
- 1 للعينات التي لم يتم إخفاؤها،
- 0 للعينات التي تم إخفاؤها.
padding_mask_videos (torch.Tensor بشكل (batch_size, num_frames), اختياري) — قناع لتجنب تنفيذ الانتباه على إطارات الفيديو المعبّأة. قيم القناع المختارة من [0, 1]:
- 1 للإطارات التي ليست مقنّعة،
- 0 للإطارات التي تكون مقنّعة.

يعيد

PeAudioVideoEncoderOutput أو tuple(torch.Tensor)

PeAudioVideoEncoderOutput أو مجموعة مرتبة من torch.Tensor (في حال تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (PeAudioVideoConfig) والمدخلات.

تُعيد طريقة PeAudioVideoEncoder الخاصة بالتقديم (forward) تعريف الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

last_hidden_state (torch.Tensor من الشكل (batch_size, sequence_length, hidden_size)) — تسلسل حالات مخفية عند مخرج الطبقة الأخيرة من النموذج.
pooler_output (torch.Tensor من الشكل (batch_size, hidden_size)) — حالة الطبقة المخفية الأخيرة للرمز الأول من التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. تُدرَّب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب.
hidden_states (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_hidden_states=True أو عند تعيين config.output_hidden_states=True) — مجموعة من torch.Tensor (واحدة لإخراج الطبقات المضمنة، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لإخراج كل طبقة) من الشكل (batch_size, sequence_length, hidden_size).

حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
attentions (tuple(torch.Tensor)، اختياري، يُعاد عند تمرير output_attentions=True أو عند تعيين config.output_attentions=True) — مجموعة من torch.Tensor (واحدة لكل طبقة) بأبعاد (batch_size, num_heads, sequence_length, sequence_length).

أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
audio_model_output (BaseModelOutputWithPooling، اختياري) — مخرجات مُشفِّر الصوت، وتتضمن الحالة المخفية الأخيرة، والمخرجات المجمّعة، وحالات مخفية اختيارية وعمليات الانتباه. راجع BaseModelOutputWithPooling للتفاصيل.
video_model_output (BaseModelOutputWithPooling، اختياري) — مخرج مُشفِّر الفيديو، ويحتوي على حالة الإخفاء الأخيرة، والمخرج المجمّع، وحالات الإخفاء الاختيارية والانتباهات. راجع BaseModelOutputWithPooling للتفاصيل.

PeAudioVideoModel

فئة transformers.PeAudioVideoModel

< source >

( config: PeAudioVideoConfig )

forward

< source >

( input_ids: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneinput_values: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask_videos: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss = False**kwargs ) → PeAudioVideoOutput or tuple(torch.Tensor)

المعاملات

input_ids (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — مؤشرات رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على المؤشرات باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل. ما هي معرّفات الإدخال؟
يمكن الحصول على الفهارس باستخدام AutoTokenizer. راجع PreTrainedTokenizer.encode() و PreTrainedTokenizer.call() للتفاصيل.

ما هي معرّفات الإدخال؟
pixel_values_videos (torch.Tensor من الشكل (batch_size, num_frames, num_channels, frame_size, frame_size)، اختياري) — المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام PeVideoVideoProcessor. راجع PeVideoVideoProcessor.call() للتفاصيل (PeAudioVideoProcessor يستخدم PeVideoVideoProcessor لمعالجة الفيديوهات).
input_values (torch.Tensor من الشكل (batch_size, sequence_length)، اختياري) — قيم عشرية لموجة الصوت الخام المُدخلة. يمكن الحصول على هذه القيم عن طريق تحميل ملف صوتي من نوع .flac أو .wav في مصفوفة من النوع list[float] أو numpy.ndarray أو torch.Tensor، على سبيل المثال عبر مكتبة torchcodec (pip install torchcodec) أو مكتبة soundfile (pip install soundfile). لتجهيز المصفوفة إلى input_values، يجب استخدام AutoProcessor لإضافة الحشو والتحويل إلى متجه من النوع torch.Tensor. راجع PeAudioVideoProcessor.call() للتفاصيل.
attention_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. القيم المختارة للقناع هي [0, 1]:
- 1 للرموز التي لم تُقنَّع،
- 0 للرموز التي تم إخفاؤها.
ما هي أقنعة الانتباه؟
padding_mask_videos (torch.Tensor بشكل (batch_size, num_frames), اختياري) — قناع لتجنب تنفيذ الانتباه على إطارات الفيديو المعبّأة. قيم القناع المختارة من [0, 1]:
- 1 للإطارات التي ليست مقنّعة،
- 0 للإطارات التي تكون مقنّعة.
padding_mask (torch.Tensor بشكل (batch_size, sequence_length), اختياري) — قناع لتجنب تنفيذ الانتباه على عينات الحشو في input_values. قيم القناع المختارة من [0, 1]:
- 1 للعينات التي لم يتم إخفاؤها،
- 0 للعينات التي تم إخفاؤها.
return_loss (bool، اختياري) — ما إذا كان يجب إرجاع الخسارة أم لا.

يعيد

PeAudioVideoOutput أو tuple(torch.Tensor)

PeAudioVideoOutput أو مجموعة (tuple) من torch.Tensor (في حال تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعدادات (PeAudioVideoConfig) والمدخلات.

تتجاوز طريقة PeAudioVideoModel الخاصة بـ forward الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

audio_embeds (torch.Tensor، اختياري) — تمثيلات نمط الصوت. الشكل (batch_size, sequence_length, hidden_size).
video_embeds (torch.Tensor، اختياري) — ترميزات نمط الفيديو. الشكل (batch_size, sequence_length, hidden_size).
audio_video_embeds (torch.Tensor، اختياري) — تمثيلات مشتركة للصوت والفيديو تنتجها وحدة الدمج. الشكل (batch_size, sequence_length, hidden_size).
text_audio_embeds (torch.Tensor، اختياري) — تمثيلات مشتركة للنص والصوت. الشكل (batch_size, sequence_length, hidden_size).
text_video_embeds (torch.Tensor، اختياري) — تمثيلات مشتركة للنص والفيديو. الشكل (batch_size, sequence_length, hidden_size).
text_audio_video_embeds (torch.Tensor، اختياري) — تمثيلات مشتركة للنص والصوت والفيديو تجمع بين الأنماط الثلاثة. الشكل (batch_size, sequence_length, hidden_size).
audio_plus_text_embeds (torch.Tensor، اختياري) — تمثيلات مدمجة للصوت والنص (مثلًا، دمج بالتتابع أو دمج إضافي). الشكل (batch_size, sequence_length, hidden_size).
video_plus_text_embeds (torch.Tensor، اختياري) — تمثيلات مدمجة للفيديو والنص. الشكل (batch_size, sequence_length, hidden_size).
text_outputs (MaskedLMOutput، اختياري) — مخرجات النموذج لمشفّر النص. تتضمن الحالات المخفية والانتباهات، وخسارة اختيارية.
audio_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمشفّر الصوت، وتشمل الحالة المخفية الأخيرة والمخرجات المجمّعة.
video_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمُشفِّر الفيديو، وتشمل الحالة المخفية الأخيرة والمخرَج المُجمَّع.
audio_video_outputs (BaseModelOutputWithPooling، اختياري) — مخرجات النموذج لمُشفِّر الصوت والفيديو المشترك.
logits_audio_text (torch.Tensor، اختياري) — قيم التماثل (logits) بين تمثيلات الصوت والنص. الشكل (batch_size, batch_size).
logits_video_text (torch.Tensor، اختياري) — قيم التماثل (logits) بين تمثيلات الفيديو والنص. الشكل (batch_size, batch_size).
logits_audio_video (torch.Tensor، اختياري) — قيم التماثل (logits) بين تمثيلات الصوت والفيديو. الشكل (batch_size, batch_size).
logits_audio_video_text (torch.Tensor، اختياري) — قيم التماثل (logits) عبر أنماط الصوت والفيديو والنص.
logits_audio_plus_text_video (torch.Tensor, اختياري) — قيم التماثل (logits) بين التضمينات المدمجة (الصوت + النص) وتضمينات الفيديو.
logits_video_plus_text_audio (torch.Tensor، اختياري) — قيم التماثل (logits) بين التضمينات المدمجة (فيديو + نص) وتضمينات الصوت.
audio_text_loss (torch.Tensor, اختياري) — خسارة تباينية محسوبة بين تمثيلات الصوت والنص.
video_text_loss (torch.Tensor, اختياري) — خسارة تباينية محسوبة بين تمثيلات الفيديو والنص.
audio_video_loss (torch.Tensor، اختياري) — خسارة تباينية محسوبة بين تمثيلات الصوت والفيديو.
audio_video_text_loss (torch.Tensor, اختياري) — خسارة مشتركة عبر أنماط الصوت والفيديو والنص.
audio_plus_text_video_loss (torch.Tensor، اختياري) — الخسارة بين التمثيلات المدمجة (الصوت + النص) والفيديو.
video_plus_text_audio_loss (torch.Tensor، اختياري) — الخسارة بين التمثيلات المدمجة (فيديو + نص) والصوت.
loss (torch.Tensor, اختياري) — إجمالي الخسارة لجميع خسارات الأنماط.

Update on GitHub

←PaliGemma Perceiver→