Hugging Face's logo

Diffusers documentation

StableAudioDiTModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

StableAudioDiTModel

Un modelo Transformer para formas de onda de audio de Stable Audio Open.

StableAudioDiTModel

clase diffusers.StableAudioDiTModel

< >

( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )

Parámetros

  • sample_size ( int, opcional, valor predeterminado 1024) — El tamaño de la muestra de entrada.
  • in_channels (int, opcional, valor predeterminado 64) — El número de canales en la entrada.
  • num_layers (int, opcional, valor predeterminado 24) — El número de capas de bloques Transformer a utilizar.
  • attention_head_dim (int, opcional, valor predeterminado 64) — El número de canales en cada cabeza.
  • num_attention_heads (int, opcional, valor predeterminado 24) — El número de cabezas a utilizar para los estados de consulta.
  • num_key_value_attention_heads (int, opcional, valor predeterminado 12) — El número de cabezas a utilizar para los estados de clave y valor.
  • out_channels (int, por defecto 64) — Número de canales de salida.
  • cross_attention_dim ( int, opcional, valor predeterminado 768) — Dimensión de la proyección de atención cruzada.
  • time_proj_dim ( int, opcional, valor predeterminado 256) — Dimensión de la proyección interna del paso de tiempo.
  • global_states_input_dim ( int, opcional, valor predeterminado 1536) — Dimensión de entrada de la proyección de los estados ocultos globales.
  • cross_attention_input_dim ( int, opcional, valor predeterminado 768) — Dimensión de entrada de la proyección de atención cruzada

El modelo Diffusion Transformer introducido en Stable Audio.

Referencia: https://github.com/Stability-AI/stable-audio-tools

forward

< >

( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )

Parámetros

  • hidden_states (torch.FloatTensor de forma (batch size, in_channels, sequence_len)) — Entrada hidden_states.
  • timestep ( torch.LongTensor) — Se utiliza para indicar el paso de desruido.
  • encoder_hidden_states (torch.FloatTensor de forma (batch size, encoder_sequence_len, cross_attention_input_dim)) — Incrustaciones condicionales (incrustaciones calculadas a partir de las condiciones de entrada, como los prompts) a utilizar.
  • global_hidden_states (torch.FloatTensor de forma (batch size, global_sequence_len, global_states_input_dim)) — Incrustados globales que se añadirán al principio de los estados ocultos.
  • rotary_embedding (torch.Tensor) — Los embeddings rotatorios que se aplican a los tensores de consulta y clave durante el cálculo de la atención.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.
  • attention_mask (torch.Tensor de forma (batch_size, sequence_len), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno, formada por la concatenación de las máscaras de atención de los dos codificadores de texto. Valores de máscara seleccionados en [0, 1]:
    • 1 para los tokens que no están enmascarados,
    • 0 para los tokens que están enmascarados.
  • encoder_attention_mask (torch.Tensor de forma (batch_size, sequence_len), opcional) — Máscara para evitar realizar atención en los índices de atención cruzada de los tokens de relleno, formada por la concatenación de las máscaras de atención de los dos codificadores de texto. Valores de la máscara seleccionados en [0, 1]:
    • 1 para los tokens que no están enmascarados,
    • 0 para los tokens que están enmascarados.

El método forward de StableAudioDiTModel.

set_default_attn_processor

< >

( )

Desactiva los procesadores de atención personalizados y establece la implementación de atención predeterminada.

Update on GitHub

←StableAudio3DiTModel Transformer2DModel→