Hugging Face's logo

Diffusers documentation

BriaTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaTransformer2DModel

Un modelo Transformer de flux modificado de Bria

BriaTransformer2DModel

clase diffusers.BriaTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = Noneguidance_embeds: bool = Falseaxes_dims_rope: list = [16, 56, 56]rope_theta = 10000time_theta = 10000 )

Parámetros

  • patch_size (int) — Tamaño del parche para dividir los datos de entrada en pequeños parches.
  • in_channels (int, opcional, valor predeterminado 16) — El número de canales en la entrada.
  • num_layers (int, opcional, valor predeterminado 18) — El número de capas de bloques MMDiT a utilizar.
  • num_single_layers (int, opcional, valor predeterminado 18) — El número de capas de bloques DiT individuales a utilizar.
  • attention_head_dim (int, opcional, valor predeterminado 64) — El número de canales en cada cabeza.
  • num_attention_heads (int, opcional, valor predeterminado 18) — El número de cabezas a utilizar para la atención multi-cabeza.
  • joint_attention_dim (int, opcional) — El número de dimensiones de encoder_hidden_states a utilizar.
  • pooled_projection_dim (int) — Número de dimensiones a utilizar al proyectar las pooled_projections.
  • guidance_embeds (bool, predeterminado en False) — Si se deben usar embeddings de guía.

El modelo Transformer introducido en Flux. Basado en FluxPipeline con varios cambios:

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truecontrolnet_block_samples = Nonecontrolnet_single_block_samples = None )

Parámetros

  • hidden_states (torch.FloatTensor de forma (batch size, channel, height, width)) — Estados ocultos de entrada hidden_states.
  • encoder_hidden_states (torch.FloatTensor de forma (batch size, sequence_len, embed_dims)) — Incrustaciones condicionales (incrustaciones calculadas a partir de las condiciones de entrada, como los prompts) que se deben utilizar.
  • pooled_projections (torch.FloatTensor de forma (batch_size, projection_dim)) — Proyecciones de los embeddings de las condiciones de entrada.
  • timestep ( torch.LongTensor) — Se utiliza para indicar el paso de desruido.
  • img_ids (torch.Tensor) — ids de posición de imagen utilizados para calcular los embeddings posicionales rotatorios.
  • txt_ids (torch.Tensor) — ids de posición de texto utilizados para calcular los embeddings posicionales rotatorios.
  • guidance (torch.Tensor, opcional) — Incrustación de escala de orientación utilizada para las variantes destiladas por orientación del modelo.
  • controlnet_block_samples (list de torch.Tensor, opcional) — Una lista de tensores que, si se especifica, se añaden a los residuos de los bloques del transformer.
  • controlnet_single_block_samples (list de torch.Tensor, opcional) — Una lista de tensores que, si se especifica, se añaden a los residuos de los bloques de transformador individuales.
  • attention_kwargs (dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido en self.processor dentro de diffusers.models.attention_processor.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.

El método forward de BriaTransformer2DModel.

Update on GitHub

←BriaFiboTransformer2DModel ChromaTransformer2DModel→