Diffusers documentation

MiniMaxMusic3Transformer1DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MiniMaxMusic3Transformer1DModel

MiniMax Music 3 的 2.4B 流匹配 Diffusion Transformer。它以模型自回归语言模型阶段逐帧隐藏状态为条件,对 128 通道的 Flow-VAE 音频潜变量进行去噪,并将流匹配时间步作为额外的序列 token 前置(这是一个 Stable-Audio 谱系的连续 Transformer,采用部分旋转注意力和 GLU 前馈网络)。

MiniMaxMusic3Transformer1DModel

class diffusers.MiniMaxMusic3Transformer1DModel

< >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

MiniMax Music 3 的流匹配扩散 Transformer。它以自回归语言模型阶段生成的逐帧隐藏状态为条件,对 Flow-VAE 音频潜变量进行去噪。

输入是形状为 (batch, in_channels, length) 的一维潜在序列。条件信号(encoder_hidden_states,形状为 (batch, length, condition_dim))必须已经与潜在时间轴对齐——参见 MiniMaxMusic3ConditionEncoder。流匹配的 timestep 从 0(噪声)变化到 1(数据)。

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

参数

  • hidden_states(形状为 (batch, in_channels, length) 的 torch.Tensor)— 带噪声的 Flow-VAE 潜变量。
  • timestep(形状为 (batch,) 的 torch.Tensor)— [0, 1] 区间内的流匹配时间,其中 0 表示纯噪声,1 表示数据。
  • encoder_hidden_states(形状为 (batch, length, condition_dim) 的 torch.Tensor)— 来自 MiniMaxMusic3ConditionEncoder 的帧对齐条件。对于无分类器自由引导的无条件分支,请传入零。
  • return_dict (bool,默认为 True) — 是否返回 Transformer2DModelOutput 而不是普通元组。
Update on GitHub