Diffusers documentation
MiniMaxMusic3Transformer1DModel
MiniMaxMusic3Transformer1DModel
MiniMax Music 3 的 2.4B 流匹配 Diffusion Transformer。它以模型自回归语言模型阶段逐帧隐藏状态为条件,对 128 通道的 Flow-VAE 音频潜变量进行去噪,并将流匹配时间步作为额外的序列 token 前置(这是一个 Stable-Audio 谱系的连续 Transformer,采用部分旋转注意力和 GLU 前馈网络)。
MiniMaxMusic3Transformer1DModel
class diffusers.MiniMaxMusic3Transformer1DModel
< source >( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )
MiniMax Music 3 的流匹配扩散 Transformer。它以自回归语言模型阶段生成的逐帧隐藏状态为条件,对 Flow-VAE 音频潜变量进行去噪。
输入是形状为 (batch, in_channels, length) 的一维潜在序列。条件信号(encoder_hidden_states,形状为 (batch, length, condition_dim))必须已经与潜在时间轴对齐——参见 MiniMaxMusic3ConditionEncoder。流匹配的 timestep 从 0(噪声)变化到 1(数据)。
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )
参数
- hidden_states(形状为
(batch, in_channels, length)的torch.Tensor)— 带噪声的 Flow-VAE 潜变量。 - timestep(形状为
(batch,)的torch.Tensor)—[0, 1]区间内的流匹配时间,其中 0 表示纯噪声,1 表示数据。 - encoder_hidden_states(形状为
(batch, length, condition_dim)的torch.Tensor)— 来自MiniMaxMusic3ConditionEncoder的帧对齐条件。对于无分类器自由引导的无条件分支,请传入零。 - return_dict (
bool,默认为True) — 是否返回 Transformer2DModelOutput 而不是普通元组。