Hugging Face's logo

Transformers documentation

Gradium Phonon TTS

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Este modelo fue aportado a Hugging Face Transformers el 2026-10-20.

Gradium Phonon TTS

Resumen

Gradium Phonon TTS es la familia de modelos de texto a voz para dispositivos de Gradium, entrenada con la receta de Pocket TTS: un transformer causal lee un prompt de voz y el texto, y luego emite un latente de audio continuo de 32 dimensiones por paso a 12.5 Hz a través de una cabeza de flujo de un solo paso, y una cabeza de fin de habla decide cuándo termina la enunciación. Los latentes se decodifican a audio de 24 kHz mediante un tokenizador de audio de Pocket TTS que mantiene el procesador, el PocketTTSProcessor de Pocket TTS.

Se diferencia de Pocket TTS en su condicionamiento de voz: el prompt de voz está compuesto por latentes de 512 dimensiones de un códec de hablante separado, y se añade un vector de hablante aprendido a cada posición latente de audio. El códec de hablante no se ha publicado, por lo que las voces se proporcionan como latentes precalculados (el default-voice.safetensors de cada checkpoint y el catálogo de gradium/phonon-voices) y el tokenizador de audio es solo un decodificador: no se pueden clonar voces a partir de una grabación.

CheckpointParámetrosIdiomasLicencia
gradium/phonon-31m-en31MInglésApache 2.0
gradium/phonon-40m-en40MInglésCC BY-NC 4.0
gradium/phonon-40m-fr40MFrancésCC BY-NC 4.0
gradium/phonon-40m-de40MAlemánCC BY-NC 4.0
gradium/phonon-40m-es40MSpanishCC BY-NC 4.0
gradium/phonon-40m-pt40MPortuguésCC BY-NC 4.0
gradium/phonon-40m-multilingual40MInglés, francés, alemán, español, portuguésCC BY-NC 4.0

Todas se cargan de la misma manera: cambiar los puntos de control implica cambiar el id del repositorio.

Este modelo fue aportado por Eustache Le Bihan. El código original es gradium-ai/xn-ptts.

Consejos de uso

  • Prepara las entradas con apply_chat_template(): un mensaje user por texto, un elemento vacío {"type": "audio"} donde va la voz, los latentes de voz en processor_kwargs={"audio_prompt_latents": [...]} y add_generation_prompt=True.
  • El tokenizador no escribe números, cantidades, símbolos o direcciones, consulte Normalización de texto.
  • generate devuelve audio_latents y audio_latents_mask; decódialos con PocketTTSProcessor.decode().
  • Genera muestras de la misma manera que lo hace el runtime de Gradium: temperature 0.3 (la varianza del ruido inicial del flujo) y se detiene poco después de que el logit de fin de voz cruce eos_threshold. do_sample=False inicia el flujo desde cero de ruido.
  • El modelo se carga en bf16, el dtype en el que se almacenan sus pesos; pase dtype=torch.float32 en CPU para que coincida con el tiempo de ejecución de Gradium allí.
  • Divide el texto largo con PocketTTSProcessor.split_text(), una conversación por fragmento.

Uso

Voz

Una voz es un tensor de latentes (num_frames, 512). Cada checkpoint incluye una (default-voice.safetensors), y gradium/phonon-voices tiene unas cien más, en todos los idiomas, cada una bajo su ID de voz (voices.jsonl lista sus nombres, idiomas y descripciones). Cualquier voz funciona con cualquier checkpoint.

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")


def load_voice(voice_id):
    """A voice of gradium/phonon-voices, as latents of shape (num_frames, 512)."""
    path = hf_hub_download("gradium/phonon-voices", f"voices/{voice_id}.safetensors")
    return load_file(path)["speaker_wavs"][0].T.float()


# Easton (en-us); the checkpoint's own voice: hf_hub_download(model_id, "default-voice.safetensors")
voice = load_voice("LMDIYE0Oa377Qh6Z")
# an empty `audio` item marks the voice
conversation = [
    {"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")

Lotes y texto largo

Lotea varios textos, cada uno con su propia voz, con el texto largo dividido en fragmentos:

text = (
    "Phonon is a small text-to-speech model that runs on your device. "
    "Long texts are split into sentences, and each chunk is one conversation of the batch."
)
chunks = processor.split_text(text)
texts = chunks + ["And this one is said by another voice."]
voices = [load_voice("LMDIYE0Oa377Qh6Z")] * len(chunks) + [load_voice("NbpkqMVS3CJeq2j8")]
conversations = [
    [{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": text}]}] for text in texts
]
inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": voices},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio([torch.cat(audio[: len(chunks)]), audio[-1]], ["long.wav", "other.wav"])

Normalización de texto

El tokenizador normaliza lo que no depende del idioma, al igual que lo hace el tiempo de ejecución de Gradium:

TextoTokenizer
“Hello” — it’s here…"Hello" it's here.
hello (world); see you 🚀Hello, world, see you.

No especifica números, cantidades, símbolos ni direcciones, ya que dependen del idioma:

TextoTokenizerEl tiempo de ejecución de Gradium
It costs $1,234.56.It costs $1,234.56.It costs 1 thousand 234 dollars and 56 cents.
Write to jean@gradium.aiWrite to jean@gradium.ai.Write to jean at gradium dot A-I.
It is 21°CIt is 21°C.It is 21 degrees Celsius.

Para esos casos, utiliza la normalización de texto del runtime de Gradium, ptts, o escríbelos por extenso.

GradiumPhononTTSConfig

clase transformers.GradiumPhononTTSConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneflow_head_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevocab_size: int = 4001hidden_size: int = 768num_hidden_layers: int = 6num_attention_heads: int = 12num_key_value_heads: int | None = Nonehead_dim: int | None = Noneintermediate_size: int = 3072hidden_act: str = 'gelu'layer_norm_eps: float = 1e-05attention_bias: bool = Falseattention_dropout: float = 0.0max_position_embeddings: int = 8192rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonelatent_dim: int = 32pad_token_id: int = 3bos_token_id: int | None = Noneeos_token_id: int | None = Noneaudio_prompt_token_id: int = 5audio_latent_token_id: int = 6audio_bos_token_id: int = 4frame_rate: float = 12.5initializer_range: float = 0.02use_cache: bool = Trueeos_loss_weight: float = 0.1flow_loss_num_samples: int = 4lsd_distill_probability: float = 0.25lsd_diagonal_weight: float = 0.75lsd_time_logit_mean: float = 0.4lsd_time_logit_std: float = 1.0latent_stats_ema_steps: int = 1000latent_stats_ema_decay: float = 0.999audio_prompt_dim: int = 512num_speakers: int = 1num_speakers_vocab_size: int = 32num_speakers_embedding_dim: int = 16duration_delta: float = 0.0duration_delta_embedding_dim: int = 128duration_delta_scale: float = 1000.0duration_delta_max_period: float = 10000.0 )

Parámetros

  • flow_head_config (Union[GradiumPhononTTSFlowHeadConfig, dict], opcional) — La configuración del flow head que muestrea cada latente a partir del estado oculto del backbone.
  • vocab_size (int, opcional, valor predeterminado 4001) — Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse mediante input_ids.
  • hidden_size (int, opcional, valor predeterminado 768) — Dimensión de las representaciones ocultas.
  • num_hidden_layers (int, opcional, valor predeterminado 6) — Número de capas ocultas en el decodificador Transformer.
  • num_attention_heads (int, opcional, valor predeterminado 12) — Número de cabezas de atención para cada capa de atención en el decodificador Transformer.
  • num_key_value_heads (int, opcional) — Este es el número de cabezas de key_value que se deben utilizar para implementar Grouped Query Attention. Si num_key_value_heads=num_attention_heads, el modelo utilizará Multi Head Attention (MHA); si num_key_value_heads=1, el modelo utilizará Multi Query Attention (MQA); en caso contrario, se utilizará GQA. Al convertir un checkpoint multi-head en un checkpoint GQA, cada cabeza de key y value del grupo debe construirse mediante el promedio (meanpooling) de todas las cabezas originales dentro de ese grupo. Para más detalles, consulta este artículo. Si no se especifica, el valor predeterminado será num_attention_heads.
  • head_dim (int, opcional) — La dimensión de la cabeza de atención. Si es None, se establecerá en hidden_size // num_attention_heads
  • intermediate_size (int, opcional, valor predeterminado 3072) — Dimensión de las representaciones del MLP.
  • hidden_act (str, opcional, valor predeterminado gelu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, "gelu", "relu", "silu", etc.
  • layer_norm_eps (float, opcional, valor predeterminado 1e-05) — Epsilon de las normalizaciones de capa del backbone.
  • attention_bias (bool, opcional, valor predeterminado False) — Si se debe usar un sesgo en las capas de proyección de consulta, clave, valor y salida durante la autoatención.
  • attention_dropout (float, opcional, valor predeterminado 0.0) — La proporción de dropout para las probabilidades de atención.
  • max_position_embeddings (int, opcional, valor predeterminado 8192) — La longitud máxima de secuencia con la que se podría utilizar este modelo.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], opcional) — Diccionario que contiene los parámetros de configuración para las incrustaciones RoPE. El diccionario debe contener un valor para rope_theta y, opcionalmente, parámetros utilizados para el escalado en caso de que desee usar RoPE con max_position_embeddings más largos.
  • latent_dim (int, opcional, valor predeterminado 32) — Dimensión de los latentes de audio que el backbone recibe como entrada (audio_latents); es igual a latent_dim de la cabecera de flujo y del tokenizador de audio.
  • pad_token_id (int, opcional, valor predeterminado 3) — Id del token utilizado para el relleno en el vocabulario.
  • bos_token_id (int, opcional) — Id del token utilizado para el inicio de la secuencia en el vocabulario.
  • eos_token_id (int, opcional) — Id del token utilizado para el fin de secuencia en el vocabulario.
  • audio_prompt_token_id (int, opcional, valor predeterminado 5) — Id del token de marcador de posición de los fotogramas de la voz de la indicación en input_ids (<|audio_prompt|>).
  • audio_latent_token_id (int, opcional, valor predeterminado 6) — Id del token de marcador de posición de las posiciones latentes de audio en input_ids (<|audio_latent|>).
  • audio_bos_token_id (int, opcional, valor predeterminado 4) — Id del token de la primera posición de audio, que cierra el prompt: contiene el latente BOS aprendido, a partir del cual se genera el primer frame (<|audio_bos|>).
  • frame_rate (float, opcional, valor predeterminado 12.5) — Número de latentes de audio por segundo de audio: generate deriva su presupuesto de fotogramas predeterminado a partir de este valor.
  • initializer_range (float, opcional, valor predeterminado 0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos.
  • use_cache (bool, opcional, valor predeterminado True) — Indica si el modelo debe devolver las últimas claves/valores de atención (no utilizado por todos los modelos). Solo es relevante si config.is_decoder=True o cuando el modelo es un modelo generativo solo de decodificador.
  • eos_loss_weight (float, opcional, valor predeterminado 0.1) — Peso de la pérdida de fin de habla en la pérdida de entrenamiento.
  • flow_loss_num_samples (int, opcional, valor predeterminado 4) — Número de extracciones de ruido por cuadro objetivo en la pérdida de flujo.
  • lsd_distill_probability (float, opcional, valor predeterminado 0.25) — Probabilidad, por paso de entrenamiento, de calcular el término de auto-destilación de la pérdida LSD (recalculado para mantener la pérdida esperada); 1 lo calcula en cada paso.
  • lsd_diagonal_weight (float, opcional, valor predeterminado 0.75) — Peso del término diagonal (flujo instantáneo) de la pérdida LSD; el término de autodistilación pondera el resto.
  • lsd_time_logit_mean (float, opcional, valor predeterminado 0.4) — Media de la distribución logit-normal de los tiempos de flujo extraídos por la pérdida LSD.
  • lsd_time_logit_std (float, opcional, valor predeterminado 1.0) — Desviación estándar de la distribución logit-normal de los tiempos de flujo extraídos por la pérdida LSD.
  • latent_stats_ema_steps (int, opcional, valor predeterminado 1000) — Número de primeros pasos de entrenamiento durante los cuales latent_mean y latent_std siguen una media móvil exponencial de los latentes objetivo; 0 los mantiene congelados.
  • latent_stats_ema_decay (float, opcional, valor predeterminado 0.999) — Decaimiento de esa media móvil.
  • audio_prompt_dim (int, opcional, valor predeterminado 512) — Dimensión de los latentes de la voz de la indicación (audio_prompt_latents), los latentes no cuantizados del códec de hablante de Gradium (un codificador Mimi, no el del tokenizador de audio), que el backbone proyecta a hidden_size.
  • num_speakers (int, opcional, valor predeterminado 1) — Valor de la condición num_speakers: la fila de su tabla de búsqueda que se suma a cada posición latente de audio.
  • num_speakers_vocab_size (int, opcional, valor predeterminado 32) — Número de filas de la tabla de búsqueda num_speakers.
  • num_speakers_embedding_dim (int, opcional, valor predeterminado 16) — Ancho de la tabla de búsqueda num_speakers, proyectado a hidden_size.
  • duration_delta (float, opcional, valor predeterminado 0.0) — Valor de la condición duration_delta, incrustado sinusoidalmente y añadido a cada posición latente de audio.
  • duration_delta_embedding_dim (int, opcional, valor predeterminado 128) — Tamaño de la incrustación sinusoidal de duration_delta, proyectada a hidden_size.
  • duration_delta_scale (float, opcional, valor predeterminado 1000.0) — Factor aplicado a duration_delta antes de su codificación sinusoidal.
  • duration_delta_max_period (float, opcional, valor predeterminado 10000.0) — Período máximo de la incrustación sinusoidal de duration_delta.

Esta es la clase de configuración para almacenar la configuración de un GradiumPhononTTSModel. Se utiliza para instanciar un modelo Gradium Phonon Tts según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de gradium/phonon-31m-en

Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.

GradiumPhononTTSFlowHeadConfig

clase transformers.GradiumPhononTTSFlowHeadConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 512num_hidden_layers: int = 6latent_dim: int = 32condition_dim: int = 768frequency_embedding_size: int = 256hidden_act: str = 'silu'layer_norm_eps: float = 1e-06rms_norm_eps: float = 1e-05max_period: float = 10000.0flow_type: typing.Literal['lsd', 'drifting'] = 'lsd'loss_weighting_hidden_size: int = 32loss_weighting_num_layers: int = 3 )

Parámetros

  • hidden_size (int, opcional, valor predeterminado 512) — Dimensión de las representaciones ocultas.
  • num_hidden_layers (int, opcional, valor predeterminado 6) — Número de capas ocultas en el decodificador Transformer.
  • latent_dim (int, opcional, valor predeterminado 32) — Dimensión de los latentes de audio continuos que predice la cabeza (la dimensión latente del tokenizador de audio).
  • condition_dim (int, opcional, valor predeterminado 768) — Dimensión del estado oculto del backbone en el que se condiciona la cabeza (el hidden_size del backbone).
  • frequency_embedding_size (int, opcional, valor predeterminado 256) — Tamaño de la incrustación sinusoidal de los tiempos de flujo.
  • hidden_act (str, opcional, valor predeterminado silu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, "gelu", "relu", "silu", etc.
  • layer_norm_eps (float, opcional, valor predeterminado 1e-06) — Epsilon de las normalizaciones de capa dentro de los bloques residuales y la capa final.
  • rms_norm_eps (float, opcional, valor predeterminado 1e-05) — Epsilon de la normalización que cierra los embeddings temporales.
  • max_period (float, opcional, valor predeterminado 10000.0) — Período máximo de la incrustación sinusoidal de tiempo, que el punto de control almacena como freqs.
  • flow_type (str, opcional, valor predeterminado "lsd") — Objetivo con el que se entrenó la cabeza, que determina cómo se condiciona y muestrea. "lsd" (auto-destilación lagrangiana): condicionada en los tiempos de inicio y fin de un paso de flujo, muestreada mediante pasos de Euler desde ruido gaussiano. "drifting": sin condicionamiento temporal, la cabeza mapea el ruido al latente en una sola llamada.
  • loss_weighting_hidden_size (int, opcional, valor predeterminado 32) — Ancho del MLP que aprende la ponderación de incertidumbre de los términos de pérdida LSD a partir de sus tiempos de flujo (solo entrenamiento).
  • loss_weighting_num_layers (int, opcional, valor predeterminado 3) — Número de capas ocultas de ese MLP.

Esta es la clase de configuración para almacenar la configuración de un GradiumPhononTTSModel. Se utiliza para instanciar un modelo Gradium Phonon Tts según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de gradium/phonon-31m-en

Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.

GradiumPhononTTSModel

clase transformers.GradiumPhononTTSModel

< >

( config: GradiumPhononTTSConfig )

Parámetros

  • config (GradiumPhononTTSConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.

El backbone Gradium Phonon TTS: un transformer causal sobre un único flujo compuesto por el prompt de voz (latentes del codec del hablante), los tokens de texto y los latentes de audio, que devuelve los estados ocultos normalizados.

Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Noneaudio_latents_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

Parámetros

  • input_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

    Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

    ¿Qué son los IDs de entrada?

  • audio_prompt_latents (torch.Tensor de forma (batch_size, num_prompt_frames, latent_dim), opcional) — Latentes de la voz de referencia del tokenizador de audio (codificados por el procesador o por voices/ de un checkpoint), rellenados a la derecha hasta la longitud de la voz más larga del lote, distribuidos en las posiciones de audio_prompt_token_id.
  • audio_prompt_latents_mask (torch.Tensor de forma (batch_size, num_prompt_frames), opcional) — Máscara de los fotogramas de voz (1) frente al relleno (0) en audio_prompt_latents.
  • audio_latents (torch.Tensor de forma (batch_size, num_latents, latent_dim), opcional) — Latentes de audio normalizados, distribuidos en las posiciones de audio_latent_token_id. La posición de audio_bos_token_id anterior a ellos, que cierra el prompt y desde la cual se genera el primer fotograma, siempre recibe el latente de BOS aprendido.
  • audio_latents_mask (torch.Tensor de forma (batch_size, num_latents), opcional) — Máscara de los latentes de cada fila (1) en contraposición al relleno (0) en audio_latents, cuando las filas contienen un número diferente de posiciones latentes (entrenamiento).
  • attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
    • 1 para los tokens que no están enmascarados,
    • 0 para los tokens que están enmascarados.

    ¿Qué son las máscaras de atención?

  • position_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

    ¿Qué son los IDs de posición?

  • past_key_values (~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en la past_key_values devuelta por el modelo en una etapa anterior de la decodificación, cuando use_cache=True o config.use_cache=True.

    Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan past_key_values, DynamicCache se inicializará de forma predeterminada.

    El modelo generará el mismo formato de caché que se proporciona como entrada.

    Si se utilizan past_key_values, se espera que el usuario introduzca únicamente los input_ids no procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma (batch_size, unprocessed_length) en lugar de todos los input_ids con forma (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
  • use_cache (bool, opcional) — Si se establece en True, se devuelven los estados de clave-valor de past_key_values y pueden usarse para acelerar la decodificación (ver past_key_values).

Devuelve

BaseModelOutputWithPast o tuple(torch.Tensor)

Un BaseModelOutputWithPast o una tupla de torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios elementos según la configuración (GradiumPhononTTSConfig) y las entradas.

El método forward de GradiumPhononTTSModel sobrescribe el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

  • last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size)) — Secuencia de estados ocultos en la salida de la última capa del modelo.

    Si se utiliza past_key_values, solo se genera el último hidden-state de las secuencias con forma (batch_size, 1, hidden_size).

  • past_key_values (Cache, opcional, se devuelve cuando se pasa use_cache=True o cuando config.use_cache=True) — Es una instancia de Cache. Para más detalles, consulta nuestra guía de caché kv.

    Contiene estados ocultos precalculados (claves y valores en los bloques de autoatención y, opcionalmente, si config.is_encoder_decoder=True, en los bloques de atención cruzada) que pueden utilizarse (véase la entrada past_key_values) para acelerar la decodificación secuencial.

  • hidden_states (tuple(torch.Tensor), opcional, devuelto cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

    Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.

  • attentions (tuple(torch.Tensor), opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

    Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

GradiumPhononTTSForConditionalGeneration

clase transformers.GradiumPhononTTSForConditionalGeneration

< >

( config: GradiumPhononTTSConfig )

Parámetros

  • config (GradiumPhononTTSConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.

El modelo de texto a voz Gradium Phonon TTS: el backbone, la cabecera de flujo que muestrea un latente de audio por paso y la cabecera de fin de voz. Genera latentes del tokenizador de audio, que el procesador decodifica en audio de 24 kHz.

Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneaudio_prompt_latents: typing.Optional[torch.Tensor] = Noneaudio_prompt_latents_mask: typing.Optional[torch.Tensor] = Noneaudio_latents: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Nonelabels_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → GradiumPhononTTSOutputWithPast or tuple(torch.Tensor)

Parámetros

  • input_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.

    Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.

    ¿Qué son los IDs de entrada?

  • audio_prompt_latents (torch.Tensor de forma (batch_size, num_prompt_frames, latent_dim), opcional) — Latentes de la voz de referencia del tokenizador de audio, rellenos a la derecha, distribuidos en las posiciones de audio_prompt_token_id.
  • audio_prompt_latents_mask (torch.Tensor de forma (batch_size, num_prompt_frames), opcional) — Máscara de los fotogramas de voz (1) frente al relleno (0) en audio_prompt_latents.
  • audio_latents (torch.Tensor de forma (batch_size, num_latents, latent_dim), opcional) — Latentes de audio normalizados, distribuidos en las posiciones de audio_latent_token_id.
  • labels (torch.Tensor de forma (batch_size, num_frames, latent_dim), opcional) — Latentes objetivo del tokenizador de audio (entrenamiento), con relleno a la derecha. El prompt de cada fila termina en la posición audio_bos_token_id seguido de una posición audio_latent_token_id por cada frame: el modelo alimenta los objetivos normalizados (teacher forcing), aplica la pérdida de flujo a las salidas del BOS y de todos los frames excepto el último, que predicen los frames, y la pérdida de fin de habla a todos ellos, siendo el último el fin de la habla.
  • labels_mask (torch.Tensor de forma (batch_size, num_frames), opcional) — Máscara de los cuadros objetivo de cada fila (1) frente al relleno (0) en labels.
  • attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en [0, 1]:
    • 1 para los tokens que no están enmascarados,
    • 0 para los tokens que están enmascarados.

    ¿Qué son las máscaras de atención?

  • position_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices de las posiciones de los tokens de cada secuencia de entrada en los embeddings de posición. Seleccionados en el rango [0, config.n_positions - 1].

    ¿Qué son los IDs de posición?

  • past_key_values (~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en la past_key_values devuelta por el modelo en una etapa anterior de la decodificación, cuando use_cache=True o config.use_cache=True.

    Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan past_key_values, DynamicCache se inicializará de forma predeterminada.

    El modelo generará el mismo formato de caché que se proporciona como entrada.

    Si se utilizan past_key_values, se espera que el usuario introduzca únicamente los input_ids no procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma (batch_size, unprocessed_length) en lugar de todos los input_ids con forma (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasar input_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices de input_ids en los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo.
  • use_cache (bool, opcional) — Si se establece en True, se devuelven los estados de clave-valor de past_key_values y pueden usarse para acelerar la decodificación (ver past_key_values).

Devuelve

GradiumPhononTTSOutputWithPast o tuple(torch.Tensor)

Un GradiumPhononTTSOutputWithPast o una tupla de torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios elementos según la configuración (GradiumPhononTTSConfig) y las entradas.

El método forward de GradiumPhononTTSForConditionalGeneration sobrescribe el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

  • loss (torch.Tensor de forma (), opcional, se devuelve cuando se pasa labels) — Pérdida de entrenamiento: la pérdida de flujo LSD de los latentes objetivo más config.eos_loss_weight veces la pérdida de fin de habla.

  • logits (torch.Tensor de forma (batch_size, sequence_length, 1)) — Logits de fin de habla, uno por posición.

  • past_key_values (Cache, opcional, se devuelve cuando se pasa use_cache=True o cuando config.use_cache=True) — Es una instancia de Cache. Para más detalles, consulta nuestra guía de caché kv.

    Contiene estados ocultos precalculados (claves y valores en los bloques de autoatención) que pueden utilizarse (véase la entrada past_key_values) para acelerar la decodificación secuencial.

  • hidden_states (tuple(torch.Tensor), opcional, devuelto cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma (batch_size, sequence_length, hidden_size).

    Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.

  • attentions (tuple(torch.Tensor), opcional, se devuelve cuando se pasa output_attentions=True o cuando config.output_attentions=True) — Tupla de torch.Tensor (una por cada capa) de forma (batch_size, num_heads, sequence_length, sequence_length).

    Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

  • last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size)) — Estados ocultos normalizados del backbone, que condicionan la cabeza de flujo.

Ejemplo:

>>> from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

>>> model = GradiumPhononTTSForConditionalGeneration.from_pretrained("gradium/phonon-31m-en")

>>> processor = AutoProcessor.from_pretrained("gradium/phonon-31m-en")
>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")

>>> # generate speech
>>> speech = model(inputs["input_ids"])

generate

< >

( inputs: typing.Optional[torch.Tensor] = None**kwargs )

Parámetros

  • inputs (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Los input_ids preparados por PocketTTSProcessor. También se pueden pasar como input_ids=.
  • kwargs (dict[str, Any], opcional) — attention_mask, el prompt de voz (audio_prompt_latents y audio_prompt_latents_mask, o la caché de un prefijo de voz como past_key_values, las voces incluidas, con prompts solo de texto), frames_after_eos del procesador, los parámetros de generación (do_sample, temperature, max_new_tokens, …) y los específicos de Pocket TTS num_flow_steps, eos_threshold y min_frames_before_eos, que por defecto se toman de la configuración de generación.

Genera audio. Este método sobrescribe generate() para establecer max_new_tokens por defecto en el presupuesto de fotogramas del tiempo de ejecución original, ceil((num_text_tokens / 3 + 2) * frame_rate) para el texto más largo del lote. Todo lo demás pasa por los hooks de generación habituales.

Update on GitHub

←GLM-ASR GraniteSpeech→