Diffusers documentation
EDMEulerScheduler
EDMEulerScheduler
La formulación de Karras del programador Euler (Algoritmo 2) del artículo Elucidating the Design Space of Diffusion-Based Generative Models de Karras et al. Este es un programador rápido que a menudo puede generar buenas salidas en 20-30 pasos. El programador se basa en la implementación original de k-diffusion de Katherine Crowson.
EDMEulerScheduler
clase diffusers.EDMEulerScheduler
< source >( sigma_min: float = 0.002sigma_max: float = 80.0sigma_data: float = 0.5sigma_schedule: typing.Literal['karras', 'exponential'] = 'karras'num_train_timesteps: int = 1000prediction_type: typing.Literal['epsilon', 'v_prediction'] = 'epsilon'rho: float = 7.0final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )
Parámetros
- sigma_min (
float, opcional, valor predeterminado0.002) — Magnitud mínima de ruido en la programación de sigma. Esto se estableció en 0.002 en el artículo de EDM [1]; un rango razonable es [0, 10]. - sigma_max (
float, opcional, valor predeterminado80.0) — Magnitud máxima del ruido en la programación de sigma. En el artículo de EDM [1] se estableció en 80.0; un rango razonable es [0.2, 80.0]. - sigma_data (
float, opcional, valor predeterminado0.5) — La desviación estándar de la distribución de datos. En el artículo EDM [1], este valor se establece en 0.5. - sigma_schedule (
Literal["karras", "exponential"], opcional, valor predeterminado"karras") — Programa de sigma para calcular lossigmas. De forma predeterminada, utilizamos el programa introducido en el artículo EDM (https://huggingface.co/papers/2206.00364). El programa"exponential"se incorporó en este modelo: https://huggingface.co/stabilityai/cosxl. - num_train_timesteps (
int, opcional, valor predeterminado1000) — El número de pasos de difusión para entrenar el modelo. - prediction_type (
Literal["epsilon", "v_prediction"], opcional, valor predeterminado"epsilon") — Tipo de predicción de la función del programador."epsilon"predice el ruido del proceso de difusión, y"v_prediction"(ver la sección 2.4 del artículo Imagen Video). - rho (
float, opcional, valor predeterminado7.0) — El parámetro rho utilizado para calcular la programación de sigma de Karras, que se establece en 7.0 en el artículo de EDM [1]. - final_sigmas_type (
Literal["zero", "sigma_min"], opcional, valor predeterminado"zero") — El valor final desigmapara el programa de ruido durante el proceso de muestreo. Si es"sigma_min", el sigma final es el mismo que el último sigma del programa de entrenamiento. Si es"zero", el sigma final se establece en 0.
Implementa el planificador Euler en la formulación EDM tal como se presenta en Karras et al. 2022 [1].
[1] Karras, Tero, et al. “Elucidating the Design Space of Diffusion-Based Generative Models.” https://huggingface.co/papers/2206.00364
Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Parámetros
- original_samples (
torch.Tensor) — Las muestras originales a las que se les añadirá ruido. - noise (
torch.Tensor) — El tensor de ruido que se añadirá a las muestras originales. - timesteps (
torch.Tensor) — Los pasos de tiempo en los que se añade ruido, determinando el nivel de ruido a partir de la programación.
Devuelve
torch.Tensor
Las muestras ruidosas con ruido añadido escalado según la programación de pasos de tiempo.
Añade ruido a las muestras originales según el programa de ruido en los pasos de tiempo especificados.
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Parámetros
- timestep (
floatotorch.Tensor) — El valor de timestep que se debe buscar en la programación. - schedule_timesteps (
torch.Tensor, opcional) — El calendario de pasos de tiempo en el que buscar. Si esNone, usaself.timesteps.
Devuelve
int
El índice del paso de tiempo en la programación. Para el primer paso, devuelve el segundo índice si existen múltiples coincidencias para evitar omitir una sigma al comenzar a mitad de la programación (p. ej., para imagen a imagen).
Encuentra el índice de un paso de tiempo dado en la programación de pasos de tiempo.
precondition_inputs
< source >( sample: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Precondicione la muestra de entrada escalándola según la formulación de EDM.
precondition_noise
< source >( sigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Precondicione el nivel de ruido aplicando una transformación logarítmica.
precondition_outputs
< source >( sample: Tensormodel_output: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Parámetros
- sample (
torch.Tensor) — El tensor de muestra de entrada. - model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - sigma (
floatotorch.Tensor) — El valor actual de sigma (nivel de ruido).
Devuelve
torch.Tensor
La muestra desruidada calculada combinando la conexión de salto y la escalada de salida.
Precondiciona las salidas del modelo según la formulación de EDM.
scale_model_input
< source >( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
Escala la entrada del modelo de desruido para que coincida con el algoritmo de Euler. Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.
set_begin_index
< source >( begin_index: int = 0 )
Establece el índice inicial para el programador. Esta función debe ejecutarse desde la tubería antes de la inferencia.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonesigmas: typing.Union[list[float], torch.Tensor, NoneType] = None )
Parámetros
- num_inference_steps (
int, opcional) — El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado. - device (
strotorch.device, opcional) — El dispositivo al que deben moverse los timesteps. Si esNone, los timesteps no se mueven. - sigmas (
torch.Tensor | list[float], opcional) — Sigmas personalizados para usar en el proceso de desruido. Si no se definen, se usará el comportamiento predeterminado cuando se pasenum_inference_steps.
Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).
paso
< source >( model_output: Tensortimestep: typing.Union[float, torch.Tensor]sample: Tensors_churn: float = 0.0s_tmin: float = 0.0s_tmax: float = infs_noise: float = 1.0generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = Truepred_original_sample: typing.Optional[torch.Tensor] = None ) → EDMEulerSchedulerOutput or tuple
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - timestep (
floatotorch.Tensor) — El paso de tiempo discreto actual en la cadena de difusión. - sample (
torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión. - s_churn (
float, opcional, valor predeterminado0.0) — La cantidad de estocasticidad que se añade en cada paso. Los valores más altos añaden más ruido. - s_tmin (
float, opcional, valor predeterminado0.0) — Umbral mínimo de sigma por debajo del cual no se añade ruido. - s_tmax (
float, opcional, valor predeterminadofloat("inf")) — Umbral máximo de sigma por encima del cual no se añade ruido. - s_noise (
float, opcional, valor predeterminado1.0) — Factor de escala para el ruido añadido a la muestra. - generator (
torch.Generator, opcional) — Un generador de números aleatorios para la reproducibilidad. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un EDMEulerSchedulerOutput o una tupla. - pred_original_sample (
torch.Tensor, opcional) — La muestra desruidada predicha de un paso anterior. Si se proporciona, se omite el recálculo.
Devuelve
EDMEulerSchedulerOutput o tuple
Si return_dict es True, se devuelve un EDMEulerSchedulerOutput; en caso contrario, se devuelve una tupla cuyo primer elemento es el tensor de la muestra anterior y cuyo segundo elemento es el tensor de la muestra original predicha.
Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga el proceso de difusión a partir de las salidas del modelo aprendido (con mayor frecuencia, el ruido predicho).
EDMEulerSchedulerOutput
clase diffusers.schedulers.scheduling_edm_euler.EDMEulerSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Parámetros
- prev_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — Muestra calculada(x_{t-1})del paso de tiempo anterior.prev_sampledebe usarse como entrada del modelo en el bucle de desruido. - pred_original_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — La muestra desruidada predicha(x_{0})basada en la salida del modelo del paso de tiempo actual.pred_original_samplese puede usar para previsualizar el progreso o para la guía.
Clase de salida para la función step del programador.