Diffusers documentation

DDPMScheduler

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DDPMScheduler

Denoising Diffusion Probabilistic Models (DDPM) của Jonathan Ho, Ajay Jain và Pieter Abbeel đề xuất một mô hình dựa trên diffusion cùng tên. Trong ngữ cảnh của thư viện 🤗 Diffusers, DDPM đề cập đến cả bộ lập lịch khử nhiễu rời rạc trong bài báo lẫn pipeline.

Tóm tắt từ bài báo là:

Chúng tôi trình bày các kết quả tổng hợp hình ảnh chất lượng cao sử dụng các mô hình xác suất khuếch tán, một lớp mô hình biến ẩn được lấy cảm hứng từ các cân nhắc về nhiệt động lực học phi cân bằng. Kết quả tốt nhất của chúng tôi đạt được bằng cách huấn luyện trên một cận biến phân có trọng số được thiết kế theo một kết nối mới giữa các mô hình xác suất khuếch tán và khớp điểm số khử nhiễu với động lực học Langevin, và các mô hình của chúng tôi tự nhiên chấp nhận một lược đồ giải nén mất mát tiến trình có thể được diễn giải như một tổng quát hóa của giải mã tự hồi quy. Trên tập dữ liệu CIFAR10 không điều kiện, chúng tôi đạt được điểm Inception là 9.46 và điểm FID tiên tiến nhất là 3.17. Trên LSUN 256x256, chúng tôi đạt được chất lượng mẫu tương tự ProgressiveGAN. Mã triển khai của chúng tôi có sẵn tại đường dẫn URL này.

DDPMScheduler

lớp diffusers.DDPMScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2', 'sigmoid'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonevariance_type: typing.Literal['fixed_small', 'fixed_small_log', 'fixed_large', 'fixed_large_log', 'learned', 'learned_range'] = 'fixed_small'clip_sample: bool = Trueprediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'leading'steps_offset: int = 0rescale_betas_zero_snr: bool = False )

Tham số

  • num_train_timesteps (int, mặc định là 1000) — Số bước khuếch tán để huấn luyện mô hình.
  • beta_start (float, mặc định là 0.0001) — Giá trị beta ban đầu của suy luận.
  • beta_end (float, mặc định là 0.02) — Giá trị beta cuối cùng.
  • beta_schedule ("linear", "scaled_linear", "squaredcos_cap_v2", hoặc "sigmoid", mặc định là "linear") — Lịch trình beta, một ánh xạ từ một khoảng beta sang một chuỗi các beta để bước qua mô hình.
  • trained_betas (np.ndarray, tùy chọn) — Một mảng các beta để truyền trực tiếp vào constructor mà không sử dụng beta_start và beta_end.
  • variance_type ("fixed_small", "fixed_small_log", "fixed_large", "fixed_large_log", "learned", hoặc "learned_range", mặc định là "fixed_small") — Cắt (clip) phương sai khi thêm nhiễu vào mẫu đã khử nhiễu.
  • clip_sample (bool, mặc định là True) — Cắt mẫu dự đoán để đảm bảo ổn định về mặt số học.
  • clip_sample_range (float, mặc định là 1.0) — Độ lớn tối đa cho việc cắt mẫu. Chỉ hợp lệ khi clip_sample=True.
  • prediction_type ("epsilon", "sample", or "v_prediction", defaults to "epsilon") — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • thresholding (bool, mặc định là False) — Có sử dụng phương pháp “dynamic thresholding” hay không. Phương pháp này không phù hợp với các mô hình khuếch tán trong không gian ẩn (latent-space) như Stable Diffusion.
  • dynamic_thresholding_ratio (float, mặc định là 0.995) — Tỷ số cho phương pháp ngưỡng động. Chỉ hợp lệ khi thresholding=True.
  • sample_max_value (float, mặc định là 1.0) — Giá trị ngưỡng cho việc đặt ngưỡng động. Chỉ hợp lệ khi thresholding=True.
  • timestep_spacing ("linspace", "leading", hoặc "trailing", mặc định là "leading") — Cách các timestep nên được scale. Xem Bảng 2 trong Common Diffusion Noise Schedules and Sample Steps are Flawed để biết thêm thông tin.
  • steps_offset (int, mặc định là 0) — Một giá trị bù được cộng vào các bước suy luận, theo yêu cầu của một số nhóm mô hình.
  • rescale_betas_zero_snr (bool, mặc định là False) — Có nên điều chỉnh lại betas để có SNR cuối bằng zero hay không. Điều này cho phép mô hình tạo ra các mẫu rất sáng và rất tối thay vì giới hạn ở các mẫu có độ sáng trung bình. Liên quan lỏng lẻo đến --offset_noise.

DDPMScheduler khám phá mối liên hệ giữa khớp điểm số khử nhiễu và lấy mẫu động học Langevin.

Mô hình này kế thừa từ SchedulerMixin và ConfigMixin. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các trình lập lịch, chẳng hạn như tải và lưu.

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Tham số

  • original_samples (torch.Tensor) — Các mẫu gốc mà nhiễu sẽ được thêm vào.
  • noise (torch.Tensor) — Nhiễu cần thêm vào các mẫu.
  • timesteps (torch.IntTensor) — Các bước thời gian (timesteps) chỉ ra mức độ nhiễu cho từng mẫu.

Trả về

torch.Tensor

Các mẫu nhiễu.

Thêm nhiễu vào các mẫu gốc theo mức độ nhiễu tại mỗi bước thời gian (đây là quá trình khuếch tán thuận).

get_velocity

< >

( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • noise (torch.Tensor) — Tensor nhiễu.
  • timesteps (torch.IntTensor) — Các bước thời gian (timesteps) để tính toán vận tốc.

Trả về

torch.Tensor

Tốc độ đã được tính toán.

Tính dự đoán vận tốc từ mẫu và nhiễu theo công thức vận tốc.

previous_timestep

< >

( timestep: int ) → int or torch.Tensor

Tham số

  • timestep (int) — Bước thời gian hiện tại.

Trả về

int hoặc torch.Tensor

Bước thời gian trước đó.

Tính bước thời gian trước đó trong chuỗi khuếch tán.

scale_model_input

< >

( sample: Tensortimestep: int | None = None ) → torch.Tensor

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • timestep (int, tùy chọn) — Bước thời gian hiện tại trong chuỗi khuếch tán.

Trả về

torch.Tensor

Một mẫu đầu vào đã được chuẩn hóa.

Đảm bảo khả năng hoán đổi với các trình lập lịch cần mở rộng đầu vào của mô hình khử nhiễu tùy thuộc vào bước thời gian hiện tại.

set_timesteps

< >

( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = None )

Tham số

  • num_inference_steps (int, tùy chọn) — Số bước khuếch tán được sử dụng khi tạo mẫu bằng mô hình đã được huấn luyện trước. Nếu được sử dụng, timesteps phải là None.
  • device (str hoặc torch.device, tùy chọn) — Thiết bị mà các bước thời gian (timesteps) sẽ được chuyển đến. Nếu là None, các bước thời gian sẽ không được chuyển.
  • timesteps (list[int], tùy chọn) — Các timesteps tùy chỉnh được sử dụng để hỗ trợ khoảng cách tùy ý giữa các timesteps. Nếu None, thì chiến lược khoảng cách timestep mặc định là khoảng cách đều giữa các timesteps sẽ được sử dụng. Nếu timesteps được truyền vào, num_inference_steps phải là None.

Đặt các bước thời gian rời rạc được sử dụng cho chuỗi khuếch tán (cần chạy trước khi suy luận).

bước

< >

( model_output: Tensortimestep: intsample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → DDPMSchedulerOutput or tuple

Tham số

  • model_output (torch.Tensor) — Đầu ra trực tiếp từ mô hình khuếch tán đã học.
  • timestep (int) — Bước thời gian rời rạc hiện tại trong chuỗi khuếch tán.
  • sample (torch.Tensor) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán.
  • generator (torch.Generator, tùy chọn) — Bộ tạo số ngẫu nhiên.
  • return_dict (bool, mặc định là True) — Có nên trả về DDPMSchedulerOutput hay tuple hay không.

Trả về

DDPMSchedulerOutput hoặc tuple

If return_dict is True, DDPMSchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

Dự đoán mẫu từ bước thời gian trước đó bằng cách đảo ngược SDE. Hàm này lan truyền quá trình khuếch tán từ các đầu ra của mô hình đã học (thường nhất là nhiễu được dự đoán).

DDPMSchedulerOutput

lớp diffusers.schedulers.scheduling_ddpm.DDPMSchedulerOutput

< >

( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )

Tham số

  • prev_sample (torch.Tensor có shape (batch_size, num_channels, height, width) đối với ảnh) — Mẫu đã tính (x_{t-1}) của bước thời gian trước đó. prev_sample nên được sử dụng làm đầu vào mô hình tiếp theo trong vòng lặp khử nhiễu.
  • pred_original_sample (torch.Tensor có hình dạng (batch_size, num_channels, height, width) đối với ảnh) — Mẫu khử nhiễu dự đoán (x_{0}) dựa trên đầu ra của mô hình tại bước thời gian hiện tại. pred_original_sample có thể được sử dụng để xem trước tiến độ hoặc cho việc dẫn hướng.

Lớp đầu ra cho kết quả của hàm step của trình lập lịch.

Update on GitHub