Diffusers documentation
DDPMScheduler
DDPMScheduler
Denoising Diffusion Probabilistic Models (DDPM) của Jonathan Ho, Ajay Jain và Pieter Abbeel đề xuất một mô hình dựa trên diffusion cùng tên. Trong ngữ cảnh của thư viện 🤗 Diffusers, DDPM đề cập đến cả bộ lập lịch khử nhiễu rời rạc trong bài báo lẫn pipeline.
Tóm tắt từ bài báo là:
Chúng tôi trình bày các kết quả tổng hợp hình ảnh chất lượng cao sử dụng các mô hình xác suất khuếch tán, một lớp mô hình biến ẩn được lấy cảm hứng từ các cân nhắc về nhiệt động lực học phi cân bằng. Kết quả tốt nhất của chúng tôi đạt được bằng cách huấn luyện trên một cận biến phân có trọng số được thiết kế theo một kết nối mới giữa các mô hình xác suất khuếch tán và khớp điểm số khử nhiễu với động lực học Langevin, và các mô hình của chúng tôi tự nhiên chấp nhận một lược đồ giải nén mất mát tiến trình có thể được diễn giải như một tổng quát hóa của giải mã tự hồi quy. Trên tập dữ liệu CIFAR10 không điều kiện, chúng tôi đạt được điểm Inception là 9.46 và điểm FID tiên tiến nhất là 3.17. Trên LSUN 256x256, chúng tôi đạt được chất lượng mẫu tương tự ProgressiveGAN. Mã triển khai của chúng tôi có sẵn tại đường dẫn URL này.
DDPMScheduler
lớp diffusers.DDPMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2', 'sigmoid'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonevariance_type: typing.Literal['fixed_small', 'fixed_small_log', 'fixed_large', 'fixed_large_log', 'learned', 'learned_range'] = 'fixed_small'clip_sample: bool = Trueprediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'leading'steps_offset: int = 0rescale_betas_zero_snr: bool = False )
Tham số
- num_train_timesteps (
int, mặc định là1000) — Số bước khuếch tán để huấn luyện mô hình. - beta_start (
float, mặc định là0.0001) — Giá trịbetaban đầu của suy luận. - beta_end (
float, mặc định là0.02) — Giá trịbetacuối cùng. - beta_schedule (
"linear","scaled_linear","squaredcos_cap_v2", hoặc"sigmoid", mặc định là"linear") — Lịch trình beta, một ánh xạ từ một khoảng beta sang một chuỗi các beta để bước qua mô hình. - trained_betas (
np.ndarray, tùy chọn) — Một mảng các beta để truyền trực tiếp vào constructor mà không sử dụngbeta_startvàbeta_end. - variance_type (
"fixed_small","fixed_small_log","fixed_large","fixed_large_log","learned", hoặc"learned_range", mặc định là"fixed_small") — Cắt (clip) phương sai khi thêm nhiễu vào mẫu đã khử nhiễu. - clip_sample (
bool, mặc định làTrue) — Cắt mẫu dự đoán để đảm bảo ổn định về mặt số học. - clip_sample_range (
float, mặc định là1.0) — Độ lớn tối đa cho việc cắt mẫu. Chỉ hợp lệ khiclip_sample=True. - prediction_type (
"epsilon","sample", or"v_prediction", defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, mặc định làFalse) — Có sử dụng phương pháp “dynamic thresholding” hay không. Phương pháp này không phù hợp với các mô hình khuếch tán trong không gian ẩn (latent-space) như Stable Diffusion. - dynamic_thresholding_ratio (
float, mặc định là0.995) — Tỷ số cho phương pháp ngưỡng động. Chỉ hợp lệ khithresholding=True. - sample_max_value (
float, mặc định là1.0) — Giá trị ngưỡng cho việc đặt ngưỡng động. Chỉ hợp lệ khithresholding=True. - timestep_spacing (
"linspace","leading", hoặc"trailing", mặc định là"leading") — Cách các timestep nên được scale. Xem Bảng 2 trong Common Diffusion Noise Schedules and Sample Steps are Flawed để biết thêm thông tin. - steps_offset (
int, mặc định là0) — Một giá trị bù được cộng vào các bước suy luận, theo yêu cầu của một số nhóm mô hình. - rescale_betas_zero_snr (
bool, mặc định làFalse) — Có nên điều chỉnh lại betas để có SNR cuối bằng zero hay không. Điều này cho phép mô hình tạo ra các mẫu rất sáng và rất tối thay vì giới hạn ở các mẫu có độ sáng trung bình. Liên quan lỏng lẻo đến--offset_noise.
DDPMScheduler khám phá mối liên hệ giữa khớp điểm số khử nhiễu và lấy mẫu động học Langevin.
Mô hình này kế thừa từ SchedulerMixin và ConfigMixin. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các trình lập lịch, chẳng hạn như tải và lưu.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Thêm nhiễu vào các mẫu gốc theo mức độ nhiễu tại mỗi bước thời gian (đây là quá trình khuếch tán thuận).
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Tính dự đoán vận tốc từ mẫu và nhiễu theo công thức vận tốc.
previous_timestep
< source >( timestep: int ) → int or torch.Tensor
Tính bước thời gian trước đó trong chuỗi khuếch tán.
scale_model_input
< source >( sample: Tensortimestep: int | None = None ) → torch.Tensor
Đảm bảo khả năng hoán đổi với các trình lập lịch cần mở rộng đầu vào của mô hình khử nhiễu tùy thuộc vào bước thời gian hiện tại.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = None )
Tham số
- num_inference_steps (
int, tùy chọn) — Số bước khuếch tán được sử dụng khi tạo mẫu bằng mô hình đã được huấn luyện trước. Nếu được sử dụng,timestepsphải làNone. - device (
strhoặctorch.device, tùy chọn) — Thiết bị mà các bước thời gian (timesteps) sẽ được chuyển đến. Nếu làNone, các bước thời gian sẽ không được chuyển. - timesteps (
list[int], tùy chọn) — Các timesteps tùy chỉnh được sử dụng để hỗ trợ khoảng cách tùy ý giữa các timesteps. NếuNone, thì chiến lược khoảng cách timestep mặc định là khoảng cách đều giữa các timesteps sẽ được sử dụng. Nếutimestepsđược truyền vào,num_inference_stepsphải làNone.
Đặt các bước thời gian rời rạc được sử dụng cho chuỗi khuếch tán (cần chạy trước khi suy luận).
bước
< source >( model_output: Tensortimestep: intsample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → DDPMSchedulerOutput or tuple
Tham số
- model_output (
torch.Tensor) — Đầu ra trực tiếp từ mô hình khuếch tán đã học. - timestep (
int) — Bước thời gian rời rạc hiện tại trong chuỗi khuếch tán. - sample (
torch.Tensor) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán. - generator (
torch.Generator, tùy chọn) — Bộ tạo số ngẫu nhiên. - return_dict (
bool, mặc định làTrue) — Có nên trả về DDPMSchedulerOutput haytuplehay không.
Trả về
DDPMSchedulerOutput hoặc tuple
If return_dict is True, DDPMSchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
Dự đoán mẫu từ bước thời gian trước đó bằng cách đảo ngược SDE. Hàm này lan truyền quá trình khuếch tán từ các đầu ra của mô hình đã học (thường nhất là nhiễu được dự đoán).
DDPMSchedulerOutput
lớp diffusers.schedulers.scheduling_ddpm.DDPMSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Tham số
- prev_sample (
torch.Tensorcó shape(batch_size, num_channels, height, width)đối với ảnh) — Mẫu đã tính(x_{t-1})của bước thời gian trước đó.prev_samplenên được sử dụng làm đầu vào mô hình tiếp theo trong vòng lặp khử nhiễu. - pred_original_sample (
torch.Tensorcó hình dạng(batch_size, num_channels, height, width)đối với ảnh) — Mẫu khử nhiễu dự đoán(x_{0})dựa trên đầu ra của mô hình tại bước thời gian hiện tại.pred_original_samplecó thể được sử dụng để xem trước tiến độ hoặc cho việc dẫn hướng.
Lớp đầu ra cho kết quả của hàm step của trình lập lịch.