Diffusers documentation
DPMSolverMultistepScheduler
DPMSolverMultistepScheduler
DPMSolverMultistepScheduler là một scheduler đa bước từ DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps và DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models của Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li và Jun Zhu.
DPMSolver (và phiên bản cải tiến DPMSolver++) là bộ giải bậc cao chuyên dụng, tốc độ cao cho các phương trình vi phân thường (ODE) của mô hình khuếch tán, với bảo đảm về bậc hội tụ. Về mặt thực nghiệm, việc lấy mẫu bằng DPMSolver chỉ với 20 bước có thể tạo ra các mẫu chất lượng cao, và nó vẫn có thể tạo ra các mẫu khá tốt ngay cả khi chỉ dùng 10 bước.
Mẹo
Khuyến nghị đặt solver_order thành 2 cho guide sampling, và solver_order=3 cho unconditional sampling.
Ngưỡng động từ Imagen được hỗ trợ, và đối với các mô hình khuếch tán trong không gian pixel, bạn có thể đặt cả algorithm_type="dpmsolver++" và thresholding=True để sử dụng ngưỡng động. Phương pháp ngưỡng này không phù hợp với các mô hình khuếch tán trong không gian ẩn như Stable Diffusion.
Biến thể SDE của DPMSolver và DPM-Solver++ cũng được hỗ trợ, nhưng chỉ dành cho bộ giải bậc nhất và bậc hai. Đây là bộ giải SDE nhanh cho SDE khuếch tán ngược. Khuyến nghị sử dụng sde-dpmsolver++ bậc hai.
DPMSolverMultistepScheduler
lớp diffusers.DPMSolverMultistepScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: str = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver', 'dpmsolver++', 'sde-dpmsolver', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falseuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_lu_lambdas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero'lambda_min_clipped: float = -infvariance_type: typing.Optional[typing.Literal['learned', 'learned_range']] = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0rescale_betas_zero_snr: bool = Falseuse_dynamic_shifting: bool = Falsetime_shift_type: typing.Literal['exponential'] = 'exponential' )
Tham số
- num_train_timesteps (
int, mặc định là 1000) — Số bước khuếch tán để huấn luyện mô hình. - beta_start (
float, mặc định là 0.0001) — Giá trịbetaban đầu của suy luận. - beta_end (
float, mặc định là 0.02) — Giá trịbetacuối cùng. - beta_schedule (
"linear","scaled_linear", hoặc"squaredcos_cap_v2", mặc định là"linear") — Lịch trình beta, một ánh xạ từ một khoảng beta sang một chuỗi các beta để bước qua mô hình. - trained_betas (
np.ndarray, tùy chọn) — Truyền một mảng betas trực tiếp vào constructor để bỏ quabeta_startvàbeta_end. - solver_order (
int, mặc định là 2) — Bậc của DPMSolver, có thể là1hoặc2hoặc3. Khuyến nghị sử dụngsolver_order=2cho việc lấy mẫu có hướng dẫn (guided sampling) vàsolver_order=3cho việc lấy mẫu không điều kiện (unconditional sampling). - prediction_type (
"epsilon","sample","v_prediction", hoặc"flow_prediction", mặc định là"epsilon") — Loại dự đoán của hàm scheduler.epsilondự đoán nhiễu của quá trình khuếch tán,sampledự đoán trực tiếp mẫu nhiễu,v_predictiondự đoán vận tốc (xem mục 2.4 của bài báo Imagen Video), vàflow_predictiondự đoán dòng chảy. - thresholding (
bool, mặc định làFalse) — Có sử dụng phương pháp “dynamic thresholding” hay không. Phương pháp này không phù hợp với các mô hình khuếch tán trong không gian ẩn (latent-space) như Stable Diffusion. - dynamic_thresholding_ratio (
float, mặc định là 0.995) — Tỷ số cho phương pháp ngưỡng động. Chỉ hợp lệ khithresholding=True. - sample_max_value (
float, mặc định là 1.0) — Giá trị ngưỡng cho việc đặt ngưỡng động. Chỉ hợp lệ khithresholding=Truevàalgorithm_type="dpmsolver++". - algorithm_type (
"dpmsolver","dpmsolver++","sde-dpmsolver", hoặc"sde-dpmsolver++", mặc định là"dpmsolver++") — Loại thuật toán cho bộ giải. Kiểudpmsolvertriển khai các thuật toán trong bài báo DPMSolver, và kiểudpmsolver++triển khai các thuật toán trong bài báo DPMSolver++. Khuyến nghị sử dụngdpmsolver++hoặcsde-dpmsolver++vớisolver_order=2cho việc lấy mẫu có hướng dẫn như trong Stable Diffusion. - solver_type (
"midpoint"hoặc"heun", mặc định là"midpoint") — Loại solver cho solver bậc hai. Loại solver ảnh hưởng nhẹ đến chất lượng mẫu, đặc biệt khi số bước nhỏ. Khuyến nghị sử dụng solvermidpoint. - lower_order_final (
bool, mặc định làTrue) — Có sử dụng bộ giải bậc thấp hơn ở các bước cuối cùng hay không. Chỉ hợp lệ cho < 15 bước suy luận. Điều này có thể ổn định việc lấy mẫu của DPMSolver cho các bước < 15, đặc biệt là cho các bước <= 10. - euler_at_final (
bool, mặc định làFalse) — Có sử dụng phương pháp Euler ở bước cuối cùng hay không. Đây là sự đánh đổi giữa độ ổn định số học và độ phong phú của chi tiết. Điều này có thể ổn định việc lấy mẫu của biến thể SDE của DPMSolver khi số bước suy luận nhỏ, nhưng đôi khi có thể dẫn đến hiện tượng mờ. - use_karras_sigmas (
bool, tùy chọn, mặc định làFalse) — Có sử dụng Karras sigmas cho kích thước bước trong lịch trình nhiễu trong quá trình lấy mẫu hay không. NếuTrue, các sigmas được xác định theo một chuỗi các mức nhiễu {σi}. - use_exponential_sigmas (
bool, tùy chọn, mặc định làFalse) — Có sử dụng exponential sigmas cho kích thước bước trong lịch trình nhiễu trong quá trình lấy mẫu hay không. - use_beta_sigmas (
bool, tùy chọn, mặc định làFalse) — Có sử dụng beta sigmas cho kích thước bước trong lịch trình nhiễu trong quá trình lấy mẫu hay không. Xem Beta Sampling is All You Need để biết thêm thông tin. - use_lu_lambdas (
bool, tuỳ chọn, mặc định làFalse) — Có sử dụng uniform-logSNR cho kích thước bước được đề xuất bởi DPM-Solver của Lu trong lịch trình nhiễu trong quá trình lấy mẫu hay không. NếuTrue, các sigmas và bước thời gian sẽ được xác định theo một chuỗilambda(t). - use_flow_sigmas (
bool, tùy chọn, mặc định làFalse) — Có sử dụng flow sigmas cho kích thước bước trong lịch trình nhiễu trong quá trình lấy mẫu hay không. - flow_shift (
float, tùy chọn, mặc định là 1.0) — Giá trị dịch chuyển cho lịch trình bước thời gian (timestep schedule) của flow matching. - final_sigmas_type (
"zero"hoặc"sigma_min", tùy chọn, mặc định là"zero") — Giá trịsigmacuối cùng cho lịch trình nhiễu trong quá trình lấy mẫu. Nếu là"sigma_min", sigma cuối cùng sẽ giống với sigma cuối cùng trong lịch trình huấn luyện. Nếu là"zero", sigma cuối cùng được đặt thành 0. - lambda_min_clipped (
float, mặc định là-inf) — Ngưỡng cắt cho giá trị tối thiểu củalambda(t)để đảm bảo ổn định số. Điều này rất quan trọng đối với lịch nhiễu cosine (squaredcos_cap_v2). - variance_type (
"learned"hoặc"learned_range", tùy chọn) — Đặt thành"learned"hoặc"learned_range"cho các mô hình khuếch tán dự đoán phương sai. Nếu được đặt, đầu ra của mô hình sẽ chứa phương sai Gaussian được dự đoán. - timestep_spacing (
"linspace","leading", hoặc"trailing", mặc định là"linspace") — Cách các timestep nên được scale. Xem Bảng 2 của Common Diffusion Noise Schedules and Sample Steps are Flawed để biết thêm thông tin. - steps_offset (
int, mặc định là 0) — Một giá trị bù được cộng vào các bước suy luận, theo yêu cầu của một số họ mô hình. - rescale_betas_zero_snr (
bool, mặc định làFalse) — Có nên điều chỉnh lại betas để có SNR cuối bằng zero hay không. Điều này cho phép mô hình tạo ra các mẫu rất sáng và rất tối thay vì giới hạn ở các mẫu có độ sáng trung bình. Liên quan lỏng lẻo đến--offset_noise. - use_dynamic_shifting (
bool, mặc định làFalse) — Có sử dụng dynamic shifting cho lịch trình timestep hay không. - time_shift_type (
"exponential", mặc định là"exponential") — Loại dịch chuyển thời gian được áp dụng khi sử dụng dịch chuyển động.
DPMSolverMultistepScheduler là bộ giải bậc cao chuyên dụng, tốc độ cao cho các phương trình vi phân thường (ODE) của mô hình khuếch tán.
Mô hình này kế thừa từ SchedulerMixin và ConfigMixin. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các trình lập lịch, chẳng hạn như tải và lưu.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Thêm nhiễu vào các mẫu gốc theo lịch trình nhiễu tại các bước thời gian được chỉ định.
convert_model_output
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Chuyển đổi đầu ra của mô hình sang kiểu dữ liệu tương ứng mà thuật toán DPMSolver/DPMSolver++ cần. DPM-Solver được thiết kế để rời rạc hóa một tích phân của mô hình dự đoán nhiễu, và DPM-Solver++ được thiết kế để rời rạc hóa một tích phân của mô hình dự đoán dữ liệu.
> Thuật toán và loại model được tách rời. Bạn có thể sử dụng DPMSolver hoặc DPMSolver++ cho cả model dự đoán nhiễu > và model dự đoán dữ liệu.
dpm_solver_first_order_update
< source >( model_output: Tensor*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Một bước cho DPMSolver bậc nhất (tương đương với DDIM).
index_for_timestep
< source >( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Tìm chỉ số cho một bước thời gian (timestep) cụ thể trong lịch trình.
multistep_dpm_solver_second_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Tham số
- model_output_list (
list[torch.Tensor]) — Các đầu ra trực tiếp từ mô hình khuếch tán đã học tại các bước thời gian hiện tại và sau đó. - sample (
torch.Tensor, tùy chọn) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán. - noise (
torch.Tensor, tuỳ chọn) — Nhiễu ngẫu nhiên được sử dụng bởi các biến thể bộ giải ngẫu nhiên (sde-*). Bắt buộc khialgorithm_typeđược đặt thành một trong các biến thể đó, và không được sử dụng trong các trường hợp khác.
Trả về
torch.Tensor
Tensor mẫu tại bước thời gian trước đó.
Một bước cho DPMSolver đa bước bậc hai.
multistep_dpm_solver_third_order_update
< source >( model_output_list: list[torch.Tensor]*argssample: typing.Optional[torch.Tensor] = Nonenoise: typing.Optional[torch.Tensor] = None**kwargs ) → torch.Tensor
Tham số
- model_output_list (
list[torch.Tensor]) — Các đầu ra trực tiếp từ mô hình khuếch tán đã học tại các bước thời gian hiện tại và sau đó. - sample (
torch.Tensor, tùy chọn) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán. - noise (
torch.Tensor, tùy chọn) — Tensor nhiễu.
Trả về
torch.Tensor
Tensor mẫu tại bước thời gian trước đó.
Một bước cho DPMSolver đa bước bậc ba.
scale_model_input
< source >( sample: Tensor*args**kwargs ) → torch.Tensor
Đảm bảo khả năng hoán đổi với các trình lập lịch cần mở rộng đầu vào của mô hình khử nhiễu tùy thuộc vào bước thời gian hiện tại.
set_begin_index
< source >( begin_index: int = 0 )
Đặt chỉ số bắt đầu cho trình lập lịch. Hàm này nên được chạy từ pipeline trước khi suy luận.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonemu: float | None = Nonetimesteps: list[int] | None = None )
Tham số
- num_inference_steps (
int, tùy chọn) — Số bước khuếch tán được sử dụng khi tạo mẫu bằng mô hình đã được huấn luyện trước. - device (
strhoặctorch.device, tùy chọn) — Thiết bị mà các bước thời gian (timesteps) sẽ được chuyển đến. Nếu làNone, các bước thời gian sẽ không được chuyển. - mu (
float, tùy chọn) — Số mũ cho phép dịch chuyển thời gian động. Yêu cầuuse_dynamic_shiftingvàtime_shift_typelà"exponential"; khi được truyền vào,flow_shiftsẽ được đặt thànhexp(mu). - timesteps (
list[int], tùy chọn) — Các bước thời gian tùy chỉnh được sử dụng để hỗ trợ lịch trình bước thời gian tùy ý. NếuNone, các bước thời gian sẽ được tạo dựa trên thuộc tínhtimestep_spacing. Nếutimestepsđược truyền vào,num_inference_stepsvàsigmasphải làNone, và thuộc tínhtimestep_spacingsẽ bị bỏ qua.
Đặt các bước thời gian rời rạc được sử dụng cho chuỗi khuếch tán (cần chạy trước khi suy luận).
bước
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
Tham số
- model_output (
torch.Tensor) — Đầu ra trực tiếp từ mô hình khuếch tán đã học. - timestep (
inthoặctorch.Tensor) — Bước thời gian rời rạc hiện tại trong chuỗi khuếch tán. - sample (
torch.Tensor) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán. - generator (
torch.Generator, tùy chọn) — Bộ tạo số ngẫu nhiên. - variance_noise (
torch.Tensor, tuỳ chọn) — Cách thay thế cho việc tạo nhiễu bằnggeneratorbằng cách cung cấp trực tiếp nhiễu cho phương sai bản thân. Hữu ích cho các phương pháp nhưLEdits++. - return_dict (
bool, mặc định làTrue) — Có nên trả về SchedulerOutput haytuplehay không.
Trả về
SchedulerOutput hoặc tuple
Nếu return_dict là True, SchedulerOutput sẽ được trả về, ngược lại một tuple sẽ được trả về trong đó phần tử đầu tiên là tensor mẫu.
Dự đoán mẫu từ bước thời gian trước đó bằng cách đảo ngược SDE. Hàm này lan truyền mẫu bằng multistep DPMSolver.
SchedulerOutput
lớp diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
Lớp cơ sở cho kết quả của hàm step của một trình lập lịch.