Mô hình này được công bố trên HF papers vào ngày 13-06-2024 và được đóng góp cho Hugging Face Transformers vào ngày 05-07-2024.

Depth Anything V2

Tổng quan

Depth Anything V2 được giới thiệu trong bài báo cùng tên của Lihe Yang và cộng sự. Mô hình này sử dụng cùng kiến trúc với mô hình Depth Anything ban đầu, nhưng dùng dữ liệu tổng hợp và một mô hình teacher có dung lượng lớn hơn để đạt được các dự đoán độ sâu chi tiết và ổn định hơn nhiều.

Tóm tắt từ bài báo như sau:

Công trình này giới thiệu Depth Anything V2. Không theo đuổi các kỹ thuật cầu kỳ, chúng tôi hướng tới việc làm rõ những phát hiện quan trọng để mở đường cho việc xây dựng một mô hình ước lượng độ sâu đơn mục mạnh mẽ. Đáng chú ý, so với V1, phiên bản này tạo ra các dự đoán độ sâu chi tiết hơn và bền vững hơn thông qua ba thực hành chính: 1) thay thế tất cả các hình ảnh thực có nhãn bằng hình ảnh tổng hợp, 2) mở rộng sức chứa của mô hình teacher của chúng tôi, và 3) huấn luyện các mô hình student thông qua cầu nối của các hình ảnh thực có nhãn giả quy mô lớn. So với các mô hình mới nhất được xây dựng trên Stable Diffusion, các mô hình của chúng tôi hiệu quả hơn đáng kể (nhanh hơn hơn 10 lần) và chính xác hơn. Chúng tôi cung cấp các mô hình ở các quy mô khác nhau (từ 25M đến 1.3B tham số) để hỗ trợ nhiều kịch bản khác nhau. Nhờ khả năng tổng quát hóa mạnh mẽ, chúng tôi tinh chỉnh chúng với các nhãn độ sâu metric để thu được các mô hình độ sâu metric của mình. Ngoài các mô hình của chúng tôi, xét đến sự đa dạng hạn chế và nhiễu thường xuyên trong các bộ kiểm thử hiện tại, chúng tôi xây dựng một bộ chuẩn đánh giá đa năng với chú thích chính xác và các cảnh đa dạng để thúc đẩy nghiên cứu trong tương lai.

Các mô hình Depth Anything được đóng góp bởi nielsr. Mã nguồn gốc có thể được tìm thấy tại đây.

Ví dụ sử dụng

Có 2 cách chính để sử dụng Depth Anything V2: hoặc dùng pipeline API, giúp bạn không cần quan tâm đến các chi tiết phức tạp, hoặc tự sử dụng lớp DepthAnythingForDepthEstimation.

API Pipeline

Pipeline cho phép sử dụng mô hình chỉ với vài dòng mã:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Tự sử dụng mô hình

Nếu bạn muốn tự thực hiện tiền xử lý và hậu xử lý, đây là cách thực hiện:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với Depth Anything.

• Hướng dẫn tác vụ ước lượng độ sâu đơn mục
• Trình demo Depth Anything V2.
• Một notebook trình diễn suy luận với DepthAnythingForDepthEstimation có thể được tìm thấy tại đây. 🌎
• Chuyển đổi Core ML của biến thể small để sử dụng trên Apple Silicon.

Nếu bạn quan tâm đến việc gửi một tài nguyên để được đưa vào đây, hãy thoải mái mở một Pull Request và chúng tôi sẽ xem xét! Lý tưởng nhất là tài nguyên nên minh họa một điều gì đó mới thay vì sao chép một tài nguyên hiện có.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))