Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Xet: hệ thống lưu trữ của chúng tôi

Các kho trên Hugging Face Hub khác với các kho trên các nền tảng phát triển phần mềm. Chúng chứa các tệp:

Lớn - tệp mô hình hoặc bộ dữ liệu có dung lượng từ GB trở lên. Chúng tôi có một vài tệp ở quy mô TB!
Dạng nhị phân - mặc định không ở định dạng có thể đọc được bằng mắt người (ví dụ: Safetensors hoặc Parquet)

Mặc dù Hub sử dụng hệ thống kiểm soát phiên bản hiện đại với sự hỗ trợ của Git, những khác biệt này khiến các kho Model và Dataset khá khác biệt so với các kho chỉ chứa mã nguồn.

Việc lưu trữ trực tiếp các tệp này trong một kho Git thuần túy là không thực tế. Không chỉ các hệ thống lưu trữ thông thường phía sau các kho Git không phù hợp cho những tệp như vậy, mà khi bạn clone một kho, Git sẽ lấy toàn bộ lịch sử, bao gồm tất cả các phiên bản của tệp. Điều này có thể lớn đến mức không thể chấp nhận được đối với các tệp nhị phân khổng lồ, buộc bạn phải tải xuống hàng gigabyte dữ liệu lịch sử mà có thể bạn sẽ không bao giờ cần đến.

Thay vào đó, trên Hub, các tệp lớn này được theo dõi bằng “tệp trỏ” và được xác định thông qua tệp .gitattributes (cả hai đều được thảo luận chi tiết hơn bên dưới), trong khi dữ liệu thực tế được lưu trữ trong bộ nhớ từ xa (như Amazon S3). Nhờ đó, kho lưu trữ vẫn nhỏ gọn và các quy trình Git thông thường vẫn hiệu quả.

Về mặt lịch sử, các kho lưu trữ trên Hub đã dựa vào Git LFS cho cơ chế này. Mặc dù Git LFS vẫn được hỗ trợ (xem Tương thích ngược & Di sản), Hub đã áp dụng Xet, một hệ thống lưu trữ tùy chỉnh hiện đại được xây dựng đặc biệt cho phát triển AI/ML. Nó cho phép khử trùng lặp ở cấp độ chunk, tải lên nhỏ hơn và tải xuống nhanh hơn so với Git LFS.

Giao thức Xet mã nguồn mở

Nếu bạn muốn tìm hiểu về giao thức Xet cơ bản hoặc đang tìm cách xây dựng một thư viện client mới để truy cập Xet Storage, hãy xem Quy định về giao thức Xet.

Trong các trang này, bạn sẽ bắt đầu sử dụng Xet Storage.

Nội dung

Update on GitHub

←Giới hạn lưu trữ Xét Lịch sử & Tổng quan→