Hub documentation
Kết quả đánh giá
Kết quả đánh giá
Đây là một tính năng đang được phát triển.
Hub cung cấp một hệ thống phi tập trung để theo dõi kết quả đánh giá mô hình. Các bộ dữ liệu chuẩn (benchmark) lưu trữ bảng xếp hạng, và các kho mô hình lưu trữ điểm đánh giá, tự động hiển thị trên cả trang mô hình lẫn bảng xếp hạng của bộ dữ liệu chuẩn đó.
Bộ dữ liệu chuẩn
Các kho Dataset có thể được định nghĩa là Benchmarks (ví dụ: MMLU-Pro, HLE, GPQA). Những kho này hiển thị thẻ “Benchmark” và tự động tổng hợp kết quả đánh giá từ các kho model trên Hub, đồng thời hiển thị bảng xếp hạng các model hàng đầu.
Kết quả đánh giá mô hình
Điểm đánh giá được lưu trong các kho mô hình dưới dạng tệp YAML trong thư mục .eval_results/. Các kết quả này:
- Xuất hiện trên trang mô hình với các liên kết đến bảng xếp hạng benchmark
- Được tổng hợp vào bảng xếp hạng của bộ dữ liệu benchmark
- Có thể được gửi thông qua PR và được đánh dấu là “do cộng đồng cung cấp”
Thêm Kết Quả Đánh Giá
Để thêm kết quả đánh giá vào một model, bạn có thể gửi PR đến repo của model kèm theo một tệp YAML trong thư mục .eval_results/.
Tạo một tệp YAML trong .eval_results/*.yaml trong kho mô hình của bạn:
- dataset:
id: cais/hle # Required. Hub dataset ID (must be a Benchmark)
task_id: default # Required. ID of the Task, as defined in the dataset's eval.yaml
revision: <hash> # Optional. Dataset revision hash
value: 20.90 # Required. Metric value
verifyToken: <token> # Optional. Cryptographic proof of auditable evaluation
date: "2025-01-15" # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
source: # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro # Required if source provided
name: Eval traces # Optional. Display name
user: SaylorTwift # Optional. HF username/org
notes: "no-tools" # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)Hoặc, chỉ với các thuộc tính bắt buộc:
- dataset:
id: Idavidrein/gpqa
task_id: gpqa_diamond
value: 0.412Kết quả hiển thị các huy hiệu dựa trên metadata của chúng trong tệp YAML:
| Huy hiệu | Điều kiện |
|---|---|
| đã xác minh | Một verifyToken hợp lệ (đánh giá đã chạy trong HF Jobs với inspect-ai) |
| cộng đồng | Kết quả đã được gửi qua PR mở (chưa được hợp nhất vào main) |
| leaderboard | Liên kết đến bộ dữ liệu chuẩn |
| nguồn | Liên kết đến nhật ký đánh giá hoặc nguồn bên ngoài |
Để biết thêm chi tiết về cách định dạng dữ liệu này, hãy xem các thông số kỹ thuật của Kết quả đánh giá.
Đóng góp từ Cộng đồng
Bất kỳ ai cũng có thể gửi kết quả đánh giá cho bất kỳ mô hình nào thông qua Pull Request:
- Trang model và nhấp vào tab “Community” rồi mở một Pull Request.
- Thêm tệp
.eval_results/*.yamlchứa kết quả của bạn. - PR sẽ hiển thị là “do cộng đồng cung cấp” trên trang mô hình trong khi đang mở.
Để được hỗ trợ đánh giá một mô hình, hãy xem hướng dẫn Đánh giá mô hình với Inspect. Nhật ký đánh giá từ Inspect có thể được ghi trực tiếp vào HF Storage Buckets.
Điểm cộng đồng được hiển thị trong khi PR đang mở. Nếu một điểm bị phản đối, tác giả mô hình có thể đóng PR để gỡ bỏ nó. Mục tiêu là minh bạch hóa dữ liệu đánh giá hiện có trong khi hướng tới một tiêu chuẩn hoàn toàn có thể tái lập thông qua các điểm đã được xác minh.
Ẩn Mô hình khỏi Bảng xếp hạng
Người duy trì benchmark có thể ẩn một mô hình khỏi bảng xếp hạng của họ, chẳng hạn như khi họ phản đối các kết quả được báo cáo của mô hình đó:
- Trang bộ dữ liệu chuẩn, người quản lý có thể sử dụng công tắc trên mỗi hàng của bảng xếp hạng để ẩn hoặc hiện một mô hình. Các mô hình bị ẩn được liệt kê trong một menu để có thể khôi phục lại sau.
- Hiding được áp dụng cho mô hình trên tất cả các tác vụ của benchmark.
- Các mô hình ẩn sẽ bị loại khỏi bảng xếp hạng công khai, và các mô hình còn lại sẽ được xếp hạng lại.
- Trên trang mô hình, kết quả cho bộ chuẩn đó không còn được hiển thị công khai nữa.
Đăng ký một Benchmark
Để đăng ký bộ dữ liệu của bạn như một benchmark:
- Tạo một kho dữ liệu chứa dữ liệu đánh giá của bạn
- Thêm tệp
eval.yamlvào thư mục gốc của kho với cấu hình benchmark của bạn, tuân thủ theo đặc tả được định nghĩa bên dưới. - File được xác thực khi đẩy lên
- (Beta) Hãy liên hệ với chúng tôi để chúng tôi có thể thêm nó vào danh sách cho phép.
Các ví dụ có thể được tìm thấy trong các bộ benchmark sau: GPQA, MMLU-Pro, HLE, GSM8K.
Quy định Eval.yaml
eval.yaml nên chứa các trường sau:
name— Tên hiển thị dễ đọc cho benchmark (ví dụ:"Humanity's Last Exam").description— Mô tả ngắn gọn về những gì mà benchmark đo lường.tasks[]— Danh sách các tác vụ (bảng xếp hạng con) được định nghĩa bởi benchmark này (xem bên dưới).
Các trường bắt buộc trong mỗi mục tasks[]:
id— Định danh duy nhất cho tác vụ. (ví dụ:"gpqa_diamond"). Một benchmark có thể định nghĩa nhiều tác vụ, mỗi tác vụ tạo ra bảng xếp hạng riêng. Hãy tự do chọn định danh bảng xếp hạng cho từng tác vụ.
Các trường tùy chọn trong mỗi mục tasks[]:
config— Cấu hình của bộ dữ liệu Hugging Face cần đánh giá (ví dụ:"default"). Mặc định là cấu hình mặc định của bộ dữ liệu.split— Phần chia của bộ dữ liệu Hugging Face cần đánh giá (ví dụ:"test"). Mặc định là"test".
Khi thiết lập evaluation_framework: inspect-ai, bạn cũng cần thiết lập các trường sau:
field_spec— Đặc tả của các trường đầu vào và đầu ra. Gồm các trường coninput,target,choicesvà tùy chọninput_image. Xem tài liệu để biết thêm chi tiết.solvers— Các bộ giải được sử dụng để chuyển từ đầu vào sang đầu ra bằng mô hình AI. Chúng có thể dao động từ một system prompt đơn giản đến các vòng lặp tự phê bình. Xem tài liệu để biết thêm chi tiết.scores— Các bộ chấm điểm được sử dụng. Các bộ chấm điểm xác định xem các bộ giải có thành công trong việc tìm ra kết quả đúng cho mục tiêu được định nghĩa trong bộ dữ liệu hay không, và ở mức độ nào. Xem tài liệu để biết thêm chi tiết.
Các trường tùy chọn:
evaluation_framework— Định danh khung đánh giá chuẩn cho benchmark này. Đây là một giá trị liệt kê do đội ngũ Hugging Face duy trì. Thêm khung của bạn vào danh sách tại đây. Mỗi benchmark chỉ hỗ trợ đúng một khung.leaderboard.base_models_only— Xác định xem bảng xếp hạng benchmark có chỉ hiển thị các mô hình cơ sở (base models) theo mặc định hay không. Mặc định làtrue. Đặt thànhfalseđể bao gồm cả các mô hình không phải base theo mặc định, điều này hữu ích khi phần lớn các bài nộp liên quan không được phân loại là base models (ví dụ: các chính sách robotics được đóng gói dưới dạng ONNX).
Ví dụ tối giản (chỉ các trường bắt buộc):
name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena
tasks:
- id: MathArena/aime_2026Ví dụ mở rộng:
name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"
leaderboard:
base_models_only: false
tasks:
- id: MathArena/aime_2026
config: default
split: testVí dụ mở rộng (đặc thù của "inspect-ai"):
name: Humanity's Last Exam
description: >
Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
knowledge, designed to be the final closed-ended academic benchmark of its
kind with broad subject coverage. Humanity's Last Exam consists of 2,500
questions across dozens of subjects, including mathematics, humanities, and
the natural sciences. HLE is developed globally by subject-matter experts and
consists of multiple-choice and short-answer questions suitable for automated
grading.
evaluation_framework: "inspect-ai"
tasks:
- id: hle
config: default
split: test
field_spec:
input: question
input_image: image
target: answer
solvers:
- name: system_message
args:
template: |
Your response should be in the following format:
Explanation: {your explanation for your answer choice}
Answer: {your chosen answer}
Confidence: {your confidence score between 0% and 100% for your answer}
- name: generate
scorers:
- name: model_graded_fact
args:
model: openai/o3-mini