Hub documentation
Định dạng tệp
Định dạng tệp
Polars hỗ trợ các định dạng tệp sau khi đọc từ Hugging Face:
Các ví dụ bên dưới chỉ hiển thị các cài đặt mặc định. Sử dụng các liên kết ở trên để xem tất cả các tham số khả dụng trong hướng dẫn tham chiếu API.
Parquet
Parquet là định dạng tệp được ưu tiên vì nó lưu trữ schema kèm thông tin kiểu dữ liệu ngay trong tệp. Điều này giúp tránh mọi mơ hồ khi phân tích và tăng tốc độ đọc. Để đọc tệp Parquet trong Polars, hãy sử dụng hàm read_parquet:
pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")CSV
Hàm read_csv có thể được sử dụng để đọc tệp CSV:
pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")JSON
Polars hỗ trợ đọc JSON phân tách bằng dòng mới — còn được gọi là json lines — bằng hàm read_ndjson:
pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")