Hub

ファイル形式

Polarsは、Hugging Faceから読み込む際に、次のファイル形式をサポートしています:

以下の例はデフォルト設定のみを示しています。利用可能なすべてのパラメータについては、上記のリンクからAPIリファレンスガイドをご覧ください。

Parquet

Parquetは、ファイル内に型情報付きのスキーマを保存できるため、推奨されるファイル形式です。これにより、パース時の曖昧さを回避し、読み取りを高速化できます。PolarsでParquetファイルを読み取るには、read_parquet関数を使用します。

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

read_csv関数は、CSVファイルを読み込むために使用できます:

pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")

Polarsは、json linesとも呼ばれる改行区切りJSONの読み取りを、read_ndjson関数でサポートしています:

pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")