Polars

Polars est une bibliothèque de DataFrame en mémoire basée sur un moteur de requêtes OLAP. Elle est rapide, facile à utiliser et open source.

À partir de la version 1.2.0, Polars prend en charge nativement le système de fichiers Hugging Face. Cela signifie que tous les avantages de l'optimiseur de requêtes de Polars (par exemple, la poussée de prédicats et de projections) sont appliqués et que Polars ne charge que les données nécessaires à l'exécution de la requête. Cela accélère considérablement la lecture, en particulier pour les grands jeux de données (voir optimisations)

Vous pouvez utiliser les chemins Hugging Face (hf://) pour accéder aux données sur le Hub :

Premiers pas

Pour commencer, vous pouvez simplement pip install Polars dans votre environnement :

pip install polars

Une fois Polars installé, vous pouvez interroger directement un jeu de données à partir d’une URL Hugging Face. Aucune autre dépendance n’est requise pour cela.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polars propose deux API : une API paresseuse (scan_parquet) et une API immédiate (read_parquet). Nous recommandons d’utiliser l’API immédiate pour les charges de travail interactives et l’API paresseuse pour les performances, car elle permet une meilleure optimisation des requêtes. Pour plus d’informations sur ce sujet, consultez le guide utilisateur de Polars.

Polars prend en charge le globbing pour télécharger plusieurs fichiers d'un coup dans un seul DataFrame.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

URLs Hugging Face

Une URL Hugging Face peut être construite à partir du username et du nom du dataset de la manière suivante :

• hf://datasets/{username}/{dataset}/{path_to_file}

Le chemin peut inclure des motifs de globbing tels que **/*.parquet pour interroger tous les fichiers correspondant au motif. De plus, pour tout format de fichier non pris en charge, vous pouvez utiliser les fichiers parquet convertis automatiquement fournis par Hugging Face en utilisant la @~parquet branch :

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}