استخدام 🤗 Datasets

بمجرد أن تجد مجموعة بيانات مثيرة للاهتمام على Hugging Face Hub، يمكنك تحميل مجموعة البيانات باستخدام 🤗 Datasets. يمكنك النقر على زر Use this dataset لنسخ الكود الخاص بتحميل مجموعة البيانات.

أولاً، تحتاج إلى تسجيل الدخول بحساب Hugging Face الخاص بك، على سبيل المثال باستخدام:

hf auth login

ثم يمكنك تحميل مجموعة بيانات من Hugging Face Hub باستخدام

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

يمكنك أيضًا رفع مجموعات البيانات إلى Hugging Face Hub:

my_new_dataset.push_to_hub("username/my_new_dataset")

يؤدي هذا إلى إنشاء مستودع بيانات username/my_new_dataset يحتوي على مجموعة البيانات الخاصة بك بتنسيق Parquet، والتي يمكنك إعادة تحميلها لاحقًا.

لمزيد من المعلومات حول استخدام 🤗 Datasets، راجع الدروس التعليمية وأدلة الاستخدام المتاحة في توثيق 🤗 Datasets.