استخدم Ollama مع أي نموذج GGUF على Hugging Face Hub

يمكنك أيضًا تشغيل ملفات GGUF خاصة من Hugging Face Hub.

Ollama هو تطبيق مبني على llama.cpp للتفاعل مع نماذج اللغة الكبيرة (LLMs) مباشرةً عبر جهازك. يمكنك استخدام أي كميات GGUF أنشأتها المجتمع (bartowski، MaziyarPanahi وكثيرون آخرون) على Hugging Face مباشرةً مع Ollama، دون الحاجة إلى إنشاء Modelfile جديد. في وقت كتابة هذا النص، يوجد 45 ألف نقطة تحقق GGUF عامة على Hub، ويمكنك تشغيل أي منها بأمر ollama run واحد. كما نقدم تخصيصات مثل اختيار نوع الكمّية، وموجّه النظام (system prompt)، والمزيد لتحسين تجربتك الإجمالية.

البدء بسيط للغاية:

1. فعّل ollama ضمن إعدادات التطبيقات المحلية.
2. في صفحة النموذج، اختر ollama من قائمة Use this model المنسدلة. على سبيل المثال: bartowski/Llama-3.2-1B-Instruct-GGUF.

سيكون المقطع البرمجي بالصيغة التالية:

ollama run hf.co/{username}/{repository}

يرجى ملاحظة أنه يمكنك استخدام كل من hf.co وhuggingface.co كاسم نطاق.

إليك بعض النماذج التي يمكنك تجربتها:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

التكميم المخصص

افتراضيًا، يُستخدم مخطط الكمّية Q4_K_M عندما يكون موجودًا داخل مستودع النموذج. وإذا لم يكن موجودًا، فإننا نختار افتراضيًا نوع كمّية معقولًا موجودًا داخل المستودع.

للاختيار مخططًا مختلفًا، ما عليك سوى:

1. من تبويب Files and versions في صفحة النموذج، افتح عارض GGUF لملف GGUF محدد.
2. اختر ollama من قائمة Use this model المنسدلة.

سيكون المقطع البرمجي بالصيغة التالية (مع إضافة وسم التكميم):

ollama run hf.co/{username}/{repository}:{quantization}

على سبيل المثال:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

قالب المحادثة المخصص والمعاملات

بشكل افتراضي، يتم اختيار قالب تلقائيًا من قائمة القوالب الشائعة الاستخدام. وسيتم اختياره بناءً على بيانات الوصف المدمجة tokenizer.chat_template المخزنة داخل ملف GGUF.

إذا لم يتضمن ملف GGUF الخاص بك قالبًا مدمجًا، أو إذا كنت ترغب في تخصيص قالب المحادثة الخاص بك، يمكنك إنشاء ملف جديد باسم template في المستودع. يجب أن يكون القالب قالب Go وليس قالب Jinja. إليك مثالًا:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

لمعرفة المزيد حول قالب Go، يُرجى الرجوع إلى هذا المستند

يمكنك اختيارياً تكوين موجه نظام (system prompt) عن طريق وضعه في ملف جديد باسم system في المستودع.

لتغيير معاملات العينة، أنشئ ملفًا باسم params في المستودع. يجب أن يكون الملف بصيغة JSON. للاطلاع على قائمة جميع المعاملات المتاحة، يرجى الرجوع إلى هذا المستند.

تشغيل ملفات GGUF الخاصة من Hugging Face Hub

يمكنك تشغيل ملفات GGUF خاصة من حسابك الشخصي أو من حساب منظمة مرتبطة في خطوتين بسيطتين:

1. انسخ مفتاح SSH الخاص بـ Ollama، ويمكنك القيام بذلك عبر: cat ~/.ollama/id_ed25519.pub | pbcopy
2. أضِف المفتاح المقابل إلى حسابك على Hugging Face بالانتقال إلى إعدادات حسابك والنقر على Add new SSH key.
3. هذا كل شيء! يمكنك الآن تشغيل ملفات GGUF الخاصة من Hugging Face Hub: ollama run hf.co/{username}/{repository}.

المراجع

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf