Hugging Face Hubの任意のGGUFモデルでOllamaを使用する

Hugging Face HubからプライベートなGGUFを実行することもできます。

Ollamaは、llama.cppをベースとしたアプリケーションであり、コンピュータ上でLLMと直接やり取りできます。Hugging Face上のコミュニティが作成した任意のGGUF量子化モデル（bartowski、MaziyarPanahi、その他多数）を、新しいModelfileを作成することなく、Ollamaでそのまま使用できます。執筆時点ではHub上に45,000以上のパブリックなGGUFチェックポイントが存在しており、いずれも単一のollama runコマンドで実行できます。また、量子化タイプの選択やシステムプロンプトの設定など、体験を向上させるためのカスタマイズ機能も提供しています。

始めるには、次のようにするだけです:

1. ollamaを、ローカルアプリの設定で有効にしてください。
2. モデルページで、Use this modelドロップダウンからollamaを選択します。例: bartowski/Llama-3.2-1B-Instruct-GGUF。

スニペットの形式は以下のようになります:

ollama run hf.co/{username}/{repository}

ドメイン名としてhf.coとhuggingface.coの両方を使用できます。

試せるモデルをいくつか紹介します。

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

カスタム量子化

デフォルトでは、モデルのリポジトリ内にQ4_K_M量子化スキームが存在する場合、それが使用されます。存在しない場合は、リポジトリ内に存在する適切な量子化タイプを1つデフォルトとして選択します。

別のスキームを選択するには、次のようにします:

1. モデルページのFiles and versionsタブから、特定のGGUFファイルでGGUFビューアを開きます。
2. Use this model ドロップダウンからollamaを選択してください。

スニペットは以下の形式になります（量子化タグを追加）：

ollama run hf.co/{username}/{repository}:{quantization}

例えば:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

カスタムチャットテンプレートとパラメータ

デフォルトでは、よく使用されるテンプレートのリストから自動的にテンプレートが選択されます。GGUFファイル内に保存されている組み込みのtokenizer.chat_templateメタデータに基づいて選択されます。

GGUFファイルに組み込みのテンプレートがない場合、またはチャットテンプレートをカスタマイズしたい場合は、リポジトリにtemplateという名前の新しいファイルを作成できます。テンプレートはJinjaテンプレートではなく、Goテンプレートである必要があります。以下に例を示します。

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Goテンプレート形式の詳細については、このドキュメントを参照してください。

リポジトリにsystemという名前の新しいファイルを作成し、そこにシステムプロンプトを記述することで、オプションとしてシステムプロンプトを設定できます。

サンプリングパラメータを変更するには、リポジトリにparamsという名前のファイルを作成します。ファイルはJSON形式である必要があります。利用可能なすべてのパラメータのリストについては、このドキュメントを参照してください。

Hugging Face HubからプライベートGGUFを実行する

個人アカウントまたは関連する組織アカウントから、プライベートなGGUFを2つの簡単なステップで実行できます:

1. OllamaのSSHキーをコピーしてください。cat ~/.ollama/id_ed25519.pub | pbcopy を使用して実行できます。
2. アカウント設定に移動し、Add new SSH keyをクリックして、Hugging Face アカウントに該当するキーを追加してください。
3. 以上です! これで Hugging Face Hub からプライベートな GGUF を実行できます: ollama run hf.co/{username}/{repository}。

参考文献

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf