OllamaでHuggingFaceモデルをインストールするOpenWebUIでも実行可能な方法【LLM】

2024年10月30日生成AI

ChatGPTやClaudeが流行する中、ローカルLLMに価値を見出そうとしている身としては、Ollamaは必要不可欠な存在です。

そんなOllamaでは最近HuggingFaceから直接モデルをインストールできるようになったのですが、海馬が米粒ほどの私はその方法をすぐ忘れてしまい、意外と検索してもうまくヒットしてくれないため、備忘録として方法を書き残しておきます。

方法

Ollama

以下のコマンドを実行するだけです。

ollama run hf.co/{username}/{reponame}:latest

あるいは、最新モデルであれば「:latest」は省略可能です。
※モデル名に “hf.co/" を追加しただけ。

ollama run hf.co/{username}/{reponame}

例えば、「bartowski/Llama-3.2-1B-Instruct-GGUF」であれば、このようになります。

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest

8ビット量子化モデルを選択する場合は、こんな感じ。

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0

Open Web UI

「Ollama.com からモデルをプル」にリンクを入力するだけです。

hf.co/{username}/{reponame}

簡単ですね。以上です。

【参考文献】
https://huggingface.co/docs/hub/en/ollama
https://www.reddit.com/r/LocalLLaMA/comments/1g4zvi5/comment/ls88y3x/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button