OllamaでHuggingFaceモデルをインストールするOpenWebUIでも実行可能な方法【LLM】

2024年10月30日生成AI

ChatGPTやClaudeが流行する中、ローカルLLMに価値を見出そうとしている身としては、Ollamaは必要不可欠な存在です。

そんなOllamaでは最近HuggingFaceから直接モデルをインストールできるようになったのですが、海馬が米粒ほどの私はその方法をすぐ忘れてしまい、意外と検索してもうまくヒットしてくれないため、備忘録として方法を書き残しておきます。

方法

以下のコマンドを実行するだけです。

ollama run hf.co/{username}/{reponame}:latest

あるいは、最新モデルであれば「:latest」は省略可能です。
※モデル名に “hf.co/" を追加しただけ。

ollama run hf.co/{username}/{reponame}

例えば、「bartowski/Llama-3.2-1B-Instruct-GGUF」であれば、このようになります。

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest

8ビット量子化モデルを選択する場合は、こんな感じ。

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0

「Ollama.com からモデルをプル」にリンクを入力するだけです。

hf.co/{username}/{reponame}

簡単ですね。以上です。

Posted by このめ