PCを持て余してもったいないなと思っていて、やってみました
PCスペック
| CPU | Intel Core i5-13400F |
| RAM | DDR4 32GB |
| GPU | NVIDIA RTX3060 12GB |
| OS | Microsoft Windows 11 Pro 23H2 |
使ったもの
Ollama
Download Ollama on macOS
Download Ollama for macOS
ollama.com
mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf
mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Python
Python Releases for Windows
The official home of the Python Programming Language
www.python.org
Microsoft C++ Build Tools
Microsoft C++ Build Tools - Visual Studio
visualstudio.microsoft.com
OpenWeb UI
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webui
github.com
Ollamaのインストール
クリックしてインストールするだけ、インストールが終わったらタスクバーに常駐します
PowerShellから呼んでみましょう
ollama
モデルのダウンロード
モデルをダウンロードします。
今回はmmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-ggufを使います。
Use this modelからOllamaを選択すると、コマンドをコピーできるので、それをさきほどのPowerShellウィンドウにペースト。
ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf:Q4_K_M
終わったら話しかけてみましょう。
日本語もOK。すばらしい。
OpenWeb UIのインストール
リッチなWebUIで使えるようにしましょう。
python -m pip install open-webui
失敗しました。PCに入っていたのが3.1.0と古くて怒られました。3.1.2がいいみたい。
またも失敗しました。VisualC++14.0以上のBuild Toolsを入れろと。
入れます。MSVC 140だけ入れても失敗してしまい、よくわからないので、C++によるデスクトップ開発を全部いれました。
うまくいってそうです。
インストールできたら実行します
open-webui serve --host 127.0.0.1
127.0.0.1:8080にアクセスします
ユーザー情報を設定、できちゃった…
しばらくこれで遊んでみようと思います！ではまた！
コメント