2025/01/30

[AI] 如何在本地機器使用 DeepSeek-R1 模型

markdown ### 前言 AI 話題這幾年一直話題不斷,而前一陣子 DeepSeek 的聲量突然上升了不少,好像不研究一下不行。 今天就花了些時間,研究如何在本地執行 DeepSeek-R1 模型。 ### 安裝步驟 1. 安裝 Ollama 2. 使用 DeepSeek-R1 模型 3. 執行 Open-WebUI ### 安裝 Ollama 下載 Ollama (https://ollama.com) 不管是 macOS, Linux, 或是 Windows,都有提供相應的安裝程式
### 使用 DeepSeek-R1 模型 DeepSeek-R1 (https://ollama.com/library/deepseek-r1) 可選用你想要的規模模型 (1.5b, 7b, 8b, 14b, 32b, 70b, 671b) 目前先選擇預設的 7b (大約 4.7GB),若是選擇 671b 將會佔據 404GB 的空間,而且機器要強一點! 打開 PowerShell (Terminal) 輸入以下指令: ```sh ollama run deepseek-r1 ``` 若第一次執行,需等它下載完,即可在命令模式下直接做交談 輸入 `/bye` 即可跳出
### 使用 Docker 執行 Open-WebUI 應該沒有人想要一直用命令模式,那就用 Open-WebUI 類似 ChatGTP 的網站吧! 先確認已安裝 Docker (Get Docker) ```sh docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ```
開啟 http://localhost:3000 先註冊帳號 (資料都是存在本地端,而第一個註冊的帳號即為管理員) 登入後的畫面如下,如同 ChatGPT 的操作,在輸入框下達指令,可以開始玩玩看啦~

沒有留言: