將你的 Mac Mini 變身為團隊的 AI 模型伺服器:Ollama 網路設定教學

2025-06-22 14:31:26 Category Icon 未分類

將你的 Mac Mini 變身為團隊的 AI 模型伺服器:Ollama 網路設定教學

Ollama 是一個非常強大的工具,可以讓你在本機輕鬆執行各種大型語言模型(LLM)。但如果想讓區域網路內的其他電腦(例如你的 Windows PC 或同事的筆電)也能共享這台 Mac Mini 的 AI 運算能力,該怎麼做呢?

本文將引導你如何設定 Ollama,將其作為一個網路服務,在 Mac Mini 開機後自動啟動,並開放給區域網路中的其他裝置使用。

前提條件

  • 你已經在 Mac Mini 上成功安裝 Ollama
  • 你熟悉基本的終端機(Terminal)操作。
  • 你想連接的電腦上已安裝 Docker。

步驟一:設定 Ollama 以監聽所有網路請求

預設情況下,Ollama 只會監聽來自本機(localhost127.0.0.1)的請求。為了讓其他電腦可以連線,我們需要將其監聽位址設定為 0.0.0.0。這代表它會接受來自任何網路介面的連線請求。

我們將透過 macOS 的 launchd 服務來實現開機自動執行此設定。

步驟二:建立並設定 launchd 自動啟動服務

launchd 是 macOS 推薦的、用來管理守護行程(daemons)和代理程式(agents)的工具。我們將建立一個設定檔,讓 launchd 幫我們管理 Ollama 服務。

2.1 建立 LaunchAgents 目錄

首先,確保使用者層級的 LaunchAgents 目錄存在。在終端機中執行以下指令:

mkdir -p ~/Library/LaunchAgents

2.2 建立 launchd 設定檔 (.plist)

接下來,我們使用 cat 指令來建立一個名為 com.ollama.serve.plist 的設定檔。這個檔案包含了所有 launchd 啟動 Ollama 所需的資訊,其中最重要的就是 OLLAMA_HOST 環境變數。

直接複製並在終端機中執行以下整段指令:

cat <<EOF > ~/Library/LaunchAgents/com.ollama.serve.plist
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
 "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>com.ollama.serve</string>

    <key>ProgramArguments</key>
    <array>
        <string>/usr/local/bin/ollama</string>
        <string>serve</string>
    </array>

    <key>EnvironmentVariables</key>
    <dict>
        <key>OLLAMA_HOST</key>
        <string>0.0.0.0</string>
    </dict>

    <key>RunAtLoad</key>
    <true/>

    <key>KeepAlive</key>
    <true/>
</dict>
</plist>
EOF

2.3 載入並啟用服務

建立設定檔後,我們需要手動載入它來立即啟動服務。這個步驟只需要做一次,未來每次開機 launchd 都會自動幫你執行。

launchctl load ~/Library/LaunchAgents/com.ollama.serve.plist

步驟三:驗證服務是否成功啟動

服務啟動後,我們可以透過 curl 指令來測試連線。

3.1 在本機測試

在 Mac Mini 的終端機中執行:

curl http://localhost:11434

如果你看到 Ollama is running 的回應,代表在本機上服務已成功啟動。

3.2 從區域網路內的其他電腦測試

現在,從你的另一台電腦(Windows/Linux/Mac 皆可)的終端機或命令提示字元中,執行以下指令。

注意: 請記得將 <your-mac-ip> 換成你 Mac Mini 的實際區域網路 IP 位址(例如 192.168.1.10)。

curl http://<your-mac-ip>:11434

同樣地,如果看到 Ollama is running,恭喜你!你的 Ollama 伺服器已經成功對外開放了。

步驟四:從其他電腦使用 Ollama 服務

現在,任何在同一個區域網路下的裝置都可以將 http://<your-mac-ip>:11434 作為 Ollama 的 API 端點。

具體範例:使用 Docker 部署 Open WebUI

Open WebUI 是一個熱門的開源網頁介面,可以讓你像使用 ChatGPT 一樣與 Ollama 的模型互動。你可以將它部署在區域網路內任何支援 Docker 的電腦上(不一定要在 Mac Mini 本身)。

在你的另一台電腦上執行以下 Docker 指令:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://<your-mac-ip>:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

重要: 同樣地,請務必將指令中的 <your-mac-ip> 替換成你 Mac Mini 的真實 IP 位址。

指令說明:

  • -d: 在背景執行容器。
  • -p 3000:8080: 將你本機的 3000 埠對應到容器的 8080 埠。
  • -e OLLAMA_BASE_URL=...: 這是最關鍵的一步,它告訴 Open WebUI 服務去哪裡尋找 Ollama API。
  • -v open-webui:/app/backend/data: 掛載一個 volume 來持久化儲存你的對話紀錄和設定,避免容器重啟後資料遺失。
  • --name open-webui: 為容器指定一個好記的名稱。
  • --restart always: 讓 Docker 在啟動時自動重啟此容器。

指令執行成功後,打開瀏覽器,訪問 http://localhost:3000 (如果你是在本機執行 Docker) 或 http://<docker-host-ip>:3000,你就可以看到 Open WebUI 的介面,並開始與由 Mac Mini 驅動的 LLM 進行對話了!

API 直接呼叫範例

你也可以不透過 UI,直接用 curl 等工具呼叫 API 與模型互動。

範例 1:使用 qwen2:14b 模型

curl http://<your-mac-ip>:11434/api/generate -d '{
  "model": "qwen3:14b",
  "prompt": "你好,請使用正體中文,自我介紹一下",
  "stream": false
}'

範例 2:使用 qwen3:32b 模型 (如果你的 Mac Mini 記憶體足夠)

curl http://<your-mac-ip>:11434/api/generate -d '{
  "model": "qwen3:32b",
  "prompt": "你好,請使用正體中文,請自我介紹一下",
  "stream": false
}'

stream: false 會讓伺服器在生成完所有內容後一次性回傳,方便測試。若要實現打字機效果,請設為 true

結論

透過以上簡單的幾個步驟,你已經成功將 Mac Mini 打造成一台穩定、開機即用的區域網路 AI 伺服器。現在,你可以將運算任務集中在這台機器上,讓團隊中的每個人都能享受到本機 LLM 帶來的便利與隱私保障。