一、部署Ollama（多平臺(tái)選擇安裝）

Ollama 支持 Linux/macOS/Windows，需根據(jù)系統(tǒng)選擇安裝方式?！?/p>

1. Linux 系統(tǒng)部署

適用系統(tǒng)：Ubuntu/Debian/CentOS 等 　

步驟：　

1. 一鍵安裝：

   curl -fsSL https:///install.sh | sh

2. 權(quán)限配置（避免 sudo 運(yùn)行）：

   sudo usermod -aG ollama $USER  # 將當(dāng)前用戶加入ollama組
   newgrp ollama                  # 刷新用戶組

3. 啟動(dòng)服務(wù)：

   systemctl start ollama         # 啟動(dòng)服務(wù)
   systemctl enable ollama        # 開機(jī)自啟

4. 驗(yàn)證安裝：

   ollama --version               # 輸出版本號(hào)即成功

2. macOS 系統(tǒng)部署

步驟：　

1. 一鍵安裝：

   curl -fsSL https:///install.sh | sh

2. 啟動(dòng)服務(wù)：

   ollama serve                   # 前臺(tái)運(yùn)行（調(diào)試用）

• 或通過(guò) Launchd 后臺(tái)服務(wù)：

  brew services start ollama  # 通過(guò)Homebrew管理

3. Windows 系統(tǒng)部署

前置要求： 　

• Windows 10/11 64位

• 已安裝 WSL2（推薦Ubuntu發(fā)行版）

步驟：　

1. 下載安裝包：Ollama Windows Installer

2. 下載后進(jìn)行雙擊安裝

3. 驗(yàn)證安裝：

   ollama list                    # 查看已安裝模型

如果 Ollama 作為 systemd 服務(wù)運(yùn)行，應(yīng)使用 systemctl 設(shè)置環(huán)境變量：　

• 調(diào)用 systemctl edit ollama.service 編輯 systemd 服務(wù)配置。這將打開一個(gè)編輯器。

• 在 [Service] 部分下為每個(gè)環(huán)境變量添加一行 Environment：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

• 重新加載 systemd 并重啟 Ollama：

systemctl daemon-reload
systemctl restart ollama

二、拉取并運(yùn)行DeepSeek模型

官方模型庫(kù)參考：Ollama DeepSeek-R1 頁(yè)面　

1. 拉取模型

ollama pull deepseek-r1          # 官方推薦模型名稱

• 模型規(guī)格選項(xiàng)（按需選擇）：

  ollama pull deepseek-r1:7b     # 7B參數(shù)基礎(chǔ)版
  ollama pull deepseek-r1:33b    # 33B參數(shù)進(jìn)階版（需更高顯存）

2. 運(yùn)行模型

ollama run deepseek-r1

驗(yàn)證交互：　

>>> 你好，請(qǐng)用中文回答
你好！我是DeepSeek-R1，很高興為您提供幫助！

三、不同硬件場(chǎng)景配置說(shuō)明

根據(jù)硬件資源選擇運(yùn)行模式：　

場(chǎng)景1：純CPU運(yùn)行

適用情況：無(wú)獨(dú)立顯卡或顯存不足 　

配置優(yōu)化：　

1. 限制線程數(shù)（避免資源耗盡）：

   OLLAMA_NUM_THREADS=4 ollama run deepseek-r1  # 限制4線程

2. 使用量化模型（減少內(nèi)存占用）：

   ollama pull deepseek-r1:7b-q4_0             # 4-bit量化版

3. 內(nèi)存要求：

• 7B模型：至少8GB空閑內(nèi)存

• 33B模型：至少32GB空閑內(nèi)存

場(chǎng)景2：CPU+GPU混合運(yùn)行

適用情況：有NVIDIA顯卡（需CUDA支持） 　

配置步驟：　

1. 安裝驅(qū)動(dòng)：

• 安裝 NVIDIA驅(qū)動(dòng) 和 CUDA Toolkit 12.x

2. 啟用GPU加速：

   ollama run deepseek-r1 --gpu              # 強(qiáng)制使用GPU

3. 顯存要求：

• 7B模型：至少6GB顯存

• 33B模型：至少20GB顯存

4. 性能監(jiān)控：

   nvidia-smi               # 查看GPU利用率

四、AI問(wèn)答應(yīng)用接入本地大模型

方式1：部署MaxKB并接入Ollama

1. 通過(guò)Docker部署MaxKB

docker run -d \
  --name=maxkb \
  -p 8080:8080 \
  -v ~/maxkb_data:/var/lib/postgresql/data \
  1panel/maxkb:latest

• 訪問(wèn) http://localhost:8080，默認(rèn)賬號(hào)密碼 admin/MaxKB@123..

2. 配置Ollama模型接入

1. 進(jìn)入MaxKB控制臺(tái)：模型管理 > 添加模型

2. 填寫參數(shù)：

• 模型類型：Ollama

• 模型名稱：DeepSeek-r1

• Base URL：http://ollama主機(jī)ip:11434（Docker內(nèi)訪問(wèn)宿主機(jī)）

• 模型名稱：deepseek-r1（與Ollama拉取的模型名一致）

3. 創(chuàng)建應(yīng)用并測(cè)試問(wèn)答功能

方式2：本地安裝chatBox AI并接入本地大模型

1、下載安裝包

1. 訪問(wèn) GitHub Releases 頁(yè)面：ChatBox Releases!ChatBox Releases頁(yè)面

2. 選擇 Windows 版本：

2、安裝 ChatBox

1. 運(yùn)行安裝程序：

• 雙擊下載的 .exe 文件，按提示完成安裝。

3、基礎(chǔ)配置

3.1. 連接 本地模型

1. 確保 Ollama 服務(wù)已運(yùn)行。

2. 在 ChatBox 設(shè)置中選擇 **ollama api**，填寫：

• API Endpoint: http://localhost:11434

• API Key: 留空

• Model Name: deepseek-r1（與 Ollama 模型名稱一致）

3.2 可以自定義界面

3.3 驗(yàn)證使用

五、常用的故障排查方法

1. Ollama服務(wù)無(wú)法啟動(dòng)

• 日志查看：

  journalctl -u ollama -f   # Linux

• 端口沖突：修改Ollama端口：

  OLLAMA_HOST=0.0.0.0:11435 ollama serve  # 指定新端口

2. 模型加載失敗

• 重新初始化：

  ollama rm deepseek-r1 && ollama pull deepseek-r1

3. MaxKB連接超時(shí)

• 檢查網(wǎng)絡(luò)：

  curl http://ollama-ip:11434  # 確認(rèn)Ollama API可達(dá)

• 跨域問(wèn)題：在Ollama啟動(dòng)時(shí)添加：

  OLLAMA_ORIGINS="*" ollama serve

六、性能優(yōu)化建議

七、AI服務(wù)器性能監(jiān)控

我使用zabbix+grafana對(duì)服務(wù)器做了資源使用情況的監(jiān)控，因?yàn)槲业姆?wù)器沒(méi)有GPU，全部使用CPU去跑，當(dāng)我運(yùn)行大模型的時(shí)候，可以看到服務(wù)器資源站喲比較高（目前我測(cè)試用的的Deepseek-r1:7b）