用本地文件調教 DeepSeek

在當今數字化的時代，信息和知識如同浩瀚的海洋，而我們每個人都要在其中尋找屬於自己的寶藏。

想象一下，作爲一名醫生，你手中握有海量的科研資料，它們如同一座座知識的孤島，等待着被探索和整合。如果能夠擁有一位專屬的 “知識機器人”，它不僅能夠學習並吸收你所有的資料，還能在你需要時，迅速爲你提供精準的答案，這將是多麼令人嚮往的事情啊！

你無需再耗費大量時間在繁瑣的資料檢索中，只需簡單地向它提問，答案便如自來水般湧現。這，便是本地部署與知識庫結合的神奇之處。它不僅僅是一個技術的應用，更是一種對個人智慧的賦能。

而這一切，正是 DeepSeek 等大模型所賦予我們的獨特價值。它陽光普照，讓知識的邊界得以無限拓展，讓智慧的光芒得以更加令人唾手可得。

牛刀小試

首先，我們編寫一個簡單的 markdown 文件，內容如下：

三角形分類

- 黃金三角形就是三個角的大小比例爲 1:2:3 的三角形。
- 白銀三角形就是三個角的大小比例爲 2:3:4 的三角形。
- 青銅三角形就是三個角的大小比例爲 1:1:4 的三角形。
- 爛鐵三角形就是三個角的大小的比例爲 1:3:8 的三角形。

取個名字，比如 知識荒漠.md，當然把它導出爲 pdf 格式也是可以的。當然，一般來說你會有很多這類文件。然後，把它們導入到本地知識庫，後面會講具體如何操作。

這裏提一下，黃金三角形和白銀三角形本身是有這樣的定義，但我們這裏隨便下點定義，爲了看看 DeepSeek 作何反應。而後面兩個是沒有的，完全是我們杜撰的，可以理解爲要餵給大模型的新知識。

好了，開始調戲本地的 DeepSeek。

比如問它：請解釋下青銅三角形。

由於實際中並沒有這個定義，所以它只能從我們本地知識庫中獲得這個知識，加上它自己的推理，構建了具體的概念並總結了一些性質，雖然它有些謹慎。

再問它：請解釋下黃金三角形。

由於實際中有這個定義，但是它又看到了本地知識庫中的這個概念，顯然它們不一致，所以 DeepSeek 有些糾結，但會結合它自己的推理來決定最終怎麼解釋。

可見 DeepSeek 還是很聰慧的，不會輕易被外部知識誤導。

另外，如果你嫌 AI 大模型翻譯得不到位，是不是可以給它喂一些本地知識調教它呢！

大致原理

DeepSeek 讀取本地知識庫主要是通過檢索增強生成（Retrieval-Augmented Generation，RAG）技術實現的。以下是具體實現過程：

向量嵌入模型：需要一個嵌入模型（如 nomic-embed-text 或 BAAI/bge-m3）將本地知識庫中的文本內容轉換爲向量形式。這些向量會被存儲到向量數據庫（如 LanceDB）中。
知識庫的創建與配置：在本地部署 DeepSeek 的基礎上，通過相關工具（如 Cherry Studio）配置嵌入模型和向量數據庫。創建知識庫時，選擇已配置的嵌入模型，上傳本地文件進行向量化處理。
RAG 技術：當用戶提問時，RAG 技術會利用向量數據庫中的向量數據，通過檢索找到與問題最相關的知識庫內容。DeepSeek 會結合檢索到的知識庫內容生成回答。
模型與工具：DeepSeek R1 等模型通過 API 配置到各種工具中（如 Cherry Studio），以實現對本地知識庫的讀取和處理。通過上述技術，DeepSeek 能夠高效地讀取和利用本地知識庫，爲用戶提供精準的回答。

可能你會想這與直接以附件形式上傳給大模型有什麼區別？這個留給大家自己琢磨吧。好了，原理大致瞭解了，讓我們動手吧。

本地部署

一、安裝 Ollama

訪問 Ollama 官網：前往 Ollama 官網，點擊 Download 按鈕。

下載安裝包：根據你的操作系統選擇對應的安裝包。下載完成後，直接雙擊安裝文件並按照提示完成安裝。
驗證安裝：安裝完成後，在終端輸入以下命令，檢查 Ollama 版本：
```
ollama --version
```
如果輸出版本號（例如 ollama version is 0.2.8），則說明安裝成功。

二、下載並部署 DeepSeek 模型

選擇模型版本：

入門級：1.5B 版本，適合初步測試。
中端：7B 或 8B 版本，適合大多數消費級 GPU。
高性能：14B、32B 或 70B 版本，適合高端 GPU。

下載模型：打開終端，輸入以下命令下載並運行 DeepSeek 模型。例如，下載 8B 版本的命令爲：
```
ollama run deepseek-r1:8b
```
如果需要下載其他版本，可以參考以下命令：
```
ollama run deepseek-r1:7b  # 7B 版本
ollama run deepseek-r1:14b # 14B 版本
ollama run deepseek-r1:32b # 32B 版本
```
啓動 Ollama 服務：在終端運行以下命令啓動 Ollama 服務：
```
ollama serve
```
服務啓動後，可以通過訪問 http://localhost:11434 來與模型進行交互。

三、安裝並配置 Cherry Studio

下載 Cherry Studio：

訪問 Cherry Studio 官網，選擇適配你操作系統的版本進行下載安裝。

配置模型服務：

打開 Cherry Studio，進入 “模型服務” 設置。
添加 Ollama 作爲模型服務提供商，輸入 Ollama 服務的地址（默認爲 http://localhost:11434）。

添加 DeepSeek 模型：

在 Cherry Studio 中，點擊 “管理” 按鈕，選擇 “添加模型”。
輸入模型名稱 deepseek-r1:8b 或其他版本，點擊 “添加”。
測試連通性，點擊 “檢查” 按鈕，看到綠色對勾表示測試通過。

本地知識庫

一、搭建本地知識庫

下載嵌入模型：我們下載 BGE-M3，它是由 BAAI（北京智源人工智能研究院）發佈的多語言長文本向量檢索模型。BGE-M3 支持超過 100 種語言，訓練數據覆蓋了 170 多種語言。

通過如下命令下載這個嵌入模型。

ollama pull bge-m3

添加嵌入模型：

點擊 “管理” 按鈕，選擇 “嵌入”，添加嵌入模型（如 bge-m3），用於文檔拆分和理解。
點擊 “確認” 後，嵌入模型將被添加到系統中。

添加本地知識庫：

點擊左側的 “知識庫” 按鈕，選擇並添加本地文檔。
填寫知識庫名稱，選擇嵌入模型。
上傳本地文件（支持文件、目錄、網址、筆記等），例如你要學習的一堆文獻。

二、使用知識庫

選擇知識庫：

在 Cherry Studio 的聊天窗口中，點擊知識庫圖標，選中之前創建的知識庫。
例如，選擇名爲 “知識荒漠” 的知識庫。

聊天、提問：

在聊天區域輸入問題，Cherry Studio 將調用 DeepSeek 模型，結合知識庫內容生成回答。

通過上述步驟，你可以在本地成功部署 DeepSeek 模型，構建了本地知識庫，並通過 Cherry Studio 的可視化界面進行交互。Cherry Studio 提供了豐富的功能，包括對話知識庫、聯網搜索、多模型接入等，非常適合新手快速上手。

最後，如果還想要 DeepSeek 結合搜索的話，可以使用瀏覽器插件 Page Assist。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/kzwOYEMtzzBZH7jD3kNRlA