1.1 基本概念

• RAG(Retrieval-Augmented Generation，增強信息檢索和生成模型)能夠從大規(guī)模知識庫中檢索相關信息并生成高質量的反饋。主要功能：

  • 索引：將文檔庫分割成較短的 Chunk，并通過編碼器構建向量索引。

  • 檢索：根據(jù)問題和 chunks 的相似度檢索相關文檔片段。

  • 生成：以檢索到的上下文為條件，生成問題的回答。

• 原理圖

1.2 涉及工具和組件

• Ollama

• Deepseek R1 LLM模型

• Nomic-Embed-Text向量模型，將使ollama具備將文檔向量化的的能力

• AnythingLLM

1.3 安裝部署

1.3.1 安裝ollama

下載地址

驗證安裝

1.3.2 下載DeepSeek R1模型

通過Ollama官網(wǎng)下載DeepSeek R1模型

# 啟動和下載模型是同一個命令，如果沒有下載過的新模型會直接下載，以及下載過的則直接啟動。
ollama run deepseek-r1

1.3.3 下載Nomic-Embed-Text模型

通過Ollama官網(wǎng)下載nomic-embed-text)

ollama run deepseek-r1

1.3.5 安裝AnythingLLM

AnythingLLM 是一個功能強大且靈活的開源平臺，旨在幫助用戶輕松構建和部署基于大型語言模型 (LLM) 的私有化應用程序。

下載安裝Desktop版本(https://anythingllm.com/desktop)

1.4 配置AnythingLLM

1.5 上傳文檔

1.6 測試結果