小崔的本地私有化 RAG 演示平台

Ubuntu 22.04 / 24.04（均为 Linux 环境）一键部署

脚本自动识别系统版本（22.04 jammy / 24.04 noble），依次安装 Docker → 部署 Ollama → 拉取模型 → 部署 Dify → 打通 Ollama 与 Dify。其他 Linux 发行版（Debian / CentOS）需自行调整包管理器部分。

loading...

模型拉取（qwen2.5:7b + bge-m3）

loading...

Dify 侧配置（3 步）

1. 1访问 http://<主机IP>/install 初始化管理员账号并登录
2. 2设置 → 模型供应商 → Ollama：Base URL 填 http://host.docker.internal:11434（Linux 需 http://172.17.0.1:11434）， 添加 LLM qwen2.5:7b（上下文 32k）与 Embedding bge-m3（1024 维）
3. 3知识库 → 创建「文档知识库」「研发知识库」→ 上传文档 → 索引方式选「高质量」，Embedding 选 bge-m3； 再创建两个「聊天助手」应用并分别绑定知识库，发布后取 API Key

异地访问（三选一）

loading...

loading...

WorkBuddy / 第三方调用示例

loading...

备选方案部署（vLLM / AnythingLLM / 大数据底座）

什么时候换备选：并发高了换 vLLM；只想快速搭个知识库换 AnythingLLM；文档 TB 级才上 Hadoop/Spark/Hive。详见「技术选型」页的对比与组合推荐。

loading...

① 推理引擎：Ollama vs vLLM 本演示用 Ollama备选 vLLM

并发能力示意对比

* 并发数值为量级示意（取决于模型大小、上下文长度与显卡），用于表达相对差距，非精确基准。

② RAG 编排平台：Dify vs AnythingLLM 本演示用 Dify备选 AnythingLLM

补充：如果对中文文档解析质量要求极高（表格、扫描件、公式），还可以了解 RAGFlow（深度文档理解型 RAG 引擎），同样支持 Ollama 模型。

③ 开源大模型备选（Qwen2.5:7b 之外）

选型口诀：中文优先 Qwen / GLM，代码推理选 DeepSeek，英文生态选 Llama， 机器差选 Phi / MiniCPM，多语言选 Mistral。Ollama 下切换模型只需 ollama pull 模型名， 同一套 Dify 配置里加一个模型即可 A/B 对比。

③⁺ 最新开源模型能不能做 RAG？（Qwen3.8 / DeepSeek-V4.1 / GLM-5.3）

结论先行：能，而且新一代模型做 RAG 比老款更合适——最新开源模型全部原生支持「工具调用 + 结构化输出 + 超长上下文（262K～1M）」，这三点正是 RAG 系统最依赖的能力。 2026 年开源第一梯队：Qwen3.8（阿里，2026-08：开源 27B 稠密 + Flash-Next MoE，Max 旗舰仅 API 不放权重）、 DeepSeek-V4.1-Flash（552B MoE + 196B Engram，MIT，原生多模态，1M 上下文）、 GLM-5.3（智谱，753B-A40B；轻量版 GLM-5.3-Flash 320B-A18B MIT）。上一代 Qwen3 / DeepSeek-V3 / GLM-4.5 仍是稳定成熟的选择。

版本脉络一句话：Qwen3（2025-04）→ Qwen3.5/3.6（全系 Apache 2.0）→ Qwen3.7-Max（仅 API）→ Qwen3.8（2026-08，开源 27B / Flash-Next）。 给本演示换上最新款：ollama pull qwen3.8:27b，Dify 模型供应商把模型名改成 qwen3.8:27b 即可； Embedding 可用 Qwen3-Embedding（0.6B/4B/8B）或继续用 bge-m3（1024 维，兼容性最好）。

③⁺ᵇ 硬件成本：7B / 14B / 32B 怎么选，单机 / 多卡 / 集群差多少

显存经验公式：FP16 约为参数量 ×2 GB（如 7B≈14GB），Q4 量化约为参数量 ×0.6 GB（如 7B≈5GB），再留 10～20% 给 KV Cache（上下文越长吃得越多）。以 Qwen3 为例：

省钱技巧：① 量化（Q4/Q5 精度损失很小，显存减半以上）；② MoE 模型（如 Qwen3-30B-A3B，总量 30B 但每次只激活 3B，单卡 24G 可跑，效果接近 32B 密集模型）；③ RAG 场景模型只需"忠实转述"，不必追求最强推理，7B/8B 就够；④ 没有独立显卡时，Mac mini/Studio 的统一内存跑 Q4 模型性价比很高。

③⁺ᶜ 部署底座：Docker Compose 够不够，什么时候要 k3s / K8s

演进路径与前面"四种组合"一致：Docker Compose（本演示）→ 并发高了在 Compose 里把 Ollama 换 vLLM → 真到多机多卡、需要自动扩缩容和自愈时才上 k3s/K8s（k3s 一条 curl -sfL https://get.k3s.io | sh - 即装好，比完整 K8s 轻得多，是团队从单机走向集群的第一站；社区现成方案：vLLM 生产栈 / KServe / GPU Operator）。跳过中间形态直接上 K8s 是最常见的过度设计。

③⁺ᵈ 主流 AI Agent / 编程智能体横向对比（2026-09）

当前 Agent 产品分四大阵营：终端编程 Agent（Claude Code / Codex）、AI IDE 工作台（Cursor / Qoder / Trae）、 办公 Agent 平台（千问办公 / WorkBuddy / 扣子 Coze）、开源自托管助理（OpenClaw / Hermes）， 以及偏企业流程的 DevOps 治理平台（Harness）。综合分参考近期主流评测（办公/编程/易用/自主性/自进化/生态/远程/安全/国内可用/性价比十维等权）：

选型直觉：① 综合分是十维等权，对纯编程工具不公平——单看编程硬实力 Cursor 9.5 > Claude Code ≈ Codex 9.3 > Qoder 9.2，单看数据主权 OpenClaw / Hermes 9.5。② 中美两条路线：美国系追能力上限（闭源、高溢价、需代理），中国系追落地效率（免费普惠、国内直连、生态协同），实践中常"国际深度执行器 + 国内协同工具"互补。③ 与本演示的关系：这些 Agent 是调用方，本演示的 Dify/Ollama 是被调用方——WorkBuddy、千问办公、Claude Code 等都能通过 API 调用你内网部署的这套 RAG。

③⁺ᵉ 安全 / 漏扫 / 渗透测试类 Agent 横向对比（2026-09）

基础模型厂商 2026 年集体下场做"安全专用模型"，是这一领域最大变量。DeepSeek 新出的攻防类智能体是 DeepSeek-V4-Fable： 以 V4-Flash 为底座、结合 Claude-5-Fable 安全研究经验蒸馏，用 SecDojo-80K（8 万条经校验的 CTF 解题轨迹）做 SFT + GRPO 强化学习， 在 300 道盲测 CTF 题上总解出率 58.7%（Web 63.8% / Pwn 44.5% / Rev 51.2% / Crypto 68.9%），可自动化企业级红队作业。 ⚠️ 攻防工具是双刃剑：所有测试必须只在获得书面授权的范围内进行，未授权渗透属违法行为。

三个要点：① 榜单不可横比——XBOW（104 题 Web）、CyberGym（1,507 题源码级漏洞复现）、TCH（54 题实战渗透）口径完全不同；② 普遍短板是业务逻辑漏洞、5 步以上攻击链、需 GUI 的漏洞；③ 攻防双刃剑已现实化：Unit 42 披露攻击者用 DeepSeek 模型 + 开源 Hermes Agent + FOFA 完成了"选目标→找 PoC→自主攻击"全流程，几分钟完成人工数小时的工作——防守方更要用好这些工具。另注意 Agent 自身也有漏洞：DeepSeek Harness 曾被曝 CVSS 9.4 沙箱逃逸（CVE-2026-82533，已修复 0.1.2-alpha.1），自托管务必保持更新。与上面 RAG 主题的关系：安全 Agent 同样可以调用你内网 Dify/Ollama 上的模型，但务必在隔离靶场环境。

③⁺ᶠ AI 能力三级：ANI / AGI / ASI

讨论模型选型时经常看到这三个词，先把概念钉死——它们描述的是AI 能力的发展等级，不是具体产品：

和本演示的关系：我们部署的 RAG 是典型的 ANI 时代工程——用检索弥补模型"不知道你公司文档"的短板。即使将来 AGI 到来，RAG 也不会消失：企业私有数据的隔离与权限、答案可溯源可审计、知识实时更新这三点是模型参数本身永远替代不了的。选型时不必纠结"哪个模型更接近 AGI"，按任务效果和成本选即可。

③⁺ᵍ RAG 生态两件套：MarkItDown 与 LangChain

把工具放回完整链路：MarkItDown（解析）→ 分块 → Embedding（向量化）→ 向量库（存）→ Dify 或 LangChain（编排检索与提示词）→ Qwen2.5:7b（生成）→ 引用与评估。MarkItDown 解决"读进来"，LangChain/Dify 解决"串起来"，都属于 RAG 的基础设施层。

④ 大数据底座：Hadoop / Hive / Spark 在 RAG 里的角色

三者不是 RAG 的必需组件——文档量不大时单机即可。当企业文档达到 TB 级、来源多（OA、共享盘、数据库、日志）、需要定时批量入库时，它们才有价值：

分工一句话：HDFS 管存放、Spark 管加工、Hive 管账本；向量化这一步由 Spark 调 bge-m3 批量完成，向量写入 Milvus/Weaviate，Dify 只负责检索与问答。

⑤ 四种推荐组合，什么场景用哪套

平滑升级路径：极简 → 部门级 只需把 AnythingLLM 换成 Dify（向量模型不变）；部门级 → 高并发 只需把 Ollama 换成 vLLM（Dify 里改模型供应商地址即可），知识库数据无需重建。

⑥ 如何用向量模型提高搜索精度

RAG 的答案质量上限由召回质量决定——检索不准，模型再强也只能编。八个可落地的优化点，按收益排序：

本演示的组合：bge-m3（多语言、8192 长上下文、稠密+稀疏双检索）已是中文场景的高性价比起点；下一步提升最大的就是第 4 条——加一个 bge-reranker 重排模型，Dify 知识库设置里直接可开。

⑦ 本地 RAG 全链路：六大模块协作

做本地 RAG，不是"接个大模型"就完了——需要检索、重排序、上下文融合、Prompt 设计、生成、评估多个模块共同协作，环环相扣：

排障顺序建议：答案不对时，先查①检索命中了什么（Dify 每条回答都能看召回明细）→ 再看③有没有把垃圾片段喂进去 → 再调④⑤。大多数人一上来就换模型，其实 80% 的问题出在前三步。

什么是 Prompt 工程

Prompt（提示词）就是你发给大模型的全部输入。Prompt 工程 = 通过精心设计这段输入，让模型稳定输出你要的结果。 同一个模型，提示词写得好坏，回答质量可能差出一个档次——尤其在 RAG 场景：系统提示词决定模型"是否只依据检索内容回答、如何引用、找不到怎么办"。

八个核心技巧

RAG 系统提示词模板（可直接抄）

你是「小崔知识库助手」，一名严谨的企业内部知识库问答助手。

【角色与目标】
基于提供的检索内容，准确回答用户关于公司制度、产品与研发的问题。

【规则】
1. 只依据【检索内容】回答，禁止使用检索内容之外的知识，禁止编造。
2. 回答用简体中文，条理清晰；能用列表就用列表；不超过 300 字。
3. 引用来源：在相关结论后标注 [文档名]，如 [费用报销管理制度]。
4. 若检索内容与问题无关或信息不足，回答：
   "知识库中暂无相关信息，建议咨询相关部门。"（不要猜测）
5. 涉及金额、日期、数字时必须与检索内容完全一致，不得四舍五入或改写。
6. 不回答与知识库无关的问题（闲聊、政治、写代码等），引导用户回到知识库主题。

【检索内容】
<context>
{context}
</context>

【用户问题】
{question}

把这段填进 Dify 聊天助手的"系统提示词"里即可生效。{context} 与 {question} 由 Dify 自动填充（知识库召回内容 + 用户输入）。

如何避免 AI 幻觉

幻觉 = 模型"一本正经地编造"。企业知识库场景一条都不能忍，防幻觉是检索 + 提示词 + 参数 + 流程四层配合的事：

进阶：让 RAG 更准的三个提示词层

1. 1查询改写层：让模型先把用户口语化问题改写成检索友好的关键词（"报销咋整" → "差旅费用 报销流程 时限"），再拿去向量检索，召回率明显提升。
2. 2检索压缩层：召回片段太长时，让模型先做"片段摘要/过滤无关段落"再拼进最终提示词，省 token 且减少干扰。
3. 3自检层：输出前让模型自问一句"我的每个结论都能在检索内容中找到依据吗？"，找不到依据的句子删除——这是最简单有效的降幻觉手段。

RAG 原理问答（8 问 8 答）

把本地 RAG 最常被问到的原理问题整理成一问一答，点开即读。配合「技术选型」页的全链路六模块图一起看。

专题：Embedding 在 AI 里的作用——RAG 的心脏

Embedding（向量化/嵌入）就是把文字（也可以是图片、音频）交给一个神经网络，压缩成一个固定长度的数字向量（如 bge-m3 输出 1024 个数）。它的魔法在于：语义相近的内容，向量在空间中的位置就相近——"报销"和"费用申领"字面完全不同，向量却挨得很近；"苹果（公司）"和"苹果（水果）"字面相同，向量却离得很远。这是关键词匹配永远做不到的。

Embedding 的五大用途（远不止 RAG）

实践要点：① 问题和文档要用同一个 Embedding 模型（向量空间不同无法比较）；② 换模型必须全库重新向量化，所以选型要慎重——本演示用 bge-m3（1024 维，多语言、8192 长上下文），也可换 Qwen3-Embedding；③ 维度不是越高越好，精度和存储/速度要权衡；④ 衡量 Embedding 模型好坏看 MTEB / C-MTEB 榜单（检索类任务得分）；⑤ 重排（Rerank）模型是"精排版 Embedding"，把粗召回的 20 条按"与问题的相关程度"重新打分，是性价比最高的精度提升手段。

连接设置

等待操作…

关于这个演示

本页为纯静态单页应用，无后端依赖，可直接放到任意静态托管 / 云空间；同一份代码也被打包进 Android APK， 离线打开同样可用。真实问答能力来自你本地部署的 Dify，密钥仅保存在本机浏览器 / 手机本地，不会上传到任何地方。