SQLiteFTS5+jieba实现轻量级本地知识库搜索，3天可出MVP

在大模型驱动的知识库系统成为主流的当下，一套无需联网、不调用任何 AI 模型的本地搜索方案悄然走红。其核心架构极为精简：SQLite FTS5 全文索引引擎 + jieba 中文分词库 + BM25 相关性排序算法 + Flask 轻量 Web 服务，整套系统内存占用低于 100MB，3 天即可完成最小可行产品（MVP）部署。

这套方案源于一位工程师对日常协作痛点的观察——测试人员常需在海量需求文档中精准定位某条描述，而传统“Ctrl+F”效率低下，大模型方案又过于重载。他选择绕开向量数据库与嵌入模型，回归经典信息检索路径，最终开源项目 Knowledge 在 GitHub 上获得关注。

如图所示，该轻量方案与主流专业方案（如 Elasticsearch + IK 分词 + Docker Compose 部署）形成鲜明对比：后者通常需 2–4GB 内存、支持 1 万至 50 万+ 文档量；前者仅需 <100MB 内存，适配 <1 万文档规模，但开发与运维成本显著降低。关键在于，它复用了 Python 生态中高度成熟的组件，避免了额外服务依赖。

技术实现上，系统采用三阶段处理流程：

第一阶段为文档切片（Chunking）。针对 Word (.docx)、PDF、Excel (.xlsx)、Markdown 与纯文本五类常见格式，通过 python-docx、pdfplumber、openpyxl 等库解析内容，并按语义边界（如段落、标题层级、章节编号）进行结构化切分。例如，Word 文档按“章节路径 + 段落号”组织，PDF 按“页码 + 行号”标记，确保后续能精确定位原文位置。

第二阶段是索引构建。所有文本块经 jieba 的 cut_for_search 模式分词后，写入 SQLite 数据库的 FTS5 虚拟表。FTS5 是 SQLite 自 3.9.0 版本起内置的全文索引模块，支持前缀匹配、短语查询与自定义 tokenizer。项目中通过自定义 tokenizer 将 jieba 分词结果注入 FTS5，实现中文分词与索引的无缝衔接。值得注意的是，FTS5 本身不直接支持 BM25 排序，因此系统在查询阶段手动计算 BM25 得分并重排结果——该算法虽非最新，但在中小规模语料下召回率与相关性表现稳定，且计算开销极低。

第三阶段为检索与呈现。用户输入关键词后，系统执行两步操作：首先调用 FTS5 的 MATCH 查询获取候选片段；其次对每个片段计算 BM25 分数，按得分降序返回。结果页包含文件路径、章节定位、高亮命中词（使用 标签实现黄底高亮），并支持点击跳转至上下文预览（前后各 2 段灰色背景文本）。此外，系统提供来源过滤（Word/PDF/Excel/文本/MD 等）、批量上传、增量同步（基于 MD5 哈希比对变更）等功能，覆盖典型知识管理需求。

该项目的工程设计体现了几项务实原则：一是“零外部依赖”，除 Python 标准库与必要解析库外，不引入 Redis、Elasticsearch 等中间件；二是“渐进式扩展”，初始版本聚焦核心检索能力，后续可通过插件方式接入语雀、飞书等平台导出数据；三是“运维友好”，Windows 用户双击 .bat 文件即可启动，Linux/macOS 下仅需 python run.py。

值得补充的是，SQLite 本身也在持续进化。2026 年 10 月发布的 3.54.0 版本虽未新增全文索引特性，但在查询优化器、磁盘空间分析与 CLI 工具链方面均有增强。例如，表达式索引更新时若值未变则跳过重建，UNION LIMIT 查询性能提升，.diskused 命令便于监控数据库体积增长——这些改进间接提升了本地知识库系统的长期可维护性。

从行业视角看，该方案填补了“超轻量级本地检索”的空白。当前市场上，开源知识库框架如 RAGFlow、FastGPT 多面向企业级部署，强调多模态、对话式交互与向量检索；而个人或小团队常面临文档杂乱、检索低效问题，却无力承担复杂架构运维成本。此类基于 SQLite 的方案恰好满足“够用、易用、可控”三大诉求。

实际应用场景已显现：某互联网公司测试组将其部署于内网，用于快速查找历史需求文档中的验收标准；一高校实验室用它管理学生提交的实验报告与代码注释；还有独立开发者将其集成至本地笔记工具中，替代原生模糊搜索。

当然，该方案也有明确边界：不适用于跨文档语义关联、问答生成或长尾意图理解等任务；当文档量突破 1 万份或单文档超百兆时，FTS5 性能会明显下降；中文分词质量受限于 jieba 词典更新频率，对新词、专有名词识别能力弱于专业 NLP 模型。

不过，对于绝大多数“找原文”而非“理解内容”的场景，这种回归本质的检索思路反而更高效。它提醒我们：在 AI 浪潮中，经典信息检索技术并未过时，而是以更轻盈的姿态嵌入日常工具链。当大模型仍在解决“如何回答”，本地索引早已完成“在哪里找到”。

项目已在 GitHub 开源，地址为 github.com/simonking-w/knowledge，配置文件与启动脚本完备，新手可快速上手。