{"name":"检索技术","id":"数据技术-检索技术","content":"# 检索技术\n\n## 一、检索系统的第一性原理\n\n### 1.1 检索的本质问题\n\n**检索的本质：**\n\n> 在**有限时间与资源约束**下，\n> 从**海量候选集合**中，\n> 找到**足够好（Good Enough）**的 TopK 结果。\n\n由此天然产生三大不可消除的矛盾：\n\n1. **搜索空间巨大**（数据规模持续增长）\n2. **计算资源有限**（CPU / IO / 内存 / 网络）\n3. **精确性与性能不可兼得**\n\n👉 一切检索技术，都是在这三者之间做权衡。\n\n---\n\n### 1.2 检索系统的统一抽象模型\n\n所有检索系统，都可以被抽象为三段式结构：\n\n```\n检索系统 = 搜索空间裁剪 × 候选生成 × 结果排序\n```\n\n| 阶段     | 核心目标      | 关键问题         |\n| ------ | --------- | ------------ |\n| 搜索空间裁剪 | 快速缩小候选范围  | 怎么“尽早排除不可能”？ |\n| 候选生成   | 召回可能相关对象  | 怎么“不漏掉好结果”？  |\n| 结果排序   | 选出最优 TopK | 怎么“定义相关性”？   |\n\n后文所有技术，都会被映射到这一模型中。\n\n---\n\n## 二、搜索空间裁剪：减少问题规模\n\n> **第一性原则：先排除，再计算**\n\n### 2.1 基础数据结构裁剪\n\n| 技术      | 裁剪思想      |\n| ------- | --------- |\n| 数组 / 链表 | 顺序扫描（无裁剪） |\n| 树（B+树）  | 有序空间二分    |\n| 哈希      | 等值映射      |\n| 跳表      | 多层有序跳跃    |\n\n本质：**利用数据分布的结构性，减少比较次数**。\n\n---\n\n### 2.2 状态型裁剪结构\n\n| 技术    | 本质作用                      |\n| ----- | ------------------------- |\n| 位图    | 用空间换时间的集合表示               |\n| 布隆过滤器 | 高概率否定（False Positive 可接受） |\n\n👉 核心思想：\n\n> **“快速否定”比“精确肯定”更重要**\n\n---\n\n### 2.3 空间裁剪（地理与多维空间）\n\n#### GeoHash\n\n* 将连续空间 → 离散字符串\n* 将多维空间 → 一维有序空间\n\n本质：\n\n> **空间映射为前缀可比较的有序编码**\n\n#### 四叉树 / 前缀树\n\n* 层级化空间扩张\n* 由近及远、由细到粗\n\n---\n\n## 三、候选生成：召回“可能相关”的对象\n\n> **候选生成允许不精确，但不允许漏掉“好结果”**\n\n### 3.1 关键词候选生成：倒排索引\n\n#### 倒排索引的本质\n\n> **从“文档为中心”转为“词项为中心”**\n\n结构抽象：\n\n* Term Dictionary：词 → 倒排列表的映射\n* Posting List：词 → 文档集合\n\n#### 倒排索引的工程加速思想\n\n| 技术                  | 解决的问题    |\n| ------------------- | -------- |\n| 跳表                  | 有序集合快速跳过 |\n| 哈希                  | 大小集合交集   |\n| 位图 / Roaring Bitmap | 大规模集合运算  |\n\n本质：\n\n> **集合运算优化，而非单点查找**\n\n---\n\n### 3.2 向量候选生成：相似性召回\n\n#### 向量检索的第一性问题\n\n> **相似度计算是连续空间中的“近邻搜索”问题**\n\n精确搜索不可扩展，因此必须近似。\n\n---\n\n### 3.3 近似最近邻（ANN）的三大范式\n\n| 范式  | 本质思想    | 代表技术          |\n| --- | ------- | ------------- |\n| 哈希型 | 相似对象进同桶 | LSH / SimHash |\n| 量化型 | 空间离散压缩  | PQ            |\n| 图搜索 | 小世界导航   | HNSW          |\n\n共同目标：\n\n> **用结构性假设，避免全量距离计算**\n\n---\n\n## 四、结果排序：定义“相关性”\n\n> **排序不是数学问题，而是价值判断问题**\n\n### 4.1 统计相关性模型\n\n| 模型     | 核心假设         |\n| ------ | ------------ |\n| TF-IDF | 区分度来自“少见但频繁” |\n| BM25   | 词频收益递减       |\n\n---\n\n### 4.2 图与全局重要性\n\n* PageRank\n\n本质：\n\n> **相关性不仅来自内容，也来自结构关系**\n\n---\n\n### 4.3 学习排序模型\n\n逻辑回归 / Learning to Rank：\n\n> **相关性 = 多信号加权的工程妥协**\n\n---\n\n## 五、近似 TopK：工程中的必然选择\n\n### 5.1 为什么必须近似\n\n* 精确 TopK 代价随规模爆炸\n* 用户对“绝对最优”不敏感\n\n👉 目标转为：\n\n> **只要最好的结果在 TopK 里即可**\n\n---\n\n### 5.2 典型近似策略\n\n| 策略     | 本质    |\n| ------ | ----- |\n| 离线排序截断 | 计算前移  |\n| 分层索引   | 高质量优先 |\n| 胜者表    | 有损剪枝  |\n\n---\n\n## 六、索引工程：时间换稳定性的艺术\n\n### 6.1 不可变索引思想\n\n* 索引一旦生成，不再修改\n* 更新通过“新索引替换旧索引”\n\n体现：\n\n* Double Buffer\n* 全量 + 增量索引\n\n---\n\n### 6.2 分层合并（LSM 思想）\n\n> **写入快，查询通过合并优化**\n\n* 增量 → 天级 → 周级 → 全量\n\n本质：\n\n> **用时间换空间与稳定性**\n\n---\n\n### 6.3 索引拆分\n\n* 业务维度\n* 哈希分区\n* 关键词分区\n\n本质：\n\n> **并行化是唯一的扩展手段**\n\n---\n\n## 七、检索范式的演进\n\n```\n关键词检索 → 统计排序 → 语义向量 → 混合检索 → RAG\n```\n\n### 7.1 RAG 的本质定位\n\nRAG 并不是“新检索”，而是：\n\n> **检索作为上下文构建系统，为生成服务**\n\n它继承了所有传统检索的工程约束。\n\n---\n\n## 八、工程原则总结（稳定知识层）\n\n1. 先裁剪，再计算\n2. 离线优于在线\n3. 不可变优于可变\n4. 近似优于精确\n5. 空间换时间\n6. 并行化优于单机优化\n\n## 关联内容（自动生成）\n\n- [/中间件/数据库/索引.md](/中间件/数据库/索引.md) 数据库索引技术与检索技术在索引结构和查询优化方面有诸多相通之处，包括B+树、哈希索引等数据结构的应用\n- [/算法与数据结构/查找.md](/算法与数据结构/查找.md) 查找算法是检索技术的基础，包括二分查找、哈希查找等基本算法，构成了检索系统的核心组件\n- [/算法与数据结构/基本数据结构.md](/算法与数据结构/基本数据结构.md) 数据结构的选择直接影响检索效率，包括树、图、哈希表等结构在检索系统中的应用\n- [/数据技术/大数据.md](/数据技术/大数据.md) 大数据技术与检索技术紧密相关，特别是在海量数据的存储、索引和查询方面有共同的技术挑战\n- [/数据技术/数据存储.md](/数据技术/数据存储.md) 数据存储方式影响检索性能，包括存储结构、压缩技术等对检索效率的影响\n- [/中间件/数据库/ElasticSearch.md](/中间件/数据库/ElasticSearch.md) ElasticSearch是现代检索系统的典型实现，提供了全文检索、分布式搜索等功能\n- [/数据技术/推荐系统.md](/数据技术/推荐系统.md) 推荐系统中的相似性计算与检索技术中的向量检索有相似之处，都涉及相似度计算和TopK选择\n- [/算法与数据结构/排序.md](/算法与数据结构/排序.md) 排序算法是检索系统结果排序的基础，不同的排序策略影响检索结果的质量和性能\n- [/数据技术/数据仓库.md](/数据技术/数据仓库.md) 数据仓库中的OLAP查询与检索技术在多维数据分析和查询优化方面有相似之处\n- [/数据技术/数据建模.md](/数据技术/数据建模.md) 数据建模中的维度设计与检索技术中的索引策略有密切关系，两者都需要考虑数据的组织方式以提升查询效率\n","metadata":"tags: ['数据技术', '数据结构', '数据库', '思维方法论']","hasMoreCommit":true,"totalCommits":19,"commitList":[{"date":"2026-02-12T14:07:03+08:00","author":"MY","message":"doc: 整理标签","hash":"290b3e8ad18f48832ac282290238d020fc030a88"},{"date":"2026-01-11T16:22:51+08:00","author":"MY","message":"docs(检索技术): 重构检索技术文档并添加多媒体资源","hash":"caeaf81d05cce7f1ba3322e4c80b107f679f9d09"},{"date":"2024-11-21T09:48:16+08:00","author":"MY","message":"📦检索技术","hash":"b3ebd6a3b3a2c6f5d3f87797c69894201fd65991"},{"date":"2024-08-20T14:46:36+08:00","author":"MY","message":"✏检索技术","hash":"c920733484b2ad5669cda9225702a081c987aa1c"},{"date":"2024-08-06T19:57:37+08:00","author":"MY","message":"✏检索技术","hash":"b0feadaa57bf1c2553f3429462af93b7c466af60"},{"date":"2024-08-02T17:13:55+08:00","author":"MY","message":"✏检索技术","hash":"dd7659e473caa3c1d5547156dfe4caf28c267034"},{"date":"2024-07-03T19:45:04+08:00","author":"MY","message":"✏ES","hash":"cc13bf605acd71bf859a8f43bbd0b468fd38ac73"},{"date":"2024-07-02T19:02:55+08:00","author":"MY","message":"✏ES","hash":"7afbf581c1077070bdef293d73cccbe11550dfe0"},{"date":"2024-04-02T18:43:36+08:00","author":"MY","message":"✏数据库","hash":"b5ca237b4d2ce050f4dd0918af4cb0be969b0b02"},{"date":"2023-11-17T16:08:50+08:00","author":"MY","message":"✏Redis","hash":"d29fc4e4c292a10d3dde9449cbc5c04bca349d25"}],"createTime":"2022-11-22T20:55:17+08:00"}