Elasticsearch 倒排索引原理
ES 为什么能这么快搜索出结果？倒排索引 + FST + Skip List 的组合，近实时搜索的秘密。
一、全文搜索的挑战
- 1.1 MySQL
LIKE '%keyword%'——全表扫描 - 1.2 全文索引的局限性——不支持复杂查询
- 1.3 ES 的优势——分布式 + 倒排索引
二、倒排索引的结构
- 2.1 正排索引——文档 ID → 内容
- 2.2 倒排索引——词项 → 文档 ID 列表
- 2.3 Posting List——包含该词的文档列表
- 2.4 Term Dictionary——所有词项的有序集合
三、Term Dictionary 的压缩
- 3.1 FST（有限状态转换器）——前缀压缩
- 3.2 为什么比 HashMap 省内存
- 3.3 FST 的结构演示
四、Posting List 的压缩
- 4.1 Frame of Reference（FOR）——增量编码
- 4.2 Roaring Bitmap——跳跃表 + Bitmap
- 4.3 压缩率对比
五、相关性评分
- 5.1 TF（词频）——词在文档中出现次数
- 5.2 IDF（逆文档频率）——词在多少文档中出现
- 5.3 BM25 算法——TF-IDF 的改进版
- 5.4
_score的计算
六、近实时搜索
- 6.1 写入过程——Buffer → Refresh → Segment → Commit
- 6.2
refresh_interval——默认 1 秒 - 6.3
translog——防止数据丢失 - 6.4 Segment 合并——减少文件数
七、总结
- ES 搜索快的核心——倒排索引 + FST + Roaring Bitmap
- 近实时 ≠ 实时
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 谜思录！
相关推荐
2017-06-03
Netty 线程模型详解
Netty 的高性能离不开其精巧的线程模型。从 Boss 线程接收连接到 Worker 线程处理 IO，主从 Reactor 模型如何落地？ 一、Netty 线程模型概述 1.1 BossGroup 和 WorkerGroup 的职责划分 1.2 EventLoop——Netty 的线程抽象 1.3 一个 EventLoop 绑定一个线程——thread-safe 的保证 二、EventLoopGroup 的创建 2.1 NioEventLoopGroup——Boss / Worker 的创建 2.2 线程数设置——new NioEventLoopGroup(1) vs ...
2015-11-28
Redis String 类型详解
Redis 的 String 类型能存数字、能存 JSON、能存二进制，底层到底用了什么数据结构？其他类型的内部编码又是什么？ 一、RedisObject——一切数据的基础 1.1 type——对外暴露的类型（String/List/Hash/Set/ZSet） 1.2 encoding——内部编码（int/embstr/raw/ziplist/skiplist 等） 1.3 ptr——指向实际数据的指针 1.4 refcount——引用计数，用于共享对象 二、String 的三种内部编码 2.1 in...
2019-09-28
Nacos AP/CP 模式切换原理
Nacos 同时支持 AP 和 CP 模式，它是怎么做到的？背后的 Raft 和 Distro 协议各自解决什么问题？ 一、注册中心的 CAP 困境 1.1 为什么注册中心需要 CAP 选择 1.2 Eureka 的 AP 选择——优先可用性 1.3 ZooKeeper 的 CP 选择——优先一致性 1.4 Nacos 的混合选择——可切换 二、Nacos 的 AP 模式——Distro 协议 2.1 Distro 的设计目标——最终一致性 + 高可用 2.2 数据同步机制——每个节点都能写入 2.3 健康检查——临时实例的心跳检测 2.4 Distro 的一致性保证——异步复制 ...
2016-09-17
Kafka 高性能原理
Kafka 为什么这么快？PageCache、sendfile、顺序写盘——这些底层技术的巧妙组合成就了 Kafka 的超高吞吐。 一、Kafka 的 IO 模型 1.1 基于磁盘的消息持久化——不是内存队列 1.2 为什么用磁盘还能这么快——六字秘诀”顺序写 + 零拷贝” 1.3 传统 IO 的 4 次拷贝 + 4 次上下文切换 二、零拷贝（Zero Copy） 2.1 sendfile() 系统调用——DMA 直接传输 2.2 2 次拷贝 + 2 次上下文切换 2.3 mmap() 内存映射——另一种零拷贝 2.4 Kafka 中的 FileChannel.transferTo...
2025-06-01
向量数据库选型对比
RAG 系统的核心基础设施——向量数据库。三大主流方案怎么选？从性能到运维全方位对比。 一、向量数据库的核心能力 1.1 向量存储——高维向量的持久化 1.2 ANN 检索——近似最近邻搜索 1.3 过滤——标量过滤 + 向量搜索 1.4 评估指标——召回率、QPS、延迟 二、Milvus——专业向量数据库 2.1 架构——计算存储分离 2.2 索引算法——HNSW / IVF_FLAT / IVF_PQ 2.3 索引参数调优——M / efConstruction 2.4 Java SDK 使用 2.5 优点——向量检索性能最强 2.6 缺点——独立...
2019-06-15
MySQL 锁机制详解
死锁是怎么发生的？SELECT ... FOR UPDATE 到底锁了什么？本文系统梳理 MySQL 的锁体系。 一、锁的分类总览 1.1 按粒度——全局锁、表级锁、行级锁 1.2 按模式——共享锁（S）、排他锁（X）、意向锁（IS/IX） 1.3 按算法——记录锁、间隙锁、临键锁 二、全局锁 2.1 FLUSH TABLES WITH READ LOCK——全库只读 2.2 使用场景——全库备份（mysqldump --master-data） 2.3 风险——业务停摆 三、表级锁 3.1 表锁——LOCK TABLES ... READ/WRITE 3.2 元数据锁...