Kafka 高性能原理
Kafka 为什么这么快？PageCache、sendfile、顺序写盘——这些底层技术的巧妙组合成就了 Kafka 的超高吞吐。
一、Kafka 的 IO 模型
- 1.1 基于磁盘的消息持久化——不是内存队列
- 1.2 为什么用磁盘还能这么快——六字秘诀”顺序写 + 零拷贝”
- 1.3 传统 IO 的 4 次拷贝 + 4 次上下文切换
二、零拷贝（Zero Copy）
- 2.1
sendfile()系统调用——DMA 直接传输 - 2.2 2 次拷贝 + 2 次上下文切换
- 2.3
mmap()内存映射——另一种零拷贝 - 2.4 Kafka 中的
FileChannel.transferTo()——Java 层面的零拷贝 - 2.5 适用条件——不需要修改数据内容
三、PageCache 的读缓存
- 3.1 操作系统的页面缓存
- 3.2 读操作命中 PageCache——不需要走磁盘
- 3.3 Kafka 消费者延迟消费的受益
- 3.4
direct buffer刷盘的时机——log.flush.interval.messages
四、顺序写盘
- 4.1 机械硬盘的顺序写 vs 随机写——性能差 100 倍
- 4.2 SSD 的顺序写 vs 随机写——差距缩小但仍显著
- 4.3 Kafka 的日志结构——追加写，不可变
- 4.4 分区内的顺序保证
五、分区与并行
- 5.1 分区的并行处理能力
- 5.2 消费组的并行消费
- 5.3 分区数对吞吐的影响
六、批量与压缩
- 6.1 Producer 的批量发送——
batch.size/linger.ms - 6.2 消息压缩——gzip / snappy / lz4 / zstd
- 6.3 压缩比与吞吐的权衡
七、ISR 机制与可靠性
- 7.1 ISR（In-Sync Replicas）——同步副本列表
- 7.2
ACK = 0 / 1 / -1(all)三种确认级别 - 7.3
min.insync.replicas——最少同步副本数
八、总结
- 高性能的四大支柱：零拷贝 + PageCache + 顺序写 + 批量压缩
- 这些设计如何协同工作
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 谜思录！
相关推荐
2015-11-28
Redis String 类型详解
Redis 的 String 类型能存数字、能存 JSON、能存二进制，底层到底用了什么数据结构？其他类型的内部编码又是什么？ 一、RedisObject——一切数据的基础 1.1 type——对外暴露的类型（String/List/Hash/Set/ZSet） 1.2 encoding——内部编码（int/embstr/raw/ziplist/skiplist 等） 1.3 ptr——指向实际数据的指针 1.4 refcount——引用计数，用于共享对象 二、String 的三种内部编码 2.1 in...
2019-09-28
Nacos AP/CP 模式切换原理
Nacos 同时支持 AP 和 CP 模式，它是怎么做到的？背后的 Raft 和 Distro 协议各自解决什么问题？ 一、注册中心的 CAP 困境 1.1 为什么注册中心需要 CAP 选择 1.2 Eureka 的 AP 选择——优先可用性 1.3 ZooKeeper 的 CP 选择——优先一致性 1.4 Nacos 的混合选择——可切换 二、Nacos 的 AP 模式——Distro 协议 2.1 Distro 的设计目标——最终一致性 + 高可用 2.2 数据同步机制——每个节点都能写入 2.3 健康检查——临时实例的心跳检测 2.4 Distro 的一致性保证——异步复制 ...
2018-06-02
SQL 执行全链路
SELECT * FROM user WHERE id = 1 —— 这简单一行，在 MySQL 内部经历了什么？ 一、MySQL 整体架构 1.1 Server 层——连接器、查询缓存、分析器、优化器、执行器 1.2 存储引擎层——InnoDB / MyISAM / Memory 1.3 架构图——各组件的位置 二、连接器 2.1 TCP 握手 + 身份认证 2.2 权限读取——连接建立时读取，之后不变 2.3 连接管理——wait_timeout 空闲连接超时 2.4 长连接 vs 短连接——长连接 OOM 问题 三、查询缓存（MySQL 8.0 已移除）...
2019-03-16
MySQL 事务隔离与 MVCC
可重复读级别下，为什么读不到别的事务已提交的数据？MVCC（多版本并发控制）是 InnoDB 的答案。 一、事务的 ACID 1.1 Atomicity——redo log（重做日志） 1.2 Consistency——由其他三个保证 1.3 Isolation——MVCC + 锁 1.4 Durability——redo log 二、四种隔离级别 2.1 READ UNCOMMITTED——脏读 2.2 READ COMMITTED——不可重复读 2.3 REPEATABLE READ（InnoDB 默认）——幻读（部分解决） 2.4 SERIALIZABLE——串行化 三、M...
2019-06-15
MySQL 锁机制详解
死锁是怎么发生的？SELECT ... FOR UPDATE 到底锁了什么？本文系统梳理 MySQL 的锁体系。 一、锁的分类总览 1.1 按粒度——全局锁、表级锁、行级锁 1.2 按模式——共享锁（S）、排他锁（X）、意向锁（IS/IX） 1.3 按算法——记录锁、间隙锁、临键锁 二、全局锁 2.1 FLUSH TABLES WITH READ LOCK——全库只读 2.2 使用场景——全库备份（mysqldump --master-data） 2.3 风险——业务停摆 三、表级锁 3.1 表锁——LOCK TABLES ... READ/WRITE 3.2 元数据锁...
2017-06-03
Netty 线程模型详解
Netty 的高性能离不开其精巧的线程模型。从 Boss 线程接收连接到 Worker 线程处理 IO，主从 Reactor 模型如何落地？ 一、Netty 线程模型概述 1.1 BossGroup 和 WorkerGroup 的职责划分 1.2 EventLoop——Netty 的线程抽象 1.3 一个 EventLoop 绑定一个线程——thread-safe 的保证 二、EventLoopGroup 的创建 2.1 NioEventLoopGroup——Boss / Worker 的创建 2.2 线程数设置——new NioEventLoopGroup(1) vs ...