Kafka 大数据管道应用
Kafka 不仅是消息队列，更是大数据生态的”中枢神经系统”。它连接数据生产者（业务系统）和数据消费者（Hadoop/Spark/Flink）。
一、Kafka 在大数据中的角色
- 1.1 数据总线的概念
- 1.2 解耦——生产者和消费者完全独立
- 1.3 削峰——应对流量尖峰
- 1.4 多订阅——一份数据被多方消费
二、典型架构
- 2.1 业务系统 → Kafka → Hadoop/Hive
- 2.2 业务系统 → Kafka → Spark Streaming 实时处理
- 2.3 业务系统 → Kafka → Flink 流计算
- 2.4 业务系统 → Kafka → ES 实时搜索
三、Kafka Connect
- 3.1 什么是 Kafka Connect
- 3.2 Source Connector——从外部系统拉数据
- 3.3 Sink Connector——把数据推送到外部系统
- 3.4 常用 Connector——JDBC / HDFS / ES
四、数据入湖流程
- 4.1 日志采集——Filebeat → Kafka
- 4.2 数据库 CDC——Debezium → Kafka
- 4.3 Kafka → HDFS/Hive 离线存储
- 4.4 分区策略——按时间分区
五、监控与运维要点
- 5.1 消费 Lag 监控
- 5.2 Topic 保留策略
- 5.3 分区扩容
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 谜思录！
相关推荐
2020-08-29
工作中常用的数据结构和算法
刷了几百道 LeetCode，工作时却很少用到？现实中真正有用的算法和数据结构有哪些？ 一、跳表——Redis ZSet 的核心 1.1 为什么 Redis 用跳表而不是红黑树 1.2 跳表的结构——多层索引 1.3 插入/查找的时间复杂度 二、布隆过滤器——缓存穿透克星 2.1 判断”一定不存在” 2.2 应用——防止缓存穿透、URL 去重 2.3 Guava BloomFilter 的使用 2.4 误判率与 bit 数组大小 三、一致性哈希——分布式缓存的路由 3.1 取模分片的扩容问题 3.2 哈希环 + 虚拟节点 3.3 应用——Dubbo 负载均衡、Redis...
2017-09-16
前后端分离开发实战经验
前后端分离不仅是技术架构的改变，更是团队协作模式的革新。本文总结实战中的关键点。 一、前后端分离的本质 1.1 传统 JSP/Thymeleaf 模板时代的痛点 1.2 分离后的职责边界——前端负责渲染，后端负责数据 1.3 RESTful API 是前后端的”合同” 二、接口规范先行 2.1 Swagger / YApi 统一管理接口文档 2.2 接口 Mock 数据——前端不阻塞 2.3 版本管理——/api/v1/ 策略 三、跨域问题解决 3.1 什么是跨域——同源策略 3.2 开发环境——Vue DevServer Proxy 3.3 生产环境——Ng...
2016-09-17
Kafka 高性能原理
Kafka 为什么这么快？PageCache、sendfile、顺序写盘——这些底层技术的巧妙组合成就了 Kafka 的超高吞吐。 一、Kafka 的 IO 模型 1.1 基于磁盘的消息持久化——不是内存队列 1.2 为什么用磁盘还能这么快——六字秘诀”顺序写 + 零拷贝” 1.3 传统 IO 的 4 次拷贝 + 4 次上下文切换 二、零拷贝（Zero Copy） 2.1 sendfile() 系统调用——DMA 直接传输 2.2 2 次拷贝 + 2 次上下文切换 2.3 mmap() 内存映射——另一种零拷贝 2.4 Kafka 中的 FileChannel.transferTo...
2016-12-03
Kafka 消息可靠性设计
消息中间件最怕两个问题：丢了和重了。本文从 Producer、Broker、Consumer 三个角度给出完整的可靠性设计方案。 一、消息可靠性的三端模型 1.1 Producer → Broker → Consumer 的传递链路 1.2 每一端都有丢失的可能 1.3 “至少一次” vs “最多一次” vs “精确一次” 二、Producer 端——保证发送不丢失 2.1 acks = -1(all)——所有 ISR 副本确认 2.2 retries 重试机制——网络抖动导致临时失败 2.3 max.in.flight.requests.per.connection——重试引发乱...