HDFS 分布式文件系统入门
HDFS 是 Hadoop 生态的基石。理解它的架构，就理解了大数据的存储哲学——用一堆廉价机器组成可靠的文件系统。
一、HDFS 的设计目标
- 1.1 硬件故障是常态——容错设计
- 1.2 流式数据访问——一次写入多次读取
- 1.3 大文件优先——不适合大量小文件
- 1.4 移动计算比移动数据更划算
二、核心架构
- 2.1 NameNode——元数据管理，命名空间
- 2.2 DataNode——实际存储数据块
- 2.3 Secondary NameNode——不是热备，是检查点
- 2.4 心跳机制——DataNode 定期汇报
三、数据块与副本
- 3.1 Block 大小——默认 128MB
- 3.2 副本策略——默认 3 副本
- 3.3 机架感知——副本放置策略
- 3.4 为什么大块更高效
四、读写流程
- 4.1 写数据——Pipeline 流水线写入
- 4.2 读数据——就近原则
- 4.3 数据完整性——校验和
五、常用命令
- 5.1
hdfs dfs -ls / -put / -get - 5.2
hdfs dfsadmin -report - 5.3 NameNode 高可用——JournalNode
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 谜思录！
相关推荐
2017-07-01
MapReduce 编程模型
“先 Map 再 Reduce”——这个简单的编程模型是分布式计算的经典范式。通过 WordCount 入门 MapReduce。 一、分治思想 1.1 单机处理大文件的困境 1.2 Map——分而治之，并行处理 1.3 Reduce——汇总合并 1.4 为什么叫 MapReduce——函数式编程渊源 二、WordCount 完整流程 2.1 输入——一行一行读 2.2 Map 阶段——切词 + 计数 2.3 Shuffle 阶段——按 Key 分组 2.4 Reduce 阶段——累加求和 2.5 完整的数据流图示 三、MapReduce 编程要素 3.1 Mapper 类——m...
2017-01-15
大数据技术栈概览
大数据技术名词繁多，刚接触时很容易迷失。本文从”解决了什么问题”的视角，帮你建立全景认知。 一、大数据的核心挑战 1.1 单机处理不了——数据量超过磁盘/内存 1.2 三个核心问题——存储、计算、查询 1.3 分布式是唯一出路 二、Hadoop 生态 2.1 HDFS——分布式文件系统，解决”存在哪” 2.2 MapReduce——分布式计算框架，解决”怎么算” 2.3 YARN——资源调度，解决”谁先算” 2.4 Hadoop 的局限——MapReduce 太慢 三、Spark——内存计算的崛起 3.1 为什么比 MapReduce 快——内存 vs 磁盘 3.2 S...
2017-10-01
Hive 入门实践
写 MapReduce 太繁琐了。Hive 让你用熟悉的 SQL 语法查询 HDFS 上的海量数据，大大降低大数据门槛。 一、Hive 是什么 1.1 数据仓库工具——不是数据库 1.2 SQL → MapReduce 的翻译器 1.3 适用场景——离线批处理，不适用 OLTP 1.4 Hive 与 MySQL 的本质区别 二、数据模型 2.1 Database——命名空间 2.2 Table——逻辑表，数据在 HDFS 2.3 Partition——目录级分区 2.4 Bucket——文件级分桶 三、建表与加载数据 3.1 内部表 vs 外部表 3.2 ROW FORMAT——...
2018-07-15
Flink 流处理入门
Flink 是新一代流处理引擎，它把批处理看作流处理的”特例”。本文带你快速入门 Flink 的核心概念。 一、流处理 vs 批处理 1.1 批处理——处理有界数据 1.2 流处理——处理无界数据 1.3 Flink 统一了两种模型 二、核心概念 2.1 DataStream——流数据抽象 2.2 Operator——算子（map/filter/keyBy） 2.3 Window——时间窗口 2.4 Watermark——处理乱序数据 三、时间语义 3.1 Event Time——事件发生的时间 3.2 Processing Time——数据被处理的时间 3....
2018-10-13
HBase 列式存储基础
HBase 是 Hadoop 生态中的 NoSQL 数据库，基于 HDFS，支持海量数据的随机读写。适合什么场景？与 MySQL/MongoDB 有何不同？ 一、HBase 的数据模型 1.1 RowKey——行键，唯一标识 1.2 Column Family——列族 1.3 Column Qualifier——列名 1.4 Timestamp——多版本 1.5 与关系型数据库的对比 二、存储架构 2.1 HMaster——管理节点 2.2 RegionServer——数据节点 2.3 Region——表的水平分片 2.4 HFile——底层存储格式 三、RowKey ...
2018-04-15
Spark SQL 与 DataFrame
RDD 虽然灵活，但缺少结构信息。DataFrame 和 Spark SQL 让数据操作更像传统的 SQL 查询，性能也更好。 一、DataFrame 简介 1.1 DataFrame = RDD + Schema 1.2 与 Pandas DataFrame 的区别 1.3 创建 DataFrame——从 RDD / JSON / CSV 二、DataFrame 常用操作 2.1 select / filter / where 2.2 groupBy / agg——聚合 2.3 join——关联查询 2.4 orderB...