大数据处理系统：Hadoop源代码情景分析
更新时间：2020-02-21 18:11:15
封面
版权信息
前言
第1章 大数据与Hadoop
1.1 什么是大数据
1.2 大数据的用途
1.3 并行计算
1.4 数据流
1.5 函数式程序设计与Lambda演算
1.6 MapReduce
1.7 大数据处理平台
1.8 Hadoop的由来和发展
1.9 Hadoop的MapReduce计算框架
1.10 Hadoop的分布式容错文件系统HDFS
第2章 研究方法
2.1 摘要卡片
2.2 情景分析
2.3 面向对象的程序设计
2.4 怎样阅读分析Hadoop的代码
第3章 Hadoop集群和YARN
3.1 Hadoop集群
3.2 Hadoop系统的结构
3.3 Hadoop的YARN框架
3.4 状态机
3.5 资源管理器ResourceManager
3.6 资源调度器ResourceScheduler
第4章 Hadoop的RPC机制
4.1 RPC与RMI
4.2 ProtoBuf
4.3 Java的Reflection机制
4.4 RM节点上的RPC服务
4.5 RPC客户端的创建
第5章 Hadoop作业的提交
5.1 从“地方”到“中央”
5.2 示例一：采用老API的ValueAggregatorJob
5.3 示例二：采用新API的WordCount
5.4 示例三：采用ToolRunner的QuasiMonteCarlo
5.5 从Job.submit()开始的第二段流程
5.6 YARNRunner和ResourceMgrDelegate
第6章 作业的调度与指派
- APP免费
6.1 作业的受理
- APP免费
6.2 NM节点的心跳和容器周转
- APP免费
6.3 容器的分配
- APP免费
第7章 NodeManager与任务投运
- APP免费
7.1 AMLauncher与任务投运
- APP免费
7.2 MRAppMaster或AM的创建
- APP免费
7.3 资源本地化
- APP免费
7.4 容器的投运
- APP免费
第8章 MRAppMaster与作业投运
- APP免费
8.1 MRAppMaster
- APP免费
8.2 App资源与容器
- APP免费
8.3 容器的跨节点投送和启动
- APP免费
8.4 目标节点上的容器投运
- APP免费
8.5 Uber模式下的本地容器分配与投运
- APP免费
8.6 任务的启动
- APP免费
8.7 MapTask的运行
- APP免费
8.8 ReduceTask的投运
- APP免费
第9章 YARN子系统的计算框架
- APP免费
9.1 MapReduce框架
- APP免费
9.2 Streaming框架
- APP免费
9.3 Chain框架
- APP免费
9.4 Client与ApplicationMaster
- APP免费
第10章 MapReduce框架中的数据流
- APP免费
10.1 数据流和工作流
- APP免费
10.2 Mapper的输入
- APP免费
10.3 Mapper的输出缓冲区MapOutputBuffer
- APP免费
10.4 作为Collector的MapOutputBuffer
- APP免费
10.5 环形缓冲区kvbuffer
- APP免费
10.6 对MapOutputBuffer的输出
- APP免费
10.7 Sort和Spill
- APP免费
10.8 Map计算的终结与Spill文件的合并
- APP免费
10.9 Reduce阶段
- APP免费
10.10 Merge
- APP免费
10.11 Reduce阶段的输入和输出
- APP免费
第11章 Hadoop的文件系统 HDFS
- APP免费
11.1 文件的分布与容错
- APP免费
11.2 目录节点NameNode
- APP免费
11.3 FSNamesystem
- APP免费
11.4 文件系统目录FSDirectory
- APP免费
11.5 文件系统映像FsImage
- APP免费
11.6 文件系统更改记录FSEditLog
- APP免费
11.7 FSEditLog与Journal
- APP免费
11.8 EditLog记录的重演
- APP免费
11.9 版本升级与故障恢复
- APP免费
第12章 HDFS的DataNode
- APP免费
12.1 DataNode
- APP免费
12.2 数据块的存储
- APP免费
12.3 RamDisk复份的持久化存储
- APP免费
12.4 目录扫描线程DirectoryScanner
- APP免费
12.5 数据块扫描线程DataBlockScanner
- APP免费
第13章 DataNode与NameNode的互动
- APP免费
13.1 DataNode与NameNode的互动
- APP免费
13.2 心跳HeartBeat
- APP免费
13.3 BlockReport
- APP免费
第14章 DataNode间的互动
- APP免费
14.1 数据块的接收和存储
- APP免费
14.2 命令DNA_TRANSFER的执行
- APP免费
第15章 HDFS的文件访问
- APP免费
15.1 DistributedFileSystem和DFSClient
- APP免费
15.2 FsShell
- APP免费
15.3 HDFS的打开文件流程
- APP免费
15.4 HDFS的读文件流程
- APP免费
15.5 HDFS的创建文件流程
- APP免费
15.6 文件租约
- APP免费
15.7 HDFS的写文件流程
- APP免费
15.8 实例
- APP免费
第16章 Hadoop的容错机制
- APP免费
16.1 容错与高可用
- APP免费
16.2 HDFS的HA机制
- APP免费
16.3 NameNode的倒换
- APP免费
16.4 Zookeeper与自动倒换
- APP免费
16.5 YARN的HA机制
- APP免费
第17章 Hadoop的安全机制
- APP免费
17.1 大数据集群的安全问题
- APP免费
17.2 UGI、Token和ACL
- APP免费
17.3 UGI的来源和流转
- APP免费
17.4 Token的使用
- APP免费
第18章 Hadoop的人机界面
- APP免费
18.1 Hadoop的命令行界面
- APP免费
18.2 Hadoop的Web界面
- APP免费
18.3 Dependency Inj ect和Annotation
- APP免费
18.4 对网页的访问
- APP免费
第19章 Hadoop的部署和启动
- APP免费
19.1 Hadoop的运维脚本
- APP免费
19.2 Hadoop的部署与启动
- APP免费
19.3 Hadoop的日常使用
- APP免费
19.4 Hadoop平台的关闭
- APP免费
第20章 Spark的优化与改进
- APP免费
20.1 Spark与Hadoop
- APP免费
20.2 RDD与Stage——概念与思路
- APP免费
20.3 RDD的存储和引用
- APP免费
20.4 DStream
- APP免费
20.5 拓扑的灵活性和多样性
- APP免费
20.6 性能的提升
- APP免费
20.7 使用的方便性
- APP免费
20.8 几个重要的类及其作用
- APP免费
参考资料
更新时间：2020-02-21 18:11:15