课程介绍：



整套课程从hadoop入门开始，由浅入深，内置“hadoop源码解析与企业应用开发实战”，“Hive开发实战”，“Hbase开发实战”，“Spark，mahout，sqoop，storm诸模块开发实战”。因为这个课程有4个板块组成，所以学员可以按照自己的实际情况选择学习。例如，对于只需要了解hadoop基本编程的人，只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了；对于立志于从事大数据领域的零起点人员，可以选择四个板块依次学习；对于已经有一定基础的hadoop开发人员，你可以根据自己的情况，选择学习模块，而不必4个板块从头开始学。



第一部分内容：



I. Hadoop的起源与生态系统介绍。要点：

了解什么是大数据；

Google的三篇论文；

围绕Hadoop形成的一系列的生态系统；

各个子项目简要介绍



II. Hadoop集群配置与搭建。要点：

Hadoop安装与部署；

如何写配置文件；

运行简单的wordcount程序；

Hadoop程序结构介绍 实战：

Hadoop系统的安装与部署；

编写配置文件；

编写运行简单的wordcount程序。

预期收获：

了解什么是大数据以及大数据和hadoop的关系；

了解hadoop本身；

学会Hadoop系统的安装和部署；

学会配置hadoop系统；

学会编写简单的wordcount程序；



第二部分内容：



III. Common组件和HDFS组件原理及体系结构介绍。要点：

Hadoop IO机制；

序列化；

压缩；

RPC；

HDFS副本机制；

HDFS读写机制；

块选择策略；

预期收获：

掌握common组件和HDFS组件；

了解Hadoop的IO机制；

第三部分内容：



IV. MapReduce2.0组件原理及体系架构介绍。要点：

MapReduce工作原理；

类型与格式；

JT内部实现；

TT内部实现；

Task运行过程分析；



V. MapReduce2.0编程实战。要点：

Pipes编程；

Streaming编程；

动手编写MapReduce程序；

实战：

MapReduce2.0编程（Pipes，Streaming）；

编写MapReduce程序；

预期收获：

彻底掌握MapReduce这个关键模块；

第四部分内容：



VI. Hadoop集群管理与安全机制分析。要点：

Hadoop集群管理机制；

Hadoop现有安全机制



VII. YARN及ResourcManager组件。要点：

YARN/MRv2环境搭建与部署；

ResourceManager组件的分析与实战；

实战：

动手搭建YARN环境

预期收获：

掌握Hadoop的集群管理机制；

了解Hadoop现有的安全机制；

掌握YARN和ResourceManager组件。



——————-课程目录——————-



  课时1 免费试听.doc

  课时2 免费试听二.doc

  课时3 付费学员服务指引.doc

  课时4 课前环境准备.doc

  课时5 参考资料.doc

  课时6 Hadoop开源软件及其生态系统.avi

  课时7 HDFS集群的安装与部署.avi

  课时8 MapReduce集群的安装与部署.avi

  课时9 阅读练习Hadoop 伪分布式集群部署参考文档.pdf

  课时9 阅读练习ssh实现Linux无密码访问.pdf

  课时10 第一周练习.doc

  课时11 Hadoop架构答疑.avi

  课时12 HDFS架构、SNN、副本放置策略.avi

  课时13 HDFS API.avi

  课时14 练习2：HDFS组件分析1.doc

  课时15 本周答疑.avi

  课时16 准备：JNI编程基础.avi

  课时17 Hadoop IO.avi

  课时18 HDFS 压缩.avi

  课时19 HDFS 完整性.avi

  课时20 HDFS 序列化.avi

  课时21 练习3 HDFS 详细分析2.doc

  课时22 HDFS 基于文件的数据结构.avi

  课时23 Hadoop RPC 远程方法调用.avi

  课时24 练习4.doc

  课时25 MapReduce API 及工作流程(1).avi

  课时25 MapReduce API 及工作流程（2）.avi

  课时26 MapReduce工作原理（2）：错误处理、作业调度、Shuffle和Sort.avi

  课时27 MapReduce类型与格式(1).avi

  课时27 MapReduce类型与格式(2).avi

  课时28 练习5：MapReduce工作原理、流程.doc

  课时29 MapReduce重要组件_ MapReduce Combiner组件分析.avi

  课时30 MapReduce重要组件_ MapReduce Partitioner组件.avi

  课时31 MapReduce重要组件_ MapReduce Recordreader组件(2).avi

  课时32 练习6：MapReduce重要组件.doc

  课时33 MapReduce计数器.avi

  课时34 MapReduceJoin.avi

  课时35 Map端Join.avi

  课时36 MapReduce Sort.avi

  课时37 Hadoop Pipes_Streaming高级编程.avi

  课时38 练习7：MapReduce编程.doc

  课时39 Hadoop 集群管理与安全.avi

  课时40 Hbase.avi

  课时41 练习8：HBase.doc

  课时42 Yarn基础.avi

  课时43 spark讲解.avi