一、Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构
充分利用集群的威力进行高速运算和存储，具有可靠、高效、可伸缩的特点
Hadoop的核心是Yarn、HDFS和MapReduce
- 适合大数据的分布式存储与计算平台
- HDFS: Hadoop Distributed File System分布式文件系统
- MapReduce：并行计算框架
Hadoop1.0 和 Hadoop2.0
1.从Hadoop整体框架来说
1.1 Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。
1.2 Hadoop2.0为克服Hadoop1.0中的不足：针对Hadoop1.0单NameNode制约HDFS的扩展性问题，提出HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时彻底解决了NameNode单点故障问题；
针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制分开，分别由ResourceManager（负责所有应用程序的资源分配）和ApplicationMaster（负责管理一个应用程序）实现，即引入了资源管理框架Yarn。同时Yarn作为Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，不仅限于MapReduce一种框架，也可以为其他框架使用，如Tez、Spark、Storm等