Yarn 发表于 2018-11-16 | 分类于 Hadoop , Yarn | | 阅读次数: Yarn的简介Yarn是Hadoop集群的资源管理系统,Hadoop2.0对MapReduce框架做了彻底的设计重构。Hadoop1.x对MapReduce job的调度管理方式主要包括两部分功能:** ResourceManagement 资源管理** 和 JobScheduling/JobMo ... 阅读全文 »
Hadoop生态圈 发表于 2018-11-16 | 分类于 Hadoop | | 阅读次数: 一、Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构 充分利用集群的威力进行高速运算和存储,具有可靠、高效、可伸缩的特点 Hadoop的核心是Yarn、HDFS和MapReduce 适合大数据的分布式存储与计算平台 HDFS: Hadoop Distrib ... 阅读全文 »
Hadoop1.0 和 Hadoop2.0 发表于 2018-11-16 | 分类于 Hadoop | | 阅读次数: 1.从Hadoop整体框架来说1.1 Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。1.2 Hadoo ... 阅读全文 »
Hadoop 指令 发表于 2018-04-30 | 分类于 Hadoop | | 阅读次数: Hadoop 指令1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件 2.puthadoop fs -put < local file > < hdfs file >hdf ... 阅读全文 »
两个人 发表于 2014-11-20 | 分类于 Novel | | 阅读次数: 一个人走进另一个人的世界是多么美好的一件事啊。 从相见到相识,从相知到相认,从独立的生命个体到相互牵连的二人世界。 每一个过程,每一个细节,都是这个世界上最美好的东西。 无需言说的默契,随时依靠的臂膀,默默注视的目光,不曾离去的身影,共赴未来的信心,心系彼此的牵挂,随时随地的想念,患难与共的执着。 ... 阅读全文 »