Hadoop教程

04 Hadoop思想与原理

本文主要是介绍04 Hadoop思想与原理,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

1.用图与自己的话,简要描述Hadoop起源与发展阶段。(作业3中剪过来)

    (1)Hadoop起源于Google的三大论文:
    GFS:Google的分布式文件系统Google File System
    MapReduce:Google的MapReduce开源分布式并行计算框架
    BigTable:一个大型的分布式数据库

    (2)Hadoop的发展:

    0.x系列版本:hadoop当中最早的一个开源版本,在此基础上演变而来的1.x以及2.x的版本
    1.x版本系列:hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等
    2.x版本系列:架构产生重大变化,引入了yarn平台等许多新特性

2.用图与自己的话,简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

名称结点(NameNode):1.负责文件和目录的创建、删除和重命名等  2.管理着数据结点和文件块的映射关系  3.处理客户端的访问请求

数据结点(DataNode):1.负责数据的存储和读取  2.根据名称结点的命令创建、删除和复制数据块  3.心跳机制,与名称结点保持通信。

第二名称结点(SecondaryNode):1.完成EditLog和FsImage的合并操作,减少EditLog文件大小,缩短名称结点重启时间  

                2.作为名称结点的”检查点“,保存名称结点中的元数据信息。

 

这篇关于04 Hadoop思想与原理的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!