HDFS基本原理总结

小说:鼎盛娱乐官网作者:华纯侯更新时间:2019-04-19字数:92504

在他还没拥有小舞的魂环和魂骨时,就已经能承受数名魂圣的攻击而不死,最后断去的右腿还是他主动收敛了自身的防御,为救小舞刻意牺牲所致。

聚星平台登录jx

“你,你是武道之人?”“老二”缓缓起身,嘴角带着一丝鲜血,有些震惊的望着唐欣,缓缓的说道。与此同时,他感觉到自己体内的真气在减少,而且自己体内的器官在缓缓的消逝,这让“老二”惊叹不已。
然后他突然站起来,向着丛林里面飞快的跑去。叶扬微微一愣,还没等他回过神来,那人已经彻底的无影无踪了。

这样周密计算的火力网布置下来将敌人封锁在海底一个小区域当中如果换了他和阿斯兰来驾驶那一架高达的话就算是那一架高达性能再提高一倍他们也一样会被击落。

  HDFS由三个基本组件组成:NameNode,SecondaryName,DataNode,其思想类似于Linux的文件系统,可以进行类比。

1.NameNode介绍:

  1.管理整个文件系统的命名空间,内部维护了命名树。

  2.存储元数据:文件层级关系,文件所有者及权限,每个文件由哪些文件块组成(但元信息中不包括每个块的位置)。内容通过fsimage及edits维护,后文会详述。

  3.接受客户端请求

2.为什么HDFS倾向于存储大文件:

    首先,NameNode中存储一条元信息需要200byte,而元信息是保存在NameNode的内存中的,不能分布式存储,文件越小,存储同样大小的内容元信息越大,NameNode的内存有可能会成为系统存储的瓶颈。

   其次,大文件减少了磁盘的寻道时间。但是数据块过大也会出现问题,MapReduce框架通常会为每个数据块启动一个进程,数据块过大会使并行数量减少,降低任务处理效率。

3.元信息持久化:

   fsimage是NameNode的元数据镜像文件,用于存储某一时段内存的元数据信息,而系统运行期间所有元信息的操作都保存在内存中并被持久化到另一个文件edits中,edits会被周期性合并进fsimage中。合并两个日志的操作显然会占用大量的CPU,内存及IO,而NameNode中的计算及存储资源是很宝贵的,因此,通常合并操作通常交给SecondaryNameNode(注意,SecondaryNameNode作用不是热备!)。而NameNode本身通常也不会参与MapReduce计算和数据存储。

4.单点问题:

  可以发现,HDFS中NameNode是一个单点,除了定期保存fsimage用于故障恢复外,也可以在元数据写入同时将其实时同步到一个远程挂载的NFS上。

5.SecondaryNameNode作用:

  1. 减少启动时NameNode合并日志的时间

  2. 一定程度上减少了NameNode的单点问题

 

2.DataNode

  1.负责存储数据块,响应客户端读写(注意,客户端直接读写DataNode,而非经过NameNode)。

  2.根据NameNode发送的指令创建,删除和复制文件。

  3.定期向NameNode发送心跳,报告文件块列表信息。

  4.为了安全,提供了数据块冗余,默认为3个副本。数据块默认为64MB

  5.数据完整性问题:

     存储和处理数据时数据有可能发生错误或丢失,HDFS会对写入的数据计算校验和。

 

 

 

参考:

   http://www.cnblogs.com/sunddenly/category/611923.html

编辑:伯宗海建

发布时间:2019-04-19 05:08:55

当前文章://unoproduct/0xstg.html

威航娱乐登录 八马彩票平台 捕鱼平台送50元300元下分 久发娱乐h领队32569 天尊娱乐系统 亦博娱乐手机 恒峰娱乐官网 易游eu8com网页登陆 

我要说两句: (0人参与)

发布