怎么设置合并一次fsimage和edits文件

 时间:2024-10-11 22:56:24

1、在NameNode运行期间,HDFS的所有更新操作都是直接写到edits中,久而久之edits文件将会变得很大;虽然这对NameNode运行时候是没有什么影响的,但是我们知道当NameNode重启的时候,NameNode先将fsimage里面的所有内容映像到内存中,

怎么设置合并一次fsimage和edits文件
怎么设置合并一次fsimage和edits文件

2、然后再一条一条地执行edits中的记录,当edits文件非常大的时候,会导致NameNode启动操作非常地慢,而在这段时间内HDFS系统处于安全模式,这显然不是用户要求的。

怎么设置合并一次fsimage和edits文件

3、说明其是怎么将edits和fsimage文竭惮蚕斗件合并的,Hadoop2.x版本edits和fsimage文件合并是不同的。用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程,从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。

怎么设置合并一次fsimage和edits文件
怎么设置合并一次fsimage和edits文件

4、SecondaryNamenode是HDFS架构中的一个组成部分,它是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间而设定的!

怎么设置合并一次fsimage和edits文件

5、一般都是将SecondaryNamenode单独运行在一台机器上,那么SecondaryNamenode是如何nameno颊俄岿髭de重启的时间的。来看看SecondaryNamenode的工作情况:SecondaryNamenode会定期的和NameNode通信,请求其停止使用edits文件,暂时将新的写操作写到一个新的文件edit.new上来,这个操作是瞬间完成,上层写日志的函数完全感觉不到差别; 

怎么设置合并一次fsimage和edits文件

6、SecondaryNamenode通过HTTP GET方式从NameNode上获取到fsimage和edits文件,并下载到本地的相应目录下;  

怎么设置合并一次fsimage和edits文件
  • 四方莓莓茶与四明仙山探秘
  • 坝上冬天摄影攻略
  • 学厨师学费多少
  • 漫画栈怎么设置翻页类型
  • 土地证转让原房东找不到怎么办
  • 热门搜索
    六年级手抄报大全 防火手抄报资料 校园是我家手抄报 安全健康手抄报 交通安全小报手抄报 廉洁手抄报资料 环境教育手抄报 讲文明手抄报内容 自我保护手抄报 学科学爱科学手抄报