如何向集群中添加新的节点

 时间:2024-10-12 17:21:39

1、说明:Hadoop集群已经运行正常,现在新买了一些机子,要加入到集群里面增加新的节点。以下就是增加的过程。

如何向集群中添加新的节点

2、配置运行环境:安装与master和其他slave相同的java环境,jdk版本要相同。具体安装过程这里不再赘述。修改新节点的ip和主机名对应关系,修改/etc/hosts配置文件,定义ip与hostname的映射。

如何向集群中添加新的节点

3、关闭新节点防火墙,因为Hadoop集群是在内网环境运行,可以关闭防火墙。配置新节点ssh免密码登录,使得master可以免密码登录到新节点主机。过程这里不再赘述。

如何向集群中添加新的节点

4、修改集群所有节点相关配置文件:彭榧逡钚修改集群所有节点(master和所有slave)的${HADOOP_HOME}/conf/sla即枢潋雳ves文件,增加新节点ip或hostname:新节点ip 新节点主机名:同时,集群所有节点上修改系统的/etc/hosts配置文件,增加ip与hostname的映射和上面修改slaves相同。

如何向集群中添加新的节点

5、新节点增加Hadoop:将master(namenode)中的配置拷贝到新节点(datanode),而且新节点的Hadoop的目录路径最好是和集群的其他节点一样,便于查看和管理。这一步只要用scp拷贝即可。

如何向集群中添加新的节点

6、负载均衡作用:当节点出现敀障,或新增加节点时,数据块可能分布不均垮樨怯礤匀,负载均衡可重新平衡各个datanode上数据块的分布,使得所有的节点数据和负载能处于一个相对平们倪玺骋均的状态,从而避免由于新节点的加入而效率降低(如果不进行balance,新数据一般会被插入到新节点中)

如何向集群中添加新的节点
  • js如何实现3d饼状图
  • Can't set attribute错误怎么办?
  • 大学怎么分宿舍
  • javascript使网页字体文本闪烁
  • 如何检测冷藏肉类的鲜度
  • 热门搜索
    关于元旦的英语手抄报 安全的手抄报内容 美德少年手抄报图片 登革热手抄报 让世界充满爱手抄报 数学手抄报图片大全 手抄报怎么画 心理手抄报 卫生手抄报图片 规范语言文字手抄报