Hadoop配置集群文件细节

 时间:2024-11-06 07:32:30

1、核心配置文件core-site.xml,该配置文件属于Hadoop的全局配置文件,我们主要进行配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置

Hadoop配置集群文件细节

2、Hadoop环境配置文件hadoop-env.sh,在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME,避免程序运行中出现JAVA_HOME找不到的异常。

Hadoop配置集群文件细节

3、HDFS配置文件hdfs-site.xml,在这个配置文件中主要进行配置HDFS文件系统属性配置。

Hadoop配置集群文件细节

4、YARN的环境配置文件yarn-env.sh,同样将JAVA_HOME路径配置指明。

Hadoop配置集群文件细节

5、关于YARN的配置文件yarn-site.xml,其中配置YARN的相关参数,主要配置一下两个参数。

Hadoop配置集群文件细节

6、mapreduce的环境配置文件mapred-env.sh,同样将JAVA_HOME路径配置指明。

Hadoop配置集群文件细节

7、关于MapReduce的配置文件mapred-site.xml,主要配置一个参数,指明MapReduce的运行框架为YARN.

Hadoop配置集群文件细节

8、主节点NameNode和ResourceManager的角色在配置文件中已经做了配置,从节点的角色还需指定,配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下,对slaves文件进行修改,即将3台节点全部指定为从节点,可以启动DataNode和NodeManager进程。

Hadoop配置集群文件细节

9、在集群上分发配置好的Hadoop配置文件,这样3台节点即享有相同的Hadoop的配置,可准备通过不同的进程启动命令进行启动了。

Hadoop配置集群文件细节

10、查看文件分发情况

Hadoop配置集群文件细节
  • sql删除某一行
  • Edge浏览器如何快速打开下载文件夹?
  • Oracle如何查看数据库名
  • Windows11 IP地址怎么查看方法
  • XMind如何编辑已有标签
  • 热门搜索
    最简单的手抄报 森林防火手抄报资料 熊猫手抄报 关于俄罗斯的手抄报 运动会手抄报内容 孝敬老人的手抄报 一年级手抄报内容 安全健康手抄报 感恩节的手抄报图片 交通的手抄报