1、Hadoop安装1)集群规划
2、项目经验之HDFS存储多目录1)确认HDFS的存储目录,保证存储在空间最大硬盘上
3、2)在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群
4、项目经验之支持LZO压缩配置1)先下载lzo的jar项目
5、2)下载后的文件名是hadoop-lzo-master,它是一个zip格式的压缩包,先进行解压,然后用maven编译。生成hadoop-lzo-0.4.20.jar。
6、3)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
7、4)同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104
8、5)core-site.xml增加配置支持LZO压缩
9、5)同步core-site.xml到hadoop103、hadoop104
10、6)启动及查看集群
11、(1)web和进程查看Web查看进程查看:jps查看各个节点状态。
12、(2)当启动发生错误的时候: 查看日志:/home/atguigu/module/hadoop-2.7.2/logs 如果进入安全模式,可以通过hdfs dfsadmin -safemode leave 停止所有进程,删除data和log文件夹,然后hdfs namenode -format 来格式化