1、1.Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubating.jar拷贝到/opt/module/flume/lib文件夹下。
2、2.创建flume-file-hdfs.conf文件创建文件
3、注:要想读取Linux系统中的文件,就得按照Linux命令的规则执行命令。由于Hive日志在Linux系统中所以读取文件的类型选择:exec即execute执行的意思。表示执行Linux命令来读取文件。
4、添加如下内容
5、3.执行监控配置
6、4.开启Hadoop和Hive并操作Hive产生日志
7、5.在HDFS上查看文件。