1、首先将数据文件在本地使用lzop命令压缩。
2、将lzo文件上传到hdfs
3、给Lzo文件建立索引Index(两种方式)
4、运行hadoop jar
5、如若未在程序中配置输入和输出都为Lzo格式,可以在命令行通过 -D 开头的参数进行配置
6、.查看结果文件
7、查看结果Lzo文件的内容
时间:2024-10-26 16:01:41
1、首先将数据文件在本地使用lzop命令压缩。
2、将lzo文件上传到hdfs
3、给Lzo文件建立索引Index(两种方式)
4、运行hadoop jar
5、如若未在程序中配置输入和输出都为Lzo格式,可以在命令行通过 -D 开头的参数进行配置
6、.查看结果文件
7、查看结果Lzo文件的内容