ETL之StreamSet软件安装

 时间:2024-10-23 01:37:45

1、这里以Centos7.5为例进行安装。

2、导航至https://streamsets.com/opensource,按图示选择下载。

ETL之StreamSet软件安装

3、这个大家伙足足有5Gb,因此准备好足够的空间和耐心。下载完成后,在该文件所在目录下执行如下命令:tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

4、解压好后,进入解压的目录内执行yum localinstall streamsets*.rpmsystemctl start sdc

5、为了能在外部访问,检查下Centos的防火墙策略,允许需要的端口出去,这里简单粗暴的关闭防火墙:systemctl stop firewalld.service

6、通过地址访问:http://localhost:18630/默认账号和密码均为admin

ETL之StreamSet软件安装

7、StreamSet有可视化流程编辑界面,并且包括50种数据源、44种数据操作、46种目的地。对于Streamsets来说,最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等;Processors可以实现对每个字段的过滤、更改、编码、聚合等操作;Destinations跟Origins差不多,可以写入Kafka、Flume、JDBC、HDFS、Redis等。甚至可以直接建立HTTP微服务Api,以供第三方调用,强大的功能吸引我们继续去探索。

  • 挖掘机空调故障检修
  • 小车与电瓶车刮擦电瓶车主不来处理怎么办
  • 简单的早餐粥小碴子燕麦粥
  • 虾米南瓜炖的做法
  • 三文鱼排的制作方法
  • 热门搜索
    关于孝的手抄报内容 安全手抄报花边 讲文明懂礼貌手抄报 关于防火的手抄报 安全健康快乐手抄报 小学四年级手抄报大全 小学生手抄报怎么做 关于俄罗斯的手抄报 预防麻疹手抄报 勤俭节约手抄报大全