数据同步如何实现低延时和高可用

 时间:2024-10-12 19:52:37

1、Select:数据接入,Extract:数据抽取,并行化调度可解决Extract/Transform阶段的IO瓶颈,实现数据同步的低延时。

数据同步如何实现低延时和高可用

2、将处理过程分为 SETL 4个Stage,利用queue连接起来形成一个pipeline的处理链,并且在Stage中利用控制器进行资源的调控,提升资源利用率。

数据同步如何实现低延时和高可用

3、为了保证有序性,一份i艘绒庳焰nstance(对应于一个server上的数据队列,1个server对应1..n个instance)同一骀旬沃啭时间只能由一个canal client进行get/ack/rollback操作。

数据同步如何实现低延时和高可用

4、使用zookeeper临时节点,会话失效,节点自动删除;Manager监听Node节点,节点故障时进入冻结期,冻结期后如果节点没有回复,启动HA流程进行切换。

数据同步如何实现低延时和高可用

5、zookeeperr集群容灾;Manager多机房容灾:连接失败切换到下一台;Node节点跨IDC机房部署实现机房容灾。

数据同步如何实现低延时和高可用

6、使用DBProxy实现mysql协议的数据库代理,提供分库分表、读写分离、数据汇聚功能,并对应用层屏蔽分库分表。

数据同步如何实现低延时和高可用

7、在数据同步组件中也加入逻辑表的概念,实现自动获取库表信息并生成数据表配置,大大减小了配置的工作量。

数据同步如何实现低延时和高可用
  • DOS批处理根据文件日期时间修改相片文件的名称
  • CListCtrl设置指定行背景颜色
  • Win10一截图就黑屏怎么解决
  • SQL查询结果区分大小写
  • 3步解决开机后无法进入系统
  • 热门搜索
    迎新年手抄报 新春手抄报 安全第一手抄报 开学第一课手抄报小学 国庆手抄报内容 关于禁毒的手抄报 抗击疫情的手抄报 端午节的手抄报图片 英语手抄报图片简单又漂亮 关于宪法的手抄报