数据库中间件承担应用与数据库之间的功计点粘合与润滑,数据库中间件设计的聊聊合理应用跑起来就丝滑,否则会拉胯。数据本文就常见数据库组件相关的库组功能设计点做个归纳整理:
分库分表组件主要为分担数据库压力,功计点通过多库多表承接请求。聊聊尽管拥有众多的数据分库分表组件,Apache ShardingSphere作为Apache的库组顶级项目依旧是主流。无论直接使用还是功计点基于其二次开发或者自研,均值得研究。聊聊
客户端直连数据库,数据分布式无中心化,库组主要针对java语言,数据库连接消耗多。
客户端先连接到Proxy代理,通过代理连接数据库,能够跨语言,消耗数据库的连接数少(仅代理直接连接数据库),但是中心化风险点也主要在此。
网格化代理还在规划中,从当前蚂蚁对外提供的service mesh商业方案中,还没DB的mesh,下沉能力的同时,也带来了数据面和控制面板的复杂性。
https://github.com/apache/shardingsphere.git
备注:当前还是客户端直连数据库为主流,中心化的Proxy依然有公司采纳然占比依旧很少,至于Sidecar模式的大规模使用还在未来。
将Mysql数据同步到消息队列或者其他数据存储源,常用开源组件为canal。
https://github.com/alibaba/canal
![](https://gitee.com/laoliangcode/md-picture/raw/master/img/mysql binlog 解析.png)
在异地多活场景中数据库的双向同步、跨机房灾备的单向同步等场景,常用组件otter。
https://github.com/alibaba/otter
其他类似组件:dataLink、databus
https://github.com/ucarGroup/DataLink
https://github.com/linkedin/databus
备注:在单/双向同步场景中通常伴随着DDL的同步。
当随着数据同步的场景越来越多,为每个不同的数据源写一个同步插件变得复杂和不好维护,此时可以考虑搭建一个数据同步平台。
备注:数据同步平台社区也有开源DataX可供参考。
https://github.com/alibaba/DataX/blob/master/introduction.md
Flink-CDC
https://github.com/ververica/flink-cdc-connectors
在分布式数据库中最好使用分布式全局唯一ID作为数据记录的唯一标识,原因也很简单,主要是避免主键冲突。
生成全局唯一ID的方案有很多,常见的有:
雪花算法: 由Twitter创建生成全局唯一ID算法,一个Snowflake ID组成共64位构成如下,如果不需要这么多位可以改造缩短一些长度。
Twitter Scala 版本:
https://github.com/twitter-archive/snowflake/tree/scala_28https://github.com/twitter-archive/snowflake/releases/tag/snowflake-2010
雪花算法java版本参考:
https://github.com/beyondfengyu/SnowFlake/blob/master/SnowFlake.java
将常用的一些与DB相关需要手动的创建的自动化、可视化。
(责任编辑:百科)
基石科技控股(08391.HK)完成配发6962.5万股 每股0.40港元
凯撒文化(002425.SZ)公布消息:一季度净利润预增80%