一、什么是Dbsyncer

1、介绍

Dbsyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景,支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

2、特点

1、组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射2、关系实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志。

应用场景:

连接器数据源目标源支持版本(包含以下)
MySQL√√5.7.19以上
Oracle√√11g-19c
SqlServer√√2008以上
PostgreSQL√√9.5.25以上
ES√√6.x-7.x
Kafka开发中√2.10-0.9.0.0以上
File√√*.txt,*.unl
SQL√支持以上关系型数据库
Sqlite√
后期计划Redis

3、下载安装包

1.安装JDK 1.8(省略详细)
2.下载安装包dbsyncer-x.x.x.zip(也可手动编译)
3.解压安装包,Window执行bin/startup.bat,Linux执行bin/startup.sh
4.打开浏览器访问:http://127.0.0.1:18686
5.账号和密码:admin/admin

4、阿里云镜像地址

docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest

5、手动编译

先确保环境已安装JDK和Maven

$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh

二、Linux安装Dbsyncer

1.下载好安装包后,把安装包放在虚拟机的 /opt/momodules

 2.然后解压到 /opt/installs下,在安装目录下执行 bin/startup.sh 即可启动。

 http://192.168.184.129:18686     
端口号为虚拟机的ip地址
账号密码为:admin

三、MySQL to Elasticsearch全量同步

1、添加连接

2、添加驱动

选择全量同步

3、添加表同步关系

4、点击数据源表,目标源表

5、默认关系可能是这样 

6、高级设置

我这次做的表较简单就没有修改高级设置

7、启动

 8、结果

 四、MySQL to Elasticsearch增量同步

1、修改驱动为增量同步

2、启动

刚才忘记截启动的图,运行完再截的,大家不要介意

3、结果

不用之后最好是点个停止,不要让它一直等待。

Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐