博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
otter跳过部分binlog,规避找不到binlog的问题
阅读量:6915 次
发布时间:2019-06-27

本文共 1646 字,大约阅读时间需要 5 分钟。

    因为BI的需要,需要将数据库A库的某些表传输至到另外的一个数据库B中。数据除了新增外,还需要更新 修改与删除的记录,所以自增ID的增量添加是满足不了需求的。

通过选型引入了阿里的Otter 框架,有一段时间工作正常。

某天BI说数据不同步了,登陆上otter Manager , 发现pipeline 有报错

详情pid:1 nid:1 exception:canal:xxx-db:3306;:java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index fileat com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:95)at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:121)at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:209)at java.lang.Thread.run(Thread.java:745)

心想出事了,日志跟不回来了。

 

最后为了修复数据及恢复同步,做了如下步骤:

1. DLL 不同步

2. 指定列进行同步

3. 收集 Master  binlog 文件及位点信息

4. 手工复制对应的表

5. 修复 canal 位点设置 

6. 重启对应的Channel , 并检查是否有新的业务数据写入

 

其中第5点走了点弯路,记录下来以备后用

1. 不用在 otter Manager 中修改位点信息, 修改了是不会生效的,估计是BUG

2. 正确修改办法是 修改 otter 关联的zk 集群记录 

3. 修改路径为  /otter/canal/destinations/xxx-db:3306;/1/cursor    

修改journalName 及position 的值  内容如下:

{"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"xxx-db","port":3306}},"postion":{"included":false,"journalName":"binlog.000014","position":753033499,"serverId":1463306,"timestamp":1515496795000}}

命令 样例   set  /otter/canal/destinations/xxx-db:3306;/1/cursor  {"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"xxx-db","port":3306}},"postion":{"included":false,"journalName":"binlog.0001000","position":38,"serverId":1463306,"timestamp":1515496795000}}

 

转载于:https://www.cnblogs.com/firmament/p/8360261.html

你可能感兴趣的文章
第 46 章 Regular expression (正则表达式)
查看>>
入坑IT都快十年了
查看>>
【spring Boot】spring boot获取资源文件的三种方式【两种情况下】
查看>>
(转) 机器学习很有趣Part6:怎样使用深度学习进行语音识别
查看>>
ASP.NET遇到HTTP 错误 403.14 - Forbidden Web 服务器被配置为不列出此目录的内容
查看>>
Android Gradle 自定义Task 详解
查看>>
数据结构之树、森林和二叉树的转换
查看>>
svn服务器配置以及自动同步到web服务器
查看>>
【CSS进阶】伪元素的妙用2 - 多列均匀布局及title属性效果
查看>>
【VS2013】设定Nuget代理
查看>>
php xls 导出乱码解决方案
查看>>
SwipeBackActivity 的使用
查看>>
逻辑卷、物理卷、卷组 的关系
查看>>
tkinter 弹出窗口 传值回到 主窗口
查看>>
百度面试
查看>>
1211Bug with integer literals in PLSQL
查看>>
Linux 权限管理之目录权限限制
查看>>
再谈矩阵分解在推荐系统中的应用
查看>>
ABAP 面试问题及答案(一):数据库更新及更改 SAP Standard (转)
查看>>
Top 10 JavaScript编辑器,你在用哪个?
查看>>