摘要:基本上每個(gè)跟數(shù)據(jù)庫(kù)打交道的程序員當(dāng)然也可能是你同事都會(huì)碰一個(gè)問(wèn)題,誤操作后如何快速回滾比如,一張表,忘加限制條件,整張表都沒(méi)了。誤操作后,能快速回滾數(shù)據(jù)是非常重要的。登錄確認(rèn),數(shù)據(jù)回滾成功。所以,誤操作的話一般只能通過(guò)備份來(lái)恢復(fù)。
基本上每個(gè)跟數(shù)據(jù)庫(kù)打交道的程序員(當(dāng)然也可能是你同事)都會(huì)碰一個(gè)問(wèn)題,MySQL誤操作后如何快速回滾?比如,delete一張表,忘加限制條件,整張表都沒(méi)了。假如這還是線上環(huán)境核心業(yè)務(wù)數(shù)據(jù),那這事就鬧大了。誤操作后,能快速回滾數(shù)據(jù)是非常重要的。
傳統(tǒng)解法用全量備份重搭實(shí)例,再利用增量binlog備份,恢復(fù)到誤操作之前的狀態(tài)。然后跳過(guò)誤操作的SQL,再繼續(xù)應(yīng)用binlog。此法費(fèi)時(shí)費(fèi)力,不值得再推薦。
binlog2sql快速回滾首先,確認(rèn)你的MySQL server開啟了binlog,設(shè)置了以下參數(shù):
[mysqld] server-id = 1 log_bin = /var/log/mysql/mysql-bin.log max_binlog_size = 1000M binlog-format = row
如果沒(méi)有開啟binlog,也沒(méi)有預(yù)先生成回滾SQL,那真的無(wú)法快速回滾了。對(duì)存放重要業(yè)務(wù)數(shù)據(jù)的MySQL,強(qiáng)烈建議開啟binlog。
隨后,安裝開源工具binlog2sql。binlog2sql是一款簡(jiǎn)單易用的binlog解析工具,其中一個(gè)功能就是生成回滾SQL。
git clone https://github.com/danfengcao/binlog2sql.git pip install -r requirements.txt
然后,我們就可以生成回滾SQL了。
背景:誤刪了test庫(kù)tbl表整張表的數(shù)據(jù),需要緊急回滾。
test庫(kù)tbl表原有數(shù)據(jù) mysql> select * from tbl; +----+--------+---------------------+ | id | name | addtime | +----+--------+---------------------+ | 1 | 小趙 | 2016-12-10 00:04:33 | | 2 | 小錢 | 2016-12-10 00:04:48 | | 3 | 小孫 | 2016-12-10 00:04:51 | | 4 | 小李 | 2016-12-10 00:04:56 | +----+--------+---------------------+ 4 rows in set (0.00 sec) mysql> delete from tbl; Query OK, 4 rows affected (0.00 sec) tbl表被清空 mysql> select * from tbl; Empty set (0.00 sec)
恢復(fù)數(shù)據(jù)步驟:
登錄mysql,查看目前的binlog文件
mysql> show master logs; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000046 | 12262268 | | mysql-bin.000047 | 3583 | +------------------+-----------+
最新的binlog文件是mysql-bin.000047,我們?cè)俣ㄎ徽`操作SQL的binlog位置
$ python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p"admin" -dtest -ttbl --start-file="mysql-bin.000047" 輸出: DELETE FROM `test`.`tbl` WHERE `addtime`="2016-12-10 00:04:33" AND `id`=1 AND `name`="小趙" LIMIT 1; #start 3346 end 3556 DELETE FROM `test`.`tbl` WHERE `addtime`="2016-12-10 00:04:48" AND `id`=2 AND `name`="小錢" LIMIT 1; #start 3346 end 3556 DELETE FROM `test`.`tbl` WHERE `addtime`="2016-12-10 00:04:51" AND `id`=3 AND `name`="小孫" LIMIT 1; #start 3346 end 3556 DELETE FROM `test`.`tbl` WHERE `addtime`="2016-12-10 00:04:56" AND `id`=4 AND `name`="小李" LIMIT 1; #start 3346 end 3556
生成回滾sql,并檢查回滾sql是否正確
$ python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p"admin" -dtest -ttbl --start-file="mysql-bin.000047" --start-pos=3346 --end-pos=3556 -B 輸出: INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ("2016-12-10 00:04:56", 4, "小李"); #start 3346 end 3556 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ("2016-12-10 00:04:51", 3, "小孫"); #start 3346 end 3556 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ("2016-12-10 00:04:48", 2, "小錢"); #start 3346 end 3556 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ("2016-12-10 00:04:33", 1, "小趙"); #start 3346 end 3556
確認(rèn)回滾sql正確,執(zhí)行回滾語(yǔ)句。登錄mysql確認(rèn),數(shù)據(jù)回滾成功。
$ python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p"admin" -dtest -ttbl --start-file="mysql-bin.000047" --start-pos=3346 --end-pos=3556 -B | mysql -h127.0.0.1 -P3306 -uadmin -p"admin" mysql> select * from tbl; +----+--------+---------------------+ | id | name | addtime | +----+--------+---------------------+ | 1 | 小趙 | 2016-12-10 00:04:33 | | 2 | 小錢 | 2016-12-10 00:04:48 | | 3 | 小孫 | 2016-12-10 00:04:51 | | 4 | 小李 | 2016-12-10 00:04:56 | +----+--------+---------------------+
至此,不用再擔(dān)心被炒魷魚了。
常見問(wèn)題有人會(huì)問(wèn),我DDL誤操作了怎么快速回滾?比如drop了一張大表。
很難做到。因?yàn)榧词乖谠趓ow模式下,DDL操作也不會(huì)把每行數(shù)據(jù)的變化記錄到binlog,所以DDL無(wú)法通過(guò)binlog回滾。實(shí)現(xiàn)DDL回滾,必須要在執(zhí)行DDL前先備份老數(shù)據(jù)。確實(shí)有人通過(guò)修改mysql server源碼實(shí)現(xiàn)了DDL的快速回滾,我找到阿里的xiaobin lin提交了一個(gè)patch。但據(jù)我所知,國(guó)內(nèi)很少有互聯(lián)網(wǎng)公司應(yīng)用了這個(gè)特性。原因的話,我認(rèn)為最主要還是懶的去折騰,沒(méi)必要搞這個(gè)低頻功能,次要原因是會(huì)增加一些額外存儲(chǔ)。
所以,DDL誤操作的話一般只能通過(guò)備份來(lái)恢復(fù)。如果公司連備份也不能用了,那真的建議去買張飛機(jī)票了。干啥?跑唄
mysql除了binlog2sql,是否還有其他回滾工具?
當(dāng)然有。阿里彭立勛對(duì)mysqlbinlog增加了flashback的特性,這應(yīng)該是mysql最早有的flashback功能,彭解決的是DML的回滾,并說(shuō)明了利用binlog進(jìn)行DML閃回的設(shè)計(jì)思路。DDL回滾特性也是由阿里團(tuán)隊(duì)提出并實(shí)現(xiàn)的。這兩個(gè)功能是有創(chuàng)新精神的,此后出現(xiàn)的閃回工具基本都是對(duì)上面兩者的模仿。另外,去哪兒開源的Inception是一套MySQL自動(dòng)化運(yùn)維工具,這個(gè)就比較重了,支持DML回滾,還不是從binlog回滾的,是從備份回滾的,也支持DDL回滾表結(jié)構(gòu),數(shù)據(jù)是回滾不了滴~ 還有一種做法叫slave延時(shí)備份,搞臺(tái)不加業(yè)務(wù)流量的slave,故意延遲一段時(shí)間,這其實(shí)是在傳統(tǒng)辦法的基礎(chǔ)上去除了實(shí)例恢復(fù)這步。此法會(huì)額外消耗一臺(tái)機(jī)器,我們不推薦這么做。
如有mysql回滾相關(guān)的優(yōu)秀工具優(yōu)秀文章遺漏,煩請(qǐng)告知。
我的郵箱 danfengcao.info@gmail .com
參考資料[1] 彭立勛, MySQL下實(shí)現(xiàn)閃回的設(shè)計(jì)思路
[2] Lixun Peng, Provide the flashback feature by binlog
[3] 丁奇, MySQL閃回方案討論及實(shí)現(xiàn)
[4] xiaobin lin, flashback from binlog for MySQL
[5] 王竹峰, 去哪兒inception
[6] danfengcao, binlog2sql: Parse MySQL binlog to SQL you want
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/38253.html
摘要:肖鵬微博數(shù)據(jù)庫(kù)那些事兒肖鵬,微博研發(fā)中心技術(shù)經(jīng)理,主要負(fù)責(zé)微博數(shù)據(jù)庫(kù)相關(guān)的業(yè)務(wù)保障性能優(yōu)化架構(gòu)設(shè)計(jì),以及周邊的自動(dòng)化系統(tǒng)建設(shè)。經(jīng)歷了微博數(shù)據(jù)庫(kù)各個(gè)階段的架構(gòu)改造,包括服務(wù)保障及體系建設(shè)微博多機(jī)房部署微博平臺(tái)化改造等項(xiàng)目。 showImg(https://segmentfault.com/img/bV24Gs?w=900&h=385); 對(duì)于手握數(shù)據(jù)庫(kù)的開發(fā)人員來(lái)說(shuō),沒(méi)有誤刪過(guò)庫(kù)的人生是...
閱讀 1393·2021-09-26 09:55
閱讀 1927·2019-08-30 12:45
閱讀 1069·2019-08-29 11:20
閱讀 3564·2019-08-26 11:33
閱讀 3432·2019-08-26 10:55
閱讀 1697·2019-08-23 17:54
閱讀 2392·2019-08-23 15:55
閱讀 2348·2019-08-23 14:23