一周前，有一臺(tái)mysql服務(wù)器發(fā)生硬件故障，停機(jī)了。我們給專門負(fù)責(zé)這塊的同學(xué)提交了申請(qǐng)，他們負(fù)責(zé)去報(bào)修這臺(tái)服務(wù)器。今天這臺(tái)服務(wù)器修好后，他們將其開機(jī)啟動(dòng)。服務(wù)器上的4個(gè)mysql實(shí)例在開機(jī)后自動(dòng)啟動(dòng)，開始拉主庫(kù)的binlog。由于這臺(tái)服務(wù)器停機(jī)時(shí)間比較久，日志丟的比較多，狂拉主庫(kù)的binlog，導(dǎo)致主庫(kù)網(wǎng)絡(luò)出現(xiàn)問(wèn)題。

現(xiàn)象：
首先，我們完全沒(méi)有意識(shí)到是因?yàn)橐慌_(tái)壞掉的服務(wù)器重啟拉主庫(kù)binlog導(dǎo)致的，因?yàn)槲覀儔焊恢?這臺(tái)服務(wù)器什么情況，只知道1周前，我們報(bào)修了1臺(tái)服務(wù)器。具體什么情況，有沒(méi)有修好，有沒(méi)有開機(jī)，我們完全不知道。

在這樣的情況下，忽然聽到網(wǎng)絡(luò)的同學(xué)說(shuō)mysql有一臺(tái)機(jī)器網(wǎng)絡(luò)流量過(guò)大，導(dǎo)致業(yè)務(wù)感覺(jué)很慢，總共持續(xù)了17分鐘。其實(shí)這樣，是沒(méi)有多大頭緒的。

排查：

查看processlist、全日志、慢日志都沒(méi)有發(fā)現(xiàn)有什么問(wèn)題。

查看監(jiān)控，發(fā)現(xiàn)那段時(shí)間的服務(wù)器的讀IO驟然升高。

通過(guò)查看processlist的歷史記錄，發(fā)現(xiàn)有一段時(shí)間，主從復(fù)制的用戶 狀態(tài)是 waiting for net，通過(guò)其IP發(fā)現(xiàn)該服務(wù)器是1周前壞掉的一個(gè)slave服務(wù)器。

結(jié)論：

這臺(tái)服務(wù)器上有4個(gè)實(shí)例，服務(wù)器啟動(dòng)后，mysql實(shí)例自動(dòng)啟動(dòng)，開始向主庫(kù)上拉binlog，每個(gè)主庫(kù)每天的binlog量大概6G，4個(gè)實(shí)例1個(gè)星期大概160多G的binlog。

問(wèn)題：

1、壞掉的服務(wù)器什么時(shí)候修好，什么時(shí)候開機(jī)，我們不可控，也不知道，也沒(méi)有關(guān)注

2、這種案例其實(shí)是很簡(jiǎn)單、很典型的可能造成影響或故障的case，我們提前沒(méi)有對(duì)這個(gè)現(xiàn)象有警覺(jué)，雖然知道這是個(gè)很容易出現(xiàn)的問(wèn)題，但是在我們的case中，完全沒(méi)有這方面的意識(shí)。因此導(dǎo)致該事件發(fā)生

3、對(duì)于網(wǎng)絡(luò)流量這塊，缺乏有效監(jiān)控

解決方法：

1、所有服務(wù)器，取消開機(jī)自動(dòng)啟動(dòng)mysql，服務(wù)器開機(jī)后，人為啟動(dòng)實(shí)例，停slave。（這樣，如果服務(wù)器很多，可能過(guò)于麻煩，暫且先這樣記錄下來(lái)，總比造成影響強(qiáng)）

2、意識(shí)到該問(wèn)題，將該問(wèn)題納入避免問(wèn)題的常識(shí)庫(kù)或工作手冊(cè)中去。