業(yè)務(wù)場景

公司的一個日志系統(tǒng)用到了clickhouse。一線運(yùn)維反映說有個生產(chǎn)環(huán)境因為異常斷電造成服務(wù)器重啟。在執(zhí)行日志系統(tǒng)的啟動腳本時，一直報clickhouse啟動不起來，日志系統(tǒng)無法使用。

問題排查

通過閱讀啟動腳本代碼，以及啟動日志系統(tǒng)，我發(fā)現(xiàn)mysql、redis等項目依賴的以及項目本身都能啟動，唯獨(dú)clickhouse啟動不起來。ps一下，確實也找不到clickhsoue的啟動進(jìn)程。

 systemctl restart clickhouse-server #重啟systemctl start clickhouse-server # 啟動systemctl status clickhouse-server　＃查看狀態(tài)

于是先執(zhí)行一下重啟，然后查看clickhouse的啟動狀態(tài)
可以看到是自動重啟狀態(tài)。
然后就去找日志，看看clickhouse是出了什么毛病，怎么導(dǎo)致自動重啟狀態(tài)了
日志一般在/var/log/clickhouse-server/目錄下，然后進(jìn)去查看日志，發(fā)現(xiàn)了問題所在。

這里可以看到，有個表報錯。上網(wǎng)查了一下，是因為異常斷電時寫入數(shù)據(jù)導(dǎo)致的。

解決方案

網(wǎng)上的解決方案有不少，不過我是按照小改動的原則，更改了那張異常的表結(jié)構(gòu)。報錯的時候會給你提示報錯的是哪張表以及它所在的位置。你找到它，然后在里面修改建表語句這樣設(shè)置

SETTINGS max_suspicious_broken_parts = 1000,index_granularity = 8192

然后重啟就好啦。
這里的問題解決方案參考別人的博客。

服務(wù)器強(qiáng)制關(guān)閉、異常斷電等導(dǎo)致clickhouse數(shù)據(jù)損壞Suspiciously many broken parts to remove