家里WIFI如果發(fā)生故障，檢查下路由器基本就能發(fā)現(xiàn)原因。但對(duì)于擁有復(fù)雜架構(gòu)的云計(jì)算平臺(tái)來(lái)說(shuō)，要找出故障原因極為復(fù)雜和耗時(shí)。阿里打造出根因分析通用框架，利用AI快速定位故障根因，已應(yīng)用于部分云計(jì)算產(chǎn)品，節(jié)省時(shí)間超過(guò)一半，準(zhǔn)確率超過(guò)80%。該框架也在近期舉辦的ICASSP’22 AIOps Challenge網(wǎng)絡(luò)智能運(yùn)維國(guó)際競(jìng)賽中獲得冠軍。
ICASSP（International Conference on Acoustics, Speech and Signal Processing）是信號(hào)處理領(lǐng)域規(guī)模最大的國(guó)際學(xué)術(shù)會(huì)議。其中，ICASSP’22 AIOps Challenge網(wǎng)絡(luò)智能運(yùn)維競(jìng)賽由香港中文大學(xué)（深圳）等機(jī)構(gòu)主辦，希望用機(jī)器學(xué)習(xí)等方式來(lái)自動(dòng)找出網(wǎng)絡(luò)故障的根本原因，此次共有382支隊(duì)伍參賽。由阿里達(dá)摩院決策智能實(shí)驗(yàn)室和阿里云計(jì)算平臺(tái)組成的團(tuán)隊(duì)獲得冠軍，并受主辦方之邀將其中主要算法以論文的形式發(fā)表在ICASSP上。
阿里團(tuán)隊(duì)MindOps獲得競(jìng)賽冠軍
所謂根因分析（Root Cause Analysis），是指找到故障的根本原因，這是智能運(yùn)維AIOps的重要研究方向。以云計(jì)算平臺(tái)為例，其穩(wěn)定性至關(guān)重要，但由于架構(gòu)復(fù)雜，模塊眾多，一旦出現(xiàn)故障，如果純靠人工來(lái)排查費(fèi)時(shí)費(fèi)力，已難以滿(mǎn)足需求。因此，基于機(jī)器學(xué)習(xí)等智能方式的根因分析應(yīng)運(yùn)而生。
不過(guò)，根因分析的技術(shù)門(mén)檻頗高，挑戰(zhàn)重重。首先是運(yùn)維數(shù)據(jù)往往來(lái)源于不同系統(tǒng)，形式多樣，需要大海撈針找出關(guān)鍵信息。其次是容易被表象迷惑，大型系統(tǒng)中，故障傳播的鏈路往往很長(zhǎng)，根本原因可能隱藏在深層次節(jié)點(diǎn)中。此外還存在標(biāo)注樣本數(shù)據(jù)少，異常少見(jiàn)等問(wèn)題。
阿里打造的根因分析通用框架，解決了上述難題。針對(duì)多源異構(gòu)的海量數(shù)據(jù)，以時(shí)序分析技術(shù)來(lái)提取關(guān)鍵信息；針對(duì)標(biāo)注樣本少，利用時(shí)間序列相似性等多種方法來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)；針對(duì)故障傳播鏈路長(zhǎng)，運(yùn)用結(jié)合了專(zhuān)家經(jīng)驗(yàn)和因果圖的圖算法來(lái)找出根本原因。
該框架構(gòu)建了豐富的算法工具箱和兵器庫(kù)，已應(yīng)用于阿里云實(shí)時(shí)計(jì)算、通用計(jì)算等多個(gè)重要產(chǎn)品中，如Blink/Flink、MaxCompute、Dataworks等，幫助運(yùn)維人員及時(shí)發(fā)現(xiàn)異常，快速定位問(wèn)題根因，準(zhǔn)確率達(dá)80%以上，相較之前能節(jié)省時(shí)間一半以上。比如實(shí)時(shí)計(jì)算平臺(tái)的熱點(diǎn)機(jī)器問(wèn)題，會(huì)導(dǎo)致負(fù)載過(guò)高、作業(yè)緩慢，其原因鏈條較長(zhǎng)，可能出自硬件故障，也可能是作業(yè)本身，人工排查較為耗時(shí)，而使用該框架能夠快速定位根因。此外，它還能幫助發(fā)現(xiàn)較為隱蔽的異常，比如部分機(jī)器下線(xiàn)會(huì)導(dǎo)致資源不足，迫使一些客戶(hù)等待排隊(duì)，這些在常規(guī)集群整體作業(yè)中難以發(fā)現(xiàn)。
根因分析工具箱
此外，基于該框架的一篇論文之前還被國(guó)際頂會(huì)CIKM2021收錄，研究人員受邀作30分鐘的在線(xiàn)演講（Oral Presentation）。
關(guān)鍵詞：
責(zé)任編輯：Rex_07
