中國煤炭地質(zhì)總局煤航集團：為數(shù)據(jù)處理裝上“超級大腦”

每天，除定期巡檢服務(wù)器、接待來訪客戶等工作外，中國煤炭地質(zhì)總局煤航集團煤航大數(shù)據(jù)中心工程師陳衛(wèi)斌還有一項重要工作：在“大數(shù)據(jù)中心資源使用統(tǒng)計表”上登記，調(diào)配計算資源，以滿足各項目的數(shù)據(jù)計算需求。

“目前項目已排到2020年12月底?！标愋l(wèi)斌邊登記邊說。

數(shù)據(jù)計算是煤航大數(shù)據(jù)中心針對實景三維、地質(zhì)災害遙感識別、多元遙感影像的集成與整合等高密計算而提供的一項服務(wù)功能。批處理、速度快、算力大幅提升，如同給數(shù)據(jù)處理裝上“超級大腦”。運行近5個月，經(jīng)不斷測試，煤航大數(shù)據(jù)中心計算功能完全滿足超密數(shù)據(jù)計算需求。

建成地理空間大數(shù)據(jù)中心

伴隨云計算、5G、人工智能等信息技術(shù)的不斷發(fā)展，我國“數(shù)字化”“智慧化”進程加快，其對地理信息行業(yè)的生產(chǎn)效率及其產(chǎn)品豐富性的要求也越來越高。數(shù)據(jù)計算是數(shù)據(jù)處理的重要環(huán)節(jié)，提高地理空間數(shù)據(jù)的計算效率尤為迫切。

作為中國煤炭地質(zhì)總局從事地理信息技術(shù)研發(fā)與應用的高科技企業(yè)，煤航大數(shù)據(jù)中心不斷生產(chǎn)遙感、測繪等地理空間數(shù)據(jù)，并且每年以100萬億字節(jié)速度增長。

與大多數(shù)國有企業(yè)類似，煤航大數(shù)據(jù)中心曾存在“數(shù)據(jù)孤島”現(xiàn)象，大部分數(shù)據(jù)分散在基層企業(yè)，數(shù)據(jù)處理由下屬企業(yè)自行完成。煤航大數(shù)據(jù)中心航測工程分公司作為測繪數(shù)據(jù)主要生產(chǎn)單位，近年來承接的實景三維模型項目不斷增多，其中涉及大量的傾斜航攝像片數(shù)據(jù)處理，對計算資源要求更高。

“以前數(shù)據(jù)處理都是在公司作業(yè)室完成，由一臺主機分發(fā)給多個分機。”航測工程分公司三維中心主任趙帥表示，有時項目時間緊張，這種計算方式存在設(shè)備配置低、穩(wěn)定性差、分機占用速度慢等問題，嚴重影響生產(chǎn)效率。

解決行業(yè)數(shù)據(jù)痛點成為當務(wù)之急。煤航大數(shù)據(jù)中心緊緊抓住“數(shù)字化”“新基建”等重大機遇，結(jié)合信息技術(shù)，建成地理空間大數(shù)據(jù)中心。

“我們建立服務(wù)器集群和‘數(shù)據(jù)湖’，實現(xiàn)資源統(tǒng)一調(diào)配和管理，打造敏捷高效的數(shù)據(jù)接收、存儲、處理和分析平臺，以實現(xiàn)設(shè)施資源的最大化集成利用。”煤航集團黨委書記、董事長賴百煉介紹。最大限度地整合計算資源、存儲資源和網(wǎng)絡(luò)資源、提升算力，是煤航大數(shù)據(jù)中心功能之一。

數(shù)據(jù)處理效率提升3倍

煤航大數(shù)據(jù)中心建成后隨即投入測試。測試結(jié)果顯示，一個房地一體化項目的4萬多張無人機傾斜影像，如果按照以往計算模式，大概需要12天才能完成。使用煤航大數(shù)據(jù)中心分配的計算資源，大概需要4天時間就能完成。數(shù)據(jù)處理效率至少提升了3倍。

該中心相關(guān)人員表示，煤航大數(shù)據(jù)中心架構(gòu)穩(wěn)定、容錯能力強、效率高，能夠滿足現(xiàn)行三維實景生產(chǎn)的需求，運行效率能夠達到業(yè)內(nèi)較高水平。目前，該公司承接的項目中涉及高密數(shù)據(jù)的計算均由煤航大數(shù)據(jù)中心完成。

煤航大數(shù)據(jù)中心的超算功能對承接的地質(zhì)災害項目中的光學遙感、雷達遙感數(shù)據(jù)處理也發(fā)揮了重要作用。煤航遙感信息公司承擔的“藏東南地區(qū)地質(zhì)災害隱患綜合遙感識別與調(diào)查”項目涉及16萬平方公里地質(zhì)災害早期識別，大約2000景SAR數(shù)據(jù)。

“該項目涉及數(shù)據(jù)量大，時間任務(wù)重，高性能數(shù)據(jù)計算成為重中之重?！痹摴舅みb感所所長羅東海介紹，公司常規(guī)的計算機難以承擔如此大面積的數(shù)據(jù)計算。

“以前都是先將數(shù)據(jù)裁剪成多個子區(qū)塊進行處理，然后對處理后的值區(qū)塊進行拼接，需要180天才能完成；借助大數(shù)據(jù)中心分配的計算資源，對這些數(shù)據(jù)進行批處理，同等條件下僅需60天就可以完成，數(shù)據(jù)處理效率提高了3倍，且?guī)缀尉葍?yōu)于傳統(tǒng)方法。”通過項目驗證，羅東海給出結(jié)論：批處理、運行速度快，多線程處理之間互不影響。

截至目前，煤航大數(shù)據(jù)中心已為航測、遙感、地信、智慧鐵路、工程監(jiān)理等企業(yè)的數(shù)據(jù)處理提供了計算服務(wù)，對實景三維、地質(zhì)災害遙感識別、多元遙感影像的集成與整合等高密數(shù)據(jù)具備高效處理能力。

“目前主要是分配計算資源，一旦遇上重大緊急項目，大數(shù)據(jù)中心可以集中軟硬件資源，集中力量辦大事，處理速度將比現(xiàn)在更快，效率也將更高?！标愋l(wèi)斌對大數(shù)據(jù)中心超算優(yōu)勢充滿信心。（魯建偉 杜旭濤）