擊破IO瓶頸，擴(kuò)容成本降低40%，浪潮讓數(shù)據(jù)洞察更輕松 _浪潮

【關(guān)鍵詞】大數(shù)據(jù)浪潮服務(wù)器通信運(yùn)營(yíng)商

【導(dǎo)游】浪潮為國(guó)內(nèi)某通信運(yùn)營(yíng)商構(gòu)建的大數(shù)據(jù)平臺(tái)要求保存數(shù)億級(jí)用戶(hù)數(shù)據(jù)，業(yè)務(wù)對(duì)高并發(fā)和延遲要求極為嚴(yán)格，單一服務(wù)器每秒支持?jǐn)?shù)萬(wàn)次數(shù)據(jù)閱讀操作浪潮基于雙路服務(wù)器NF5280M5搭載英特爾reg;傲騰trade;持久內(nèi)存的解決方案,讓大數(shù)據(jù)平臺(tái)處理性能提升了2-3倍,擴(kuò)容成本降低多達(dá)40%,幫助用戶(hù)有效應(yīng)對(duì)復(fù)雜查詢(xún)及大數(shù)據(jù)量分析場(chǎng)景。

在數(shù)據(jù)堪比金礦的新時(shí)代，社會(huì)和企業(yè)數(shù)據(jù)迅速增加，對(duì)政府和企業(yè)來(lái)說(shuō)，從實(shí)時(shí)數(shù)據(jù)分析中洞察越來(lái)越重要。例如，疫情流行期間，政府可以分析大眾移動(dòng)數(shù)據(jù)的健康代碼、密切接觸者的動(dòng)態(tài)跟蹤、全球醫(yī)療防護(hù)物資智能調(diào)度、再生產(chǎn)狀況分析等。但是，隨著5G、AI、物聯(lián)網(wǎng)、大數(shù)據(jù)的發(fā)展，如何利用數(shù)據(jù)服務(wù)于現(xiàn)在和未來(lái)的業(yè)務(wù)，將數(shù)據(jù)轉(zhuǎn)化為真正的資產(chǎn)，成為許多企業(yè)面臨的課題。

國(guó)內(nèi)著名通信運(yùn)營(yíng)商設(shè)立的大數(shù)據(jù)有限公司是全網(wǎng)數(shù)據(jù)對(duì)外運(yùn)營(yíng)的統(tǒng)一出口，其自主開(kāi)發(fā)的UBD平臺(tái)是以Hadoop為中心的混合結(jié)構(gòu)大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)了Hadoop、Spark、Storm、Redis等開(kāi)源技術(shù)在實(shí)際生產(chǎn)服務(wù)中的規(guī)模應(yīng)用。

每秒訪問(wèn)數(shù)萬(wàn)次的操作背后，成本與性能之間的矛盾

面對(duì)急劇增加的數(shù)據(jù)處理業(yè)務(wù)需求，浪潮為該運(yùn)營(yíng)商構(gòu)建的大型數(shù)據(jù)平臺(tái)需要保存數(shù)億級(jí)用戶(hù)數(shù)據(jù)，并發(fā)和延遲要求極為嚴(yán)格

IO堵塞是SparkSQL查詢(xún)的常見(jiàn)痛點(diǎn) 。在混合并發(fā)查詢(xún)等場(chǎng)景中，由于需要訪問(wèn)的手表數(shù)據(jù)較多，存儲(chǔ)器被迅速消耗，大型數(shù)據(jù)平臺(tái)往往需要將大量數(shù)據(jù)緩存到相對(duì)低速的磁盤(pán)中，顯著的磁盤(pán)IO堵塞，CPU利用率上升到100%，系統(tǒng)速度嚴(yán)重緩慢

對(duì)于這種情況，浪潮提供了雙重服務(wù)器NF5280M5搭載英特爾reg的傲慢trade的持續(xù)內(nèi)存解決方案，傲慢的持續(xù)內(nèi)存在內(nèi)存和內(nèi)存之間的持續(xù)內(nèi)存，容量明顯大于DRAM，單一模塊可以提供128GB/256GB/512GB三個(gè)規(guī)格，有效緩解內(nèi)存不足的問(wèn)題。

打破I/O瓶頸，使數(shù)據(jù)處理更加高效

首次使用該方案，客戶(hù)更加關(guān)注服務(wù)器的穩(wěn)定性、處理能力和網(wǎng)絡(luò)I/O能力，以及與英特爾reg的傲慢浪潮NF5280M5支持2顆Intel的可擴(kuò)展處理器,單CPU最高擁有28個(gè)內(nèi)核及56線程,CPU之間采用2條10.4 GT/s UPI互連鏈路,可支持M.2和全閃,實(shí)現(xiàn)超高的存儲(chǔ)吞吐量,將I/O延時(shí)從秒、毫秒級(jí)直接降低至微秒級(jí),在數(shù)據(jù)庫(kù)、ERP、大數(shù)據(jù)分析等應(yīng)用場(chǎng)景可以體現(xiàn)極致的實(shí)際應(yīng)用性能。

采用浪潮方案后，新建的大數(shù)據(jù)平臺(tái)OAP(OptimizedAnalyticspackage)的Spark測(cè)試結(jié)果顯示，處理性能提高了2~3倍，擴(kuò)張成本下降了40% 。大數(shù)據(jù)平臺(tái)的性能提高有助于用戶(hù)有效應(yīng)對(duì)復(fù)雜的查詢(xún)和大數(shù)據(jù)量分析場(chǎng)景，顯著改善數(shù)據(jù)分析應(yīng)用延遲等表現(xiàn) 。

【擊破IO瓶頸，擴(kuò)容成本降低40%，浪潮讓數(shù)據(jù)洞察更輕松】搭載傲慢的持續(xù)存儲(chǔ)器，浪潮服務(wù)器使新技術(shù)的應(yīng)用更加簡(jiǎn)單，在傳統(tǒng)存儲(chǔ)器和存儲(chǔ)器之間搭建橋梁，幫助用戶(hù)在接近處理器的存儲(chǔ)器系統(tǒng)中加載規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)以往的數(shù)據(jù)集，滿足包括存儲(chǔ)器數(shù)據(jù)庫(kù)在內(nèi)的大部分存儲(chǔ)器