91精品国产手机在线-白筒袜嫩萝双腿之间乳白液体-青青操手机在线视频观看-日本中文字幕人妻日韩-日韩精品在线观看视频网站-天堂资源中文最新版在线一区-欧美专区一区二区三区-国产综合亚洲欧美在线-国产精品久久久久久福利69堂

  1. 首頁 > 生活百科 >

Alibaba 螞蟻?zhàn)匝袛?shù)據(jù)庫OceanBase登頂TPC-H榜單，核心成員撰文講述背后思考( 三 )


從時(shí)間上看，AP場(chǎng)景的幾項(xiàng)關(guān)鍵技術(shù)是隨著產(chǎn)品豐富逐步完善起來的 。2014年做了基于代價(jià)的查詢優(yōu)化器 。2016年做了分布式運(yùn)行一體化執(zhí)行 。2019年和2020年分別做了向量化執(zhí)行引擎和TP、AP的資源隔離 。事實(shí)上，這些年，OceanBase的AP能力一直在不斷增強(qiáng)，只不過大家很少有機(jī)會(huì)了解 。
如果知道這些來龍去脈，大家對(duì)OceanBase沖擊TPC-H這件事兒，也許就沒那么奇怪了 。今天我們的用戶場(chǎng)景和產(chǎn)品定位也都需要產(chǎn)品具備這樣的能力，從這個(gè)角度上講，OceanBase正式進(jìn)入到HTAP產(chǎn)品時(shí)代，也是市場(chǎng)的選擇 。
從2017年開始，我每年都會(huì)投入相當(dāng)比例的時(shí)間拜訪外部客戶 。在這個(gè)過程中，深刻感受到，對(duì)于HTAP，不同客戶有不一樣的認(rèn)知 。
其中一部分用戶使用的是典型的TP、AP獨(dú)立架構(gòu) 。這類用戶以互聯(lián)網(wǎng)公司居多，受目前流行的解決方案影響 。系統(tǒng)設(shè)計(jì)之初就將TP和AP系統(tǒng)分開，通過中間鏈路同步數(shù)據(jù) 。這類用戶一般有兩個(gè)痛點(diǎn)，一個(gè)是實(shí)時(shí)性要求高的分析邏輯無法在TP數(shù)據(jù)庫中原地完成，只能等數(shù)據(jù)同步到AP數(shù)據(jù)庫中再做 。另外就是系統(tǒng)難以運(yùn)維，尤其是中小型的客戶，運(yùn)維人員得熟悉兩套系統(tǒng)，還要時(shí)刻關(guān)注中間數(shù)據(jù)鏈路的穩(wěn)定性，技術(shù)門檻很高 。
另外一部分用戶，一直使用的是像Oracle這樣的傳統(tǒng)的數(shù)據(jù)庫，對(duì)于TP和AP的邊界認(rèn)知比較模糊，尤其是Oracle的處理能力很強(qiáng)，很多復(fù)雜查詢?nèi)拥絆racle里面也能跑 。在一次某大型客戶的業(yè)務(wù)上線過程中，壓測(cè)的最后階段，我們發(fā)現(xiàn)了非常多的復(fù)雜查詢 。當(dāng)我們?cè)儐柨蛻魹槭裁此麄兊腡P系統(tǒng)中會(huì)有如此多AP請(qǐng)求時(shí)，客戶的一句話把我們問懵了——“啥叫TP、AP請(qǐng)求？”我們?cè)趦?nèi)部也有過討論，發(fā)現(xiàn)即使是團(tuán)隊(duì)內(nèi)部大家的看法也是不一樣的 。只能說有一些場(chǎng)景偏TP類型或者偏AP類型，但很難給出絕對(duì)答案 。
越來越多的客戶案例讓我意識(shí)到，過去一直堅(jiān)持的HTAP技術(shù)方向也是很多客戶需要的 。但今天在很多客戶眼中，OceanBase就是只支持TP處理的數(shù)據(jù)庫，完全沒想到我們還有很強(qiáng)的AP處理能力 。“酒香也怕巷子深”，我們覺得這個(gè)時(shí)候打榜TPC-H，既能讓產(chǎn)品的能力進(jìn)一步提高，大家也能更了解OceanBase的價(jià)值 。
三、TPC-H新世界紀(jì)錄背后的“三座大山”
如果讓2014年的我說OceanBase什么時(shí)候能夠在TPC-C、TPC-H這樣的榜單上露個(gè)臉，我還真不知道 。
做數(shù)據(jù)庫就像蓋房子，今天OceanBase這座房子已經(jīng)到了交付階段，要給客戶的體驗(yàn)是“拎包入住”，因此水、電、裝修風(fēng)格都要做好 。而2014 年就像在“打地基”的階段，你說我將來要做某某內(nèi)飾風(fēng)格，至少當(dāng)時(shí)沒有想到那么具體的事情，但是我知道分布式一定是這個(gè)房子的“地基”，我們要蓋的是一個(gè)摩天大樓，而不是一個(gè)獨(dú)門小院 。這個(gè)是打破傳統(tǒng)數(shù)據(jù)庫設(shè)計(jì)限制的前提，想通了這個(gè)事兒，后面的技術(shù)落地就比較自然了 。
Alibaba 螞蟻?zhàn)匝袛?shù)據(jù)庫OceanBase登頂TPC-H榜單，核心成員撰文講述背后思考
文章圖片

為什么分布式數(shù)據(jù)庫是HTAP技術(shù)的未來？這個(gè)和HTAP的幾大技術(shù)挑戰(zhàn)有關(guān) 。
首先，也是最重要的事情，這個(gè)系統(tǒng)的容量一定要足夠大，擴(kuò)展性足夠強(qiáng) 。
從數(shù)據(jù)容量上看，因?yàn)锳P本身的分析要有價(jià)值，就需要聚集相當(dāng)量的數(shù)據(jù)才有價(jià)值，這是以前的單機(jī)數(shù)據(jù)庫做不到的 。一臺(tái)機(jī)器的容量，或者是幾臺(tái)機(jī)器的容量永遠(yuǎn)是受限的 。十年前，世界上最大的Oracle RAC實(shí)際系統(tǒng)只有20來個(gè)節(jié)點(diǎn) 。當(dāng)時(shí)我在Oracle經(jīng)歷的一個(gè)重要項(xiàng)目是，將RAC的集群規(guī)模擴(kuò)展到128臺(tái) 。而今天像OceanBase這樣一個(gè)分布式數(shù)據(jù)庫，做到幾百臺(tái)機(jī)器的集群規(guī)模是非常輕松的，這種規(guī)模上的區(qū)別帶來技術(shù)上的想象空間是完全不同的 。
而且在這次測(cè)試面向AP的場(chǎng)景中，又引入了一個(gè)OceanBase家族的新成員叫OceanBase File System（簡(jiǎn)稱OFS） 。這是一個(gè)分布式的共享存儲(chǔ)系統(tǒng)，基于OFS的方案在存儲(chǔ)容量上幾乎是可以無限擴(kuò)展，永遠(yuǎn)不用擔(dān)心數(shù)據(jù)沒地方存 。這就解決了整個(gè)系統(tǒng)容量的擴(kuò)展的問題 。
另外，既然要將TP和AP放到同一個(gè)集群中處理，那么集群的處理能力也要有非常強(qiáng)的可擴(kuò)展性 。這里如果再講多一些，處理能力的擴(kuò)展性還能分為“水平”擴(kuò)展和“垂直”擴(kuò)展兩個(gè)維度 。
大家看過我們TPC-C的測(cè)試結(jié)果可能還有印象 。當(dāng)時(shí)，是用了1554臺(tái)機(jī)器，把整個(gè)TP系統(tǒng)跑這么高的分?jǐn)?shù) 。這個(gè)體現(xiàn)的是OceanBase的水平擴(kuò)展能力 。
什么叫垂直擴(kuò)展性呢？就是在一臺(tái)機(jī)器內(nèi)部通過硬件擴(kuò)展（更多CPU核數(shù)、更大內(nèi)存）而提升性能 。為什么這個(gè)在HTAP下仍然有挑戰(zhàn)？因?yàn)樵赥PC-C的擴(kuò)展里面，更強(qiáng)調(diào)的是水平擴(kuò)展，換句話說，數(shù)據(jù)庫集群規(guī)模越大，性能分?jǐn)?shù)就越高 。但在AP場(chǎng)景下，用戶同時(shí)也會(huì)關(guān)心能不能實(shí)現(xiàn)垂直擴(kuò)展，比如說能不能讓一個(gè)系統(tǒng)的幾千個(gè)CPU核，幾十臺(tái)機(jī)器同時(shí)為一個(gè)查詢服務(wù) 。萬事萬物，只要涉及到“協(xié)同“，就有成本 。把協(xié)同的成本降低到最低，考驗(yàn)的是系統(tǒng)整體的設(shè)計(jì) 。

推薦閱讀