【云棲大會】阿里云計算能力實現(xiàn)多項突破 BigBench規(guī)模全球首次被拓展至100TB
10月12日，阿里巴巴集團副總裁周靖人在云棲大會上發(fā)布了阿里云在大數(shù)據(jù)計算能力上的新突破：將BigBench數(shù)據(jù)規(guī)模擴展到100T；流計算2.0每秒峰值達千萬QPS，整體鏈路延時亞秒級；E-MapReduce對比同類產(chǎn)品平均性能提升3倍。
周靖人說，數(shù)據(jù)是機器智能創(chuàng)新的基礎，擁有充沛的計算能力才能全面釋放數(shù)據(jù)的價值。我們希望通過不斷的釋放阿里云的計算紅利，幫助開發(fā)者抓住更多市場機遇。
BigBench全球首次達到100TB
TPCx-BigBench是大數(shù)據(jù)端到端真實復雜的業(yè)界領先測試基準，目前，TPC官網(wǎng)公布的測試最大規(guī)模為10TB，最佳性能是1491.23BBQpm。
當天，阿里云與Intel合作，在最新的Intel硬件上，基于公共云發(fā)布的BigBench On MaxCompute+PAI，全球首次將規(guī)模拓展到100TB，達到7000 BBQpm，也是首個基于公共云服務的Benchmark。
據(jù)介紹，大會結束后，MaxCompute會在公共云開放一個月的測試環(huán)境，并開源BigBench On MaxCompute+PAI的SDK（繼承自TPCx-Bigbench，并使之運行在阿里云的大數(shù)據(jù)環(huán)境上），供開發(fā)者驗證試用。
在規(guī)模上的優(yōu)秀表現(xiàn)，得益于MaxCompute的海量數(shù)據(jù)處理能力和機器學習算法高效性，MaxCompute基于阿里云自主研發(fā)的分布式操作系統(tǒng)飛天，單集群服務器規(guī)?？梢赃_到萬臺以上，數(shù)據(jù)規(guī)模達到EB級。
在性能上，MaxCompute新一代處理引擎從Compiler、Optimizer、Runtime等模塊進行的持續(xù)深度優(yōu)化。此外，MaxCompute與Intel開展深度合作，軟硬結合深度優(yōu)化。
英特爾數(shù)據(jù)中心事業(yè)部副總裁Robert Hays - ”我們非常高興能夠和阿里云共同在最新的英特爾® 至強® 可擴展處理器平臺上對MaxCompute進行深度優(yōu)化，并見證阿里云MaxCompute在BigBench測試中表現(xiàn)出的優(yōu)異成績“。
更快的流計算StreamCompute 2.0
在流計算方面，周靖人透露將于10月底在公共云發(fā)布新的版本。StreamCompute 2.0基于Apache Flink，并為開源社區(qū)提供了大量阿里內(nèi)部的改進和優(yōu)化。
新版流式計算2.0的特點包括：
1. 高吞吐低時延處理能力，單作業(yè)峰值達數(shù)千萬的QPS，相比于StreamCompute 1.0有10+倍提升
2. SQL化的流式分析語言，由阿里巴巴計算事業(yè)部實時計算團隊主導開發(fā)并回饋社區(qū)的BlinkSQL；BlinkSQL支持完備的流式處理語義，支持包括多種窗口、亂序容忍、完整DDL支持
3. 精準的數(shù)據(jù)處理語義，提供Exactly-once處理語義，同時為減少磁盤IO，提供增量CheckPoint，優(yōu)化存儲空間。
E-MapReduce性能3倍提升
E-MapReduce產(chǎn)品是阿里云上基于開源大數(shù)據(jù)的云服務產(chǎn)品，包括15+個開源組件的一站式大數(shù)據(jù)解決方案。周靖人現(xiàn)場發(fā)布了基于本地硬盤以及計算存儲分離的大數(shù)據(jù)解決方案。
周靖人介紹，為了解決大數(shù)據(jù)處理以及機器學習的統(tǒng)一調(diào)度難題，E-MapReduce產(chǎn)品實現(xiàn)了CPU/GPU的混合調(diào)度方案，使得數(shù)據(jù)預處理以及數(shù)據(jù)訓練可以在一個平臺上解決。
E-MapReduce對于數(shù)據(jù)讀寫的性能至關重要，產(chǎn)品通過對于對象存儲OSS的優(yōu)化，使得讀寫OSS的性能是同類產(chǎn)品的3倍，對于計算和存儲分離的大數(shù)據(jù)解決方案的產(chǎn)品化形式變得可以落地。
周靖人說，數(shù)據(jù)是機器智能創(chuàng)新的基礎，擁有充沛的計算能力才能全面釋放數(shù)據(jù)的價值。我們希望通過不斷的釋放阿里云的計算紅利，幫助開發(fā)者抓住更多市場機遇。
BigBench全球首次達到100TB
TPCx-BigBench是大數(shù)據(jù)端到端真實復雜的業(yè)界領先測試基準，目前，TPC官網(wǎng)公布的測試最大規(guī)模為10TB，最佳性能是1491.23BBQpm。
當天，阿里云與Intel合作，在最新的Intel硬件上，基于公共云發(fā)布的BigBench On MaxCompute+PAI，全球首次將規(guī)模拓展到100TB，達到7000 BBQpm，也是首個基于公共云服務的Benchmark。
據(jù)介紹，大會結束后，MaxCompute會在公共云開放一個月的測試環(huán)境，并開源BigBench On MaxCompute+PAI的SDK（繼承自TPCx-Bigbench，并使之運行在阿里云的大數(shù)據(jù)環(huán)境上），供開發(fā)者驗證試用。
在規(guī)模上的優(yōu)秀表現(xiàn)，得益于MaxCompute的海量數(shù)據(jù)處理能力和機器學習算法高效性，MaxCompute基于阿里云自主研發(fā)的分布式操作系統(tǒng)飛天，單集群服務器規(guī)?？梢赃_到萬臺以上，數(shù)據(jù)規(guī)模達到EB級。
在性能上，MaxCompute新一代處理引擎從Compiler、Optimizer、Runtime等模塊進行的持續(xù)深度優(yōu)化。此外，MaxCompute與Intel開展深度合作，軟硬結合深度優(yōu)化。
英特爾數(shù)據(jù)中心事業(yè)部副總裁Robert Hays - ”我們非常高興能夠和阿里云共同在最新的英特爾® 至強® 可擴展處理器平臺上對MaxCompute進行深度優(yōu)化，并見證阿里云MaxCompute在BigBench測試中表現(xiàn)出的優(yōu)異成績“。
更快的流計算StreamCompute 2.0
在流計算方面，周靖人透露將于10月底在公共云發(fā)布新的版本。StreamCompute 2.0基于Apache Flink，并為開源社區(qū)提供了大量阿里內(nèi)部的改進和優(yōu)化。
新版流式計算2.0的特點包括：
1. 高吞吐低時延處理能力，單作業(yè)峰值達數(shù)千萬的QPS，相比于StreamCompute 1.0有10+倍提升
2. SQL化的流式分析語言，由阿里巴巴計算事業(yè)部實時計算團隊主導開發(fā)并回饋社區(qū)的BlinkSQL；BlinkSQL支持完備的流式處理語義，支持包括多種窗口、亂序容忍、完整DDL支持
3. 精準的數(shù)據(jù)處理語義，提供Exactly-once處理語義，同時為減少磁盤IO，提供增量CheckPoint，優(yōu)化存儲空間。
E-MapReduce性能3倍提升
E-MapReduce產(chǎn)品是阿里云上基于開源大數(shù)據(jù)的云服務產(chǎn)品，包括15+個開源組件的一站式大數(shù)據(jù)解決方案。周靖人現(xiàn)場發(fā)布了基于本地硬盤以及計算存儲分離的大數(shù)據(jù)解決方案。
周靖人介紹，為了解決大數(shù)據(jù)處理以及機器學習的統(tǒng)一調(diào)度難題，E-MapReduce產(chǎn)品實現(xiàn)了CPU/GPU的混合調(diào)度方案，使得數(shù)據(jù)預處理以及數(shù)據(jù)訓練可以在一個平臺上解決。
E-MapReduce對于數(shù)據(jù)讀寫的性能至關重要，產(chǎn)品通過對于對象存儲OSS的優(yōu)化，使得讀寫OSS的性能是同類產(chǎn)品的3倍，對于計算和存儲分離的大數(shù)據(jù)解決方案的產(chǎn)品化形式變得可以落地。
下一篇：阿里視頻云總經(jīng)理朱照遠：阿里云成中國第一視頻云！CDN客戶突破24萬+！上一篇：【云棲大會】世紀互聯(lián)受邀參加阿里云棲大會 Switch+高能數(shù)據(jù)中心揭開面紗
責任編輯：張馳
阿里云海外籌建云數(shù)據(jù)中心
章文嵩：阿里云CDN新架構可擴展到近100G的流量