亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及,現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會。十年來,在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下,CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò),以堅定的基石之姿,支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。
隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進,亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸,同時也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個角落。
在6月10日下午舉辦的【對象存儲論壇】上,深圳市杉巖數(shù)據(jù)技術(shù)有限公司(以下簡稱“杉巖數(shù)據(jù)”)CDN解決方案架構(gòu)師 孫永國發(fā)表了題為《CDN遇上對象存儲 杉巖CDN存儲解決方案》的精彩演講。
孫永國表示,CDN非結(jié)構(gòu)化數(shù)據(jù)存儲正處于需求量爆發(fā)的時期,CDN和對象存儲面臨著非結(jié)構(gòu)化數(shù)據(jù)帶來的變化。隨著新的CDN邊緣節(jié)點部署,CDN云傳輸和用戶訪問將發(fā)生革命性的改變。從CDN溯源到用戶就近訪問之間的邊緣云計算的數(shù)據(jù)量激增,倒逼非結(jié)構(gòu)化對象存儲升級和革新。
當前,音視頻、圖片、下載文件和靜態(tài)腳本等待上傳和處理等文件數(shù)據(jù)量龐大,數(shù)據(jù)預熱和回源數(shù)據(jù)請求的計算量給以往傳統(tǒng)的CDN中心計算提出了更高的要求,隨著CDN邊緣計算節(jié)點的普及和推廣,數(shù)據(jù)分發(fā)模式向分散式非結(jié)構(gòu)化的對象存儲演進。用戶可以訪問就近的邊緣節(jié)點,既釋放了數(shù)據(jù)分發(fā)對象存儲的壓力,又極大地滿足了用戶的需求。
加速這一對象存儲演進的根本原因是2020年數(shù)據(jù)結(jié)構(gòu)性的改變。其實,從2015年開始,新增數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)的組成部分就開始呈現(xiàn)指數(shù)型的上漲,預計會從8 ZB (2015年)快速增長到了180 ZB (2025年)。
距離時間更近一些,在2020年,有80%的新增數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)。這種結(jié)構(gòu)性的變化脫離不了用戶對音視頻產(chǎn)品和內(nèi)容的消費需求的增長。非結(jié)構(gòu)化數(shù)據(jù)主要的文件形式是文本、圖像、圖形、音頻和視頻等,在流媒體極速增長發(fā)展的今天,這些類型的數(shù)據(jù)存儲必然會呈現(xiàn)出爆發(fā)式的增長。其實,在商業(yè)領(lǐng)域,非結(jié)構(gòu)化數(shù)據(jù)更早占據(jù)了數(shù)據(jù)量的絕對占比,2020年商業(yè)領(lǐng)域,非結(jié)構(gòu)化數(shù)據(jù)已占95%。
孫永國認為,對象存儲天然匹配海量非結(jié)構(gòu)化數(shù)據(jù)場景。傳統(tǒng)的文件存儲容量上限通常到百萬級別TB,可是對象存儲尤其是非結(jié)構(gòu)化對象存儲時代,文件存儲數(shù)量上限當前可以到達百億級別EB,可謂是天壤之別。因為對象存儲采用的是HASH計算來檢索文件,無元數(shù)據(jù)檢索。
為了更好地適配非結(jié)構(gòu)化數(shù)據(jù)存儲的特點,杉巖數(shù)據(jù)在CDN平臺和各級存儲、服務、管理、接口層面實施了相應的解決方案。對象存儲MOS方面,存儲層提供雙引擎,存儲核心引擎和智能處理引擎。存儲核心引擎,提供權(quán)限管理、系統(tǒng)管理、生命周期和元數(shù)據(jù)管理等功能;智能處理引擎提供了可插拔文件處理層,專門負責視頻審核、內(nèi)容分析、自動標簽和智能生產(chǎn),這極大方便了服務層。CDN邊緣節(jié)點最后分散緩解了數(shù)據(jù)壓力,通過邊緣計算實現(xiàn)內(nèi)容分發(fā)和視頻點播。
孫永國表示,杉巖MOS模式提供的核心價值是整合存儲-管理-智能,是為了應對大數(shù)據(jù)的挑戰(zhàn),深挖客戶價值。
MOS的存儲系統(tǒng)有四個方面的升級追求,追求從高性價比到極致效益,追求從高可靠性到極致安全,追求從高并發(fā)性到極致性能,從高擴展性到極致規(guī)模。
MOS的管理策略基于四個方面的考量?;旌显拼鎯Φ慕y(tǒng)一管理,數(shù)據(jù)存放在私有云,更加安全、節(jié)省成本,業(yè)務部署在公有云,更加敏捷、高效;實現(xiàn)邊緣與中心間匯聚并發(fā),簡化總部與分支機構(gòu)的數(shù)據(jù)管理;傳統(tǒng)存儲/SDS統(tǒng)一管理,納管現(xiàn)有的設(shè)備,提高復用率;以及,全生命周期自動化管理,實現(xiàn)熱溫冷數(shù)據(jù)流動,簡化運維。
MOS為了實現(xiàn)智能地價值深挖,優(yōu)化了機器學習場景方案,加速模型訓練。同時,杉巖數(shù)據(jù)采用的智能數(shù)據(jù)處理引擎,簡化了業(yè)務流程,提升了處理效率。
基于上述架構(gòu),全分布式云存儲就像高速動車車組,每節(jié)車廂自帶動力,單個環(huán)節(jié)出現(xiàn)問題不影響整體運行,列車總動力等于所有車廂動力之和,即整體算力等于所有邊緣節(jié)點和中心之和。自然而然地,更快的上傳/訪問下載、更高的并發(fā)數(shù)據(jù)讀寫能力、百億級文件業(yè)務能力都可以實現(xiàn)。而且,值得注意的是,非結(jié)構(gòu)化數(shù)據(jù)的安全可靠性得到保證,單個節(jié)點故障,系統(tǒng)副本和糾錯機制就會啟動自愈,并且成本也更加節(jié)省,因為單節(jié)點采用通用服務器,無中心控制器,無私有平臺。
通過數(shù)據(jù)可查,杉巖MOS測試期間,對象數(shù)增長迅速,達到了30億,而性能波動卻不超過10%。開源平臺測試對象數(shù)增至4億,耗能卻下降了83%。
在論及杉巖數(shù)據(jù)面向存儲領(lǐng)域的目標時,孫永國回顧了杉巖數(shù)據(jù)的發(fā)展和業(yè)務拓展。
2015年,杉巖統(tǒng)一存儲平臺USP在制造業(yè)等行業(yè)上線商用,同期獲得上海天璣數(shù)據(jù)天使輪融資;
2016年,杉巖數(shù)據(jù)推出面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲和利用場景的智能對象存儲的杉巖對象存儲MOS產(chǎn)品,還推出自主品牌杉巖超融合一體機HyperCube產(chǎn)品,杉巖數(shù)據(jù)產(chǎn)品在中國移動獲得近10個省級私有云的大規(guī)模商用;
2017年,杉巖數(shù)據(jù)獲得順為資本領(lǐng)投的A輪融資,并通過國家高技術(shù)企認定,產(chǎn)品應用于廣發(fā)證券、廣汽豐田、湖南建工等標桿客戶,累計客戶突破100+;
2018年,杉巖數(shù)據(jù)在IDC排名亮相,對象存儲位列第二(15.1%),塊存儲位列第四(7.1%),杉巖數(shù)據(jù)收獲了累計30多項發(fā)明專利及軟件著作權(quán),成功突破中廣核、中國人保、中移物聯(lián)網(wǎng)等標桿客戶,全面覆蓋10多個行業(yè),20多個應用場景,累計上線 300+PB;
2019年,杉巖數(shù)據(jù)完成廣發(fā)乾和領(lǐng)投、深圳市人オ基金跟投的B輪融資,完成飛騰、鯤鵬、海光等國產(chǎn)CPU和操作系統(tǒng)的適配,推出全國產(chǎn)杉巖HuaYan安全存儲一體機產(chǎn)品,同年杉巖數(shù)據(jù)加入了信息技術(shù)應用創(chuàng)新工作委員會,參與編制的云計算國標 GB/T37732-2019 發(fā)布;
2020年,杉巖的業(yè)務擴展到更多的領(lǐng)域,客戶數(shù)量和服務范圍也進一步擴大,不僅完成中遠海運領(lǐng)投,襄禾資本、無錫金投跟投的 B+輪融,還中標某省級數(shù)據(jù)中心2EB單一存儲集群項目,累計服務 500多位客戶?!皵?shù)據(jù)引領(lǐng)未來,存儲無限精彩”,杉巖數(shù)據(jù)一步步走來,用軟件定義存儲領(lǐng)導廠商,用產(chǎn)品來豐富非結(jié)構(gòu)化數(shù)據(jù)存儲和利用的場景。
孫永國專門把杉巖數(shù)據(jù)的自主研發(fā)能力做了詳細的分享,當前杉巖數(shù)據(jù)取得的自主研發(fā)成果顯著,累計交付容量4500PB,杉巖數(shù)據(jù)也部署了最大單一存儲集群,達到2EB的容量。而且杉巖數(shù)據(jù)投入了大量的資源到自主研發(fā),在深圳和成都都設(shè)立了研發(fā)中心,獲得專利和軟件著作權(quán)60多項,收獲了800多位行業(yè)客戶的信賴。
杉巖數(shù)據(jù)歡迎廣泛的生態(tài)合作建立深度合作關(guān)系,在基礎(chǔ)設(shè)施生態(tài)、云生態(tài)和行業(yè)生態(tài)三個領(lǐng)域聯(lián)合了多家著名廠商、通信品牌和機構(gòu),其中不乏像華為、騰訊云、阿里云、科大訊飛這樣的頭部企業(yè)。
最后,孫永國強調(diào)了杉巖數(shù)據(jù)對國內(nèi)市場的重視與售后投入。杉巖數(shù)據(jù)的16個辦事機構(gòu)遍布全國東西南北,研發(fā)中心輻射東西,有專業(yè)的團隊支撐。杉巖數(shù)據(jù)提供全面的方案設(shè)計和專業(yè)的咨詢服務,制度化地例行重大巡檢和客戶培訓,7*24小時的售后服務也是杉巖數(shù)據(jù)的對客戶滿意度重視的體現(xiàn),及時跟蹤用戶的訴求和追求最大化的用戶滿意度,隨時為CDN對象存儲保駕護航。