在數(shù)字化轉(zhuǎn)型速度不斷提升的今天，大帶寬、低時(shí)延、高并發(fā)的場(chǎng)景不斷涌現(xiàn)，終端用戶對(duì)于網(wǎng)絡(luò)內(nèi)容反應(yīng)速率要求提升，對(duì)于CDN的應(yīng)用需求也在不斷攀升。而今正值中國(guó)CDN發(fā)展十年轉(zhuǎn)型期，提升CDN核心競(jìng)爭(zhēng)力，以CDN為切入點(diǎn)帶動(dòng)邊緣計(jì)算、分布式云計(jì)算、音視頻直播、云游戲等服務(wù)，為用戶打造更高質(zhì)量的CDN服務(wù)將成為新時(shí)代產(chǎn)業(yè)競(jìng)爭(zhēng)的關(guān)鍵所在。

8月25日，以“新征程，耀一起”為主題的2022亞太內(nèi)容分發(fā)大會(huì)暨CDN峰會(huì)在北京隆重開幕，本屆大會(huì)由亞太CDN產(chǎn)業(yè)聯(lián)盟、眾視Tech聯(lián)合主辦。亞太CDN產(chǎn)業(yè)聯(lián)盟攜手阿里云、騰訊云、網(wǎng)宿科技、火山引擎、天翼云、中興通訊、金山云等內(nèi)容分發(fā)領(lǐng)域頭部企業(yè)，為行業(yè)破舊立新、閃耀新征程發(fā)出最強(qiáng)音！

在8月25日下午舉辦的【邊緣計(jì)算論壇】上，阿里云技術(shù)專家 徐若晨發(fā)表了題為《邊緣容器云平臺(tái)的探索和實(shí)踐》的主題演講，基于阿里云大規(guī)模邊緣容器云平臺(tái)展開介紹阿里云邊緣容器云平臺(tái)的發(fā)展背景、歷程、設(shè)計(jì)與架構(gòu)，深入解析了阿里云邊緣容器云平臺(tái)上的典型業(yè)務(wù)場(chǎng)景與實(shí)踐案例，本文為整理內(nèi)容。

從用戶視角出發(fā)，當(dāng)前在邊緣側(cè)業(yè)務(wù)面臨挑戰(zhàn)眾多：

· 自建邊緣機(jī)房交付周期長(zhǎng)、資產(chǎn)重；

· 邊緣集群常態(tài)化裁撤、割接，SLA難保障；

· 單集群業(yè)務(wù)規(guī)模小、彈性差；

· 屬地性應(yīng)用多，集群維護(hù)成本高、難度大；

通過(guò)在中心和客戶現(xiàn)場(chǎng)之間，構(gòu)建起邊緣云這一層服務(wù)，就能夠解決以上問(wèn)題。邊緣云為用戶帶來(lái)的對(duì)應(yīng)方面價(jià)值主要體現(xiàn)在：

· 提升效率：為終端提供距離更近、時(shí)延更低的算力資源，支持時(shí)效性強(qiáng)、交互性強(qiáng)的業(yè)務(wù)場(chǎng)景，實(shí)現(xiàn)秒級(jí)算力交付；

· 降低成本：通過(guò)終端上移這一手段有效提升部分業(yè)務(wù)靈活性，實(shí)現(xiàn)按量付費(fèi)、彈性擴(kuò)容，降低客戶的成本；

· 易運(yùn)維：采用云原生交付方式，提升邊緣應(yīng)用可運(yùn)維性，降低客戶運(yùn)維投入

· 低時(shí)延、提升用戶體驗(yàn)：基于海量低延時(shí)的邊緣集群資源覆蓋，為客戶提供時(shí)延更低的體驗(yàn)；

基于“云-邊-端”的架構(gòu)模式，邊緣云實(shí)現(xiàn)了云端算力下沉與終端算力上移：

· 云端算力下沉：通過(guò)將應(yīng)用、算力分布式部署邊緣，從而卸載掉中心Region核心服務(wù)的負(fù)載。考慮到中心Region帶寬的成本遠(yuǎn)高于邊緣，因此對(duì)于帶寬較大的業(yè)務(wù)，在邊緣云實(shí)現(xiàn)流量的收斂再回到中心，能夠大幅度縮減帶寬的成本，為客戶提供離終端更近的算力資源，提升業(yè)務(wù)交互性與時(shí)效性；

· 終端算力上移：對(duì)終端應(yīng)用進(jìn)行瘦身的同時(shí)為應(yīng)用開發(fā)者提供標(biāo)準(zhǔn)化運(yùn)維與云邊體驗(yàn)一致的開發(fā)過(guò)程，幫助快速開發(fā)、迭代。對(duì)比終端應(yīng)用，邊緣云擁有更加豐富的生態(tài)，提升業(yè)務(wù)靈活性。除此之外，邊緣上提供專屬GPU硬件，進(jìn)一步優(yōu)化應(yīng)用性能。

邊緣容器云平臺(tái)的技術(shù)挑戰(zhàn)主要是來(lái)自于三方面：

首先是集群規(guī)模小而多。受限于邊緣的物理環(huán)境，單個(gè)集群的規(guī)模通常有限。隨著資源的進(jìn)一步下沉，終端算力的進(jìn)一步上移，各類資源被納管到邊緣云中，資源規(guī)模迅速增長(zhǎng)，邊緣規(guī)模呈現(xiàn)出小型化、廣覆蓋的特點(diǎn)，為資源管控、彈性調(diào)度帶來(lái)技術(shù)挑戰(zhàn)；

二是邊緣環(huán)境復(fù)雜。處于邊緣的設(shè)備工作狀態(tài)與條件對(duì)比數(shù)據(jù)中心更差，往往存在弱網(wǎng)、斷網(wǎng)等情況，對(duì)于邊緣自治、云邊協(xié)同、邊邊協(xié)同、跨節(jié)點(diǎn)遷移能力、故障逃逸能力提出較高要求；

三是邊緣基礎(chǔ)設(shè)施異構(gòu)。出于成本考量、業(yè)務(wù)定制化需求的考量，硬件操作系統(tǒng)、網(wǎng)絡(luò)結(jié)構(gòu)等方面存在明顯異構(gòu)場(chǎng)景，給資源的云化納管工作造成困難；

物理資源層包括多云融合資源、MEC、ARM陣列、自有節(jié)點(diǎn)、多云融合資源等，上層為資源建設(shè)與運(yùn)維平臺(tái)，提供基礎(chǔ)的IaaS服務(wù)。

中間層從下往上，首先由異構(gòu)資源納管部分負(fù)責(zé)將IaaS資源以k8s節(jié)點(diǎn)形式接入k8s集群中；正如前文所述，單一的或少量的k8s集群無(wú)法容納所有資源，所以基于異構(gòu)資源納管層需要構(gòu)建多集群管理與調(diào)度融合能力，為上層提供標(biāo)準(zhǔn)的k8s界面；在標(biāo)準(zhǔn)k8s界面的基礎(chǔ)上進(jìn)行邊緣能力的加強(qiáng)，包括邊緣容器鏡像、邊緣工作負(fù)載、邊緣服務(wù)網(wǎng)格、邊緣應(yīng)用管理等。

最頂層是邊緣能力開放層，通過(guò)提供OpenAPI、開發(fā)者工具、能力開放平臺(tái)等，使得用戶、開發(fā)者可以通過(guò)開放層去使用阿里云邊緣容器平臺(tái)的各項(xiàng)能力來(lái)管理自己的業(yè)務(wù)。

針對(duì)中間層的邊緣容器云平臺(tái)將展開進(jìn)行介紹：

異構(gòu)資源納管

異構(gòu)資源納管核心功能是將邊緣資源以k8s節(jié)點(diǎn)形式接入集群中，如圖所示為標(biāo)準(zhǔn)化接入流程，適配了MEC、ARM等各種業(yè)務(wù)場(chǎng)景。接入過(guò)程中同時(shí)感知集群水位分布與邊緣資源網(wǎng)絡(luò)狀態(tài)等多維度指標(biāo)，選擇最優(yōu)接入集群，基于組件預(yù)置等技術(shù)方案減少接入過(guò)程中如組件安裝、下載等時(shí)間成本，加速接入流程。

多集群管理

多集群管理流程如圖所示，客戶通過(guò)虛擬集群創(chuàng)建工作負(fù)載與pod，基于全域融合調(diào)度器，實(shí)時(shí)感知資源集群狀態(tài)選擇最優(yōu)調(diào)度結(jié)果，將結(jié)果反饋?zhàn)鈶籼摂M集群中，利用同步器進(jìn)行向下同步生產(chǎn)工作。

過(guò)程中將k8s集群分為兩類，資源集群與為租戶創(chuàng)建的獨(dú)立虛擬集群。通過(guò)多層樹狀拓?fù)浣Y(jié)構(gòu)使每一個(gè)獨(dú)立虛擬集群能夠通過(guò)原生k8s語(yǔ)義使用全域邊緣資源，并且提升了租戶間的隔離性。

對(duì)于k8s集群的讀操作通過(guò)統(tǒng)一事件總線完成，而非直接對(duì)k8s集群進(jìn)行操作。因此每個(gè)k8s集群都能有效控制集群上的客戶端數(shù)量，減少服務(wù)器上list-watch的消耗，并且使系統(tǒng)具備水平擴(kuò)展能力。

全域融合調(diào)度在模型中作為k8s集群的總調(diào)度器，類比于大腦這一角色，有效實(shí)現(xiàn)了全域資源的多維度實(shí)時(shí)感知與多層次調(diào)度。

由于邊緣資源單集群數(shù)量較多，因此需要通過(guò)單元化管理的概念將其映射到邊緣的多個(gè)集群上，同時(shí)完成單元間的并行分發(fā)，以此提升業(yè)務(wù)發(fā)布效率。阿里云通過(guò)自研適配邊緣場(chǎng)景的工作負(fù)載，對(duì)每一臺(tái)機(jī)器上的每一個(gè)pod版本更新實(shí)現(xiàn)精準(zhǔn)控制，使得系統(tǒng)更契合邊緣異構(gòu)場(chǎng)景上的容器與多開場(chǎng)景。

基于阿里云內(nèi)容分發(fā)網(wǎng)絡(luò)的技術(shù)與生態(tài)優(yōu)勢(shì)，構(gòu)建出具備全網(wǎng)緩存與加速能力的邊緣鏡像服務(wù)，對(duì)于大規(guī)模流量并發(fā)提供支持，實(shí)現(xiàn)容器擴(kuò)容，提高創(chuàng)建速度。

穩(wěn)定性體系

基于阿里云內(nèi)容分發(fā)網(wǎng)絡(luò)構(gòu)建的管控命令傳播網(wǎng)絡(luò)，使管控命令可以低延遲，高觸達(dá)地下發(fā)到機(jī)器上執(zhí)行。目前所有的云邊管控操作都通過(guò)云邊管控通道實(shí)現(xiàn)，在邊緣節(jié)點(diǎn)出現(xiàn)異常的情況下，將按照異常上報(bào)，由中心進(jìn)行處理策略匹配工作，熔斷檢查，最后將自動(dòng)化處理策略下發(fā)至邊緣節(jié)點(diǎn)形成閉環(huán)。

風(fēng)控中心組件除去前文提到的熔斷檢查工作，還具備高危操作攔截能力，如k8s集群中大量node刪除、pod對(duì)象刪除、工作負(fù)載刪除、權(quán)限修改、大規(guī)模標(biāo)簽修改等，幫助客戶業(yè)務(wù)實(shí)現(xiàn)穩(wěn)定運(yùn)行，為系統(tǒng)保駕護(hù)航。

中心業(yè)務(wù)下沉

日志網(wǎng)關(guān)下沉場(chǎng)景，包括httpdns、內(nèi)容安全識(shí)別下沉，本質(zhì)都是中心業(yè)務(wù)的下沉。

終端通過(guò)請(qǐng)求調(diào)度尋找邊緣節(jié)點(diǎn)，通過(guò)邊緣網(wǎng)關(guān)服務(wù)將日志上報(bào)到容器中，此處請(qǐng)求調(diào)度與容器調(diào)度是協(xié)同工作的。例如業(yè)務(wù)容器CPU內(nèi)存消耗的水位，將會(huì)影響請(qǐng)求調(diào)度的策略生成，水位高的情況下對(duì)請(qǐng)求調(diào)度節(jié)點(diǎn)進(jìn)行修改。此外，請(qǐng)求調(diào)度同時(shí)影響容器調(diào)度，例如在集群副本數(shù)不夠的情況下，觸發(fā)容器調(diào)度對(duì)容器進(jìn)行擴(kuò)容操作。二者相互協(xié)同工作實(shí)現(xiàn)日志下沉。

中心下沉場(chǎng)景業(yè)務(wù)邏輯本質(zhì)是通過(guò)云邊端協(xié)同操作，節(jié)省中心帶寬成本，降低接入延時(shí)，為客戶打造最佳使用體驗(yàn)。

終端上云

機(jī)頂盒上云是終端上云場(chǎng)景的一類典型應(yīng)用場(chǎng)景，同類場(chǎng)景還包括云手機(jī)、云游戲等。

管理員通過(guò)應(yīng)用管理中心，通過(guò)阿里云自研工作負(fù)載與多集群管理等方式將容器運(yùn)行在邊緣服務(wù)器上。如圖所示為一組多開容器實(shí)例，通過(guò)自研工作負(fù)載精準(zhǔn)控制每一個(gè)服務(wù)器上的每一個(gè)容器版本。同時(shí)，阿里云與英特爾合作，于服務(wù)器上安裝Intle Server dGPU，對(duì)終端流化渲染性能實(shí)現(xiàn)進(jìn)一步提升。

終端上云場(chǎng)景中，核心應(yīng)用上移幫助終端瘦身，將更多的應(yīng)用運(yùn)維與管理開發(fā)工作集中在邊緣，實(shí)現(xiàn)了對(duì)業(yè)務(wù)靈活性與使用性能的優(yōu)化。