6月7日,阿里巴巴系統(tǒng)軟件事業(yè)部研究員張瓅玶(谷樸)與阿里云機器智能首席科學(xué)家閔萬里(山景)在上海云棲大會發(fā)布首屆阿里巴巴全球調(diào)度算法大賽,通過阿里云天池平臺,邀請來自海內(nèi)外頂尖算法工程師、高校學(xué)者、學(xué)生共同探討如何更優(yōu)雅地運用調(diào)度算法解決資源調(diào)度問題。
互聯(lián)網(wǎng)普及的20年來,互聯(lián)網(wǎng)技術(shù)已經(jīng)重塑各行各業(yè),滲透到人們生活的方方面面,云計算已經(jīng)成為了行業(yè)發(fā)展必不可少的基礎(chǔ)設(shè)施,互聯(lián)網(wǎng)服務(wù)規(guī)模和數(shù)據(jù)規(guī)模也隨之大幅增長。日益增長的服務(wù)規(guī)模和數(shù)據(jù)規(guī)模帶來數(shù)據(jù)中心的急劇膨脹。Gartner在2017年的云計算市場報告中預(yù)測:到2020年全球云計算市場的規(guī)模將達到4110億美元。然而,根據(jù)蓋特納和麥肯錫的調(diào)研數(shù)據(jù),全球的服務(wù)器利用率并不高,只有6%到12%。即使通過虛擬化技術(shù)優(yōu)化,利用率還是只有7%-17%。這不僅浪費企業(yè)基礎(chǔ)設(shè)施成本、間接增加了用戶的成本;從環(huán)保的角度看,這些空閑服務(wù)器將在全球浪費了十億瓦級別的工作負載,卻沒有帶來任何商業(yè)、社會價值。
這正是傳統(tǒng)運維和粗放的資源使用模式帶來的最大問題。于是基于自動化調(diào)度的集群管理系統(tǒng)紛紛涌現(xiàn),此次調(diào)度算法大賽就是基于這樣的背景,目標(biāo)就是提高系統(tǒng)資源利用率。
真實業(yè)務(wù)場景、行業(yè)專家指導(dǎo)
阿里集團電商、云計算、金融、物流等業(yè)務(wù)蓬勃發(fā)展,每天服務(wù)全球數(shù)億用戶,為了承載這些業(yè)務(wù),我們有著全球第一的Java應(yīng)用規(guī)模、以及海量服務(wù)器的操作系統(tǒng)與內(nèi)核。這給我們帶來巨大的挑戰(zhàn)和創(chuàng)新機會。隨著集群規(guī)模的不斷擴大,資源利用率即使是1%的提升,也能給基礎(chǔ)設(shè)施的成本帶來非常顯著的節(jié)約。此次賽題來自阿里巴巴真實生產(chǎn)環(huán)境,參賽者將有機會接觸到阿里實際業(yè)務(wù)場景,將算法應(yīng)用到海量集群調(diào)度上。
為了確保比賽的專業(yè)、公正,本屆全球調(diào)度算法大賽邀請到了多位專家參與賽題評審。
包云崗:中科院計算所研究員,博士生導(dǎo)師,先進計算機系統(tǒng)研究中心副主任
吳恒:中國科學(xué)院軟件研究所副研究員
林昊(畢玄):阿里巴巴研究員
丁宇(叔同):阿里巴巴資深技術(shù)專家、天貓雙十一技術(shù)大隊長、調(diào)度系統(tǒng)團隊負責(zé)人
蔡景現(xiàn)(多隆):阿里巴巴合伙人、阿里巴巴高級研究員
Kingsum Chow:阿里巴巴研究員
張瓅玶(谷樸):阿里巴巴研究員
朱勝火(勝火):阿里巴巴研究員
侯前明(林軒):阿里巴巴資深技術(shù)專家
楊森:阿里巴巴高級技術(shù)專家
另外,在技術(shù)指導(dǎo)與交流環(huán)節(jié),大賽邀請到了阿里系統(tǒng)軟件事業(yè)部多位資深調(diào)度專家與選手近距離交流,溝通業(yè)務(wù)場景、傳授解題思路。
挑戰(zhàn)技術(shù)極限,1%的優(yōu)化撬動億級成本節(jié)約
在龐大的數(shù)據(jù)中心服務(wù)器規(guī)模下,平均利用率每提高1%,就會帶來非??捎^的成本節(jié)約。僅以10萬臺服務(wù)器為例,利用率從28%提升到40%,就能節(jié)省出3萬臺機器。節(jié)約的成本大約有6個億。同時,數(shù)據(jù)中心的資源利用率提升還將進一步促進數(shù)據(jù)中心在能耗、空間占用、制冷等方面的節(jié)省,再次放大成本解決的效果。阿里巴巴擁有超大規(guī)模的數(shù)據(jù)中心,每一點資源利用率的提升都將為阿里巴巴自身和整個社會帶來可觀的能源節(jié)約,讓用戶享受更加綠色的計算資源。
20萬獎金池、直通硅谷hackthon、綠色招聘通道
為了吸引更多算法人才,發(fā)掘優(yōu)秀的算法模型。首屆阿里全球調(diào)度算法大賽準(zhǔn)備了20萬獎金池。此外,決賽獲獎選手將直通10月硅谷調(diào)度hackthon,獲得硅谷游學(xué)機會,與硅谷算法達人現(xiàn)場競技、交流經(jīng)驗,并直接進入阿里集團綠色招聘通道。
本次大賽已于6月7日正式啟動,8月14日結(jié)束報名。擬于9月初進行現(xiàn)場Demo并在杭州云棲大會進行頒獎典禮。