眾所周知，深度學(xué)習(xí)是人工智能技術(shù)的核心賣點：通過模擬人腦機(jī)制，機(jī)器也能夠像人那樣，自主學(xué)習(xí)海量高深的知識，從而獲得常人無法企及的技能，幫助人類實現(xiàn)更為曼妙和科幻的場景。不過，憧憬雖然美好，但是隨著一批深度學(xué)習(xí)應(yīng)用逐漸開始變成現(xiàn)實，安全問題也漸漸顯現(xiàn)出來。
日前，360安全研究院結(jié)合過去一年對深度學(xué)習(xí)系統(tǒng)安全性的詳細(xì)研究，出具了《AI安全風(fēng)險白皮書》。白皮書從深度學(xué)習(xí)系統(tǒng)軟件實現(xiàn)的復(fù)雜度、深度學(xué)習(xí)系統(tǒng)模型的逃逸攻擊和深度學(xué)習(xí)系統(tǒng)數(shù)據(jù)流中的安全威脅三個角度，詳細(xì)解讀了AI系統(tǒng)的安全威脅。
當(dāng)前人工智能應(yīng)用面臨多方威脅
2017年以來，每次有關(guān)人工智能的新聞報道都會讓很多網(wǎng)友由衷的感嘆。比如谷歌AlphaGo與李世石、柯潔等國際一流圍棋大師對弈，將這些圍棋一流好手“挑落馬下”。像圍棋這種復(fù)雜多變的棋盤游戲，幾乎代表了人類的頂級智慧。AlphaGo能夠在千變?nèi)f化的棋局中，選擇對自己更為有利的步數(shù)，繼而贏得棋局，靠的便是深度學(xué)習(xí)算法對場上局勢進(jìn)行研判。
不過，像AlphaGo這樣的人工智能應(yīng)用并不與外界有直接的交互，或者是在封閉的環(huán)境下工作，因此受到的安全威脅相對較小。然而，隨著人工智能應(yīng)用的普及，安全威脅會不斷增加，更多的應(yīng)用會把應(yīng)用的輸入接口直接或間接暴露出來。同時封閉系統(tǒng)的攻擊面也會隨著時間和環(huán)境而轉(zhuǎn)化。
圖1：深度學(xué)習(xí)算法與安全所考慮的不同輸出場景
目前公眾對人工智能的關(guān)注，尤其是深度學(xué)習(xí)方面，缺少對安全的考慮，這是人工智能安全的“盲點”，近期很多對于深度學(xué)習(xí)的討論主要停留在算法和前景展望的層面，并沒有考慮人為惡意造成或合成的場景；深度學(xué)習(xí)軟件層面，很多是實現(xiàn)在深度學(xué)習(xí)框架上。然而系統(tǒng)越是復(fù)雜，就越是可能包含安全隱患。任何在深度學(xué)習(xí)框架以及他所依賴的組件中的安全問題都會威脅到框架之上的應(yīng)用系統(tǒng)；另外，正如安全人員常說的，魔鬼往往隱藏于細(xì)節(jié)之中，任何一個大型軟件系統(tǒng)都會有時限漏洞?？紤]到深度學(xué)習(xí)框架的復(fù)雜性，深度學(xué)習(xí)應(yīng)用也不例外。
深度學(xué)習(xí)逃逸攻擊讓AI系統(tǒng)迷了眼睛
同時，白皮書以逃逸攻擊為例，解析了深度學(xué)習(xí)模型所存在的一些安全問題。所謂逃逸攻擊，指的是攻擊者在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定的輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。只要一個機(jī)器學(xué)習(xí)模型沒有完美學(xué)到判別規(guī)則，攻擊者就有可能構(gòu)造對抗樣本以欺騙機(jī)器學(xué)習(xí)系統(tǒng)。
圖2：稍加干擾因素 深度學(xué)習(xí)系統(tǒng)會將熊貓誤認(rèn)為長臂猿
白皮書中列舉了Ian Goodfellow在2015年ICLR會議上提出的著名逃逸樣本，樣本使用了谷歌的深度學(xué)習(xí)研究系統(tǒng)，該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò)，能夠精確區(qū)分熊貓和長臂猿等圖片。
不過，攻擊者對熊貓的圖片“稍加改造”，增添了一些干擾因素。雖然這細(xì)微的差別并不會影響人類的判斷，不過深度學(xué)習(xí)系統(tǒng)卻把熊貓誤認(rèn)為了長臂猿。試想在具有圖像識別功能的AI系統(tǒng)中，如果判斷失誤，AI系統(tǒng)就很有可能做出截然不同的選擇，有可能導(dǎo)致非常嚴(yán)重的后果。
此外，基于機(jī)器學(xué)習(xí)的逃逸攻擊主要是分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機(jī)器學(xué)習(xí)模型內(nèi)部的所有信息，然后直接計算得到對抗樣本；黑盒攻擊則只需要知道模型的輸入和輸出，通過觀察模型輸出的變化來生成對抗樣本。
深度學(xué)習(xí)需謹(jǐn)慎降維攻擊
此外白皮書指出，在深度學(xué)習(xí)的數(shù)據(jù)處理流程中，同樣存在安全風(fēng)險。攻擊者在不利用平臺軟件實現(xiàn)漏洞或機(jī)器學(xué)習(xí)模型弱點的情況下，只利用深度學(xué)習(xí)數(shù)據(jù)流中的處理問題，就可以實現(xiàn)逃逸或者數(shù)據(jù)污染攻擊。
圖3：降維處理可能導(dǎo)致深度學(xué)習(xí)系統(tǒng)“指鹿為馬”
比如，白皮書引用了Caffe平臺自帶的經(jīng)典圖片識別應(yīng)用案例，案例使用了一張羊群的圖片，識別所用的神經(jīng)元網(wǎng)絡(luò)是谷歌發(fā)布的GoogleNet，數(shù)據(jù)來自著名的ImageNet比賽。不過令人遺憾的是，Caffe的深度學(xué)習(xí)應(yīng)用將羊群誤判為狼。究其原因，還是由于深度學(xué)習(xí)自身算法的問題。由于深度學(xué)習(xí)模型真正用到的數(shù)據(jù)都會是維度變化過的圖片，即對圖片進(jìn)行了一些算法處理，其中包括最近點抽取、雙線性插值。這些處理的目的就是降低算法的復(fù)雜程度，并盡量保持圖片原有的樣子。
但是這些常用的降維算法并沒有考慮惡意構(gòu)造的輸入。上面的攻擊例子，則是針對最常用的雙線性插值構(gòu)造的惡意攻擊樣本。根據(jù)白皮書的初步分析，幾乎所有網(wǎng)上流行的深度學(xué)習(xí)圖片識別程序都有被降維攻擊的風(fēng)險。對于降維攻擊的防范，用戶可以采用對超出異常的圖片進(jìn)行過濾，對降維前后的圖片進(jìn)行比對，以及采用更加健壯的降維算法等。
當(dāng)前，人工智能的風(fēng)潮席卷而來，人們醉心于新鮮事物帶來的全新體驗，卻往往忽視了暗流涌動的安全問題。隨著人工智能的普及，人工智能將面臨來自多個方面的威脅：包括深度學(xué)習(xí)框架中的軟件識別漏洞、對抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等等。未來，作為國內(nèi)最大的網(wǎng)絡(luò)安全公司，360將以更為開放、分享的心態(tài)，致力于幫助行業(yè)及廠商解決人工智能的安全問題，為我國人工智能的蓬勃發(fā)展保駕護(hù)航。
下一篇：對話吳恩達(dá)：中美兩國人工智能發(fā)展有何差異，創(chuàng)業(yè)機(jī)會在哪？上一篇：假如人類是螞蟻 群體智能或許是真正創(chuàng)造人工智能的關(guān)鍵
責(zé)任編輯：吳一波
相關(guān)推薦
巴帝電信夢想成真：107億美元收購Zain非洲資產(chǎn)
這筆交易將為巴帝電信在15個非洲國家?guī)?200萬用戶，意味著其躋身新興市場頂尖運(yùn)營商的夢想終于成真。Zain出售非洲資產(chǎn)套現(xiàn)90億美元在雙方約定的107億美元中包括90億美元的股份收購，支付方式將為現(xiàn)金。其中83億美元將在交易結(jié)束后支付，7億美元將在交易結(jié)束一年后支付。此外，巴帝電信還須代替Zain承擔(dān)起17億美元的綜合債務(wù)。據(jù)稱，Zain可分派儲備和40億美元循環(huán)貸款償付的規(guī)模須經(jīng)股東批準(zhǔn)，它打算以股息的形式向股東分配前期大部分凈收入。Zain集團(tuán)董事長阿薩德·艾爾·班萬（AsaadAlBanwan）評價該交易時相當(dāng)?shù)靡猓骸白?005年收購Celtel以來，我們大幅增長成為非洲主要的移動運(yùn)
蘋果CEO庫克暗示不會推ARM芯片MacBook Air
北京時間2月4日消息，據(jù)國外媒體報道，蘋果首席執(zhí)行官蒂姆庫克（TimCook）和首席財務(wù)官彼得奧本海默（PeterOpenheimer）近日與花旗分析師會談時指出，由于iPad發(fā)展前景廣闊，所以不太可能去開發(fā)基于ARM芯片的MacBookAir；中國市場蘊(yùn)含著巨大的增長潛力；AppleTV前景仍不明朗；而iCloud發(fā)展迅速且非常重要。iPad將繼續(xù)發(fā)展，不會推出基于ARM芯片的Mac。庫克重申了他在季度財報電話會議上所說的話，他認(rèn)為平板電腦市場將繼續(xù)發(fā)展，最終將超過傳統(tǒng)PC市場的規(guī)模。蘋果并未將iPad看作是PC產(chǎn)品，而是將它看作一款后PC產(chǎn)品，因此基于ARM芯片的平板電腦將不會與基于英特爾
AirPlay支持 YAMAHA全新AVENTAGE功放
小米AI音箱發(fā)布 299元的智能生活助理