【2018深度學(xué)習(xí)10大警示】多數(shù)芯片公司將破產(chǎn)；自我對(duì)弈可自動(dòng)創(chuàng)造知識(shí)
2018-01-03 14:05:30 來源：新智元 熱度:
2018年，對(duì)于深度學(xué)習(xí)來說，將是劇變的一年。2017年深度學(xué)習(xí)的許多突破將在2018年繼續(xù)強(qiáng)勢(shì)推進(jìn)。許多研究將成為日常應(yīng)用。以下是對(duì)2018年深度學(xué)習(xí)的十個(gè)警示性預(yù)測(cè)。
多數(shù)深度學(xué)習(xí)硬件初創(chuàng)公司將失敗
許多深度學(xué)習(xí)硬件初創(chuàng)企業(yè)將在2018年開始交付芯片。很多公司都將失敗，因?yàn)樗麄儾⑽刺峁┝己玫能浖碇С中陆鉀Q方案。雖然這些公司有硬件，但在深度學(xué)習(xí)領(lǐng)域，軟件同樣重要。這些創(chuàng)業(yè)公司大多不了解軟件，也不了解開發(fā)軟件的成本。
收縮陣列解決方案已經(jīng)被采用，所以2018年不會(huì)出現(xiàn)去年發(fā)現(xiàn)的大規(guī)模的10倍性能升級(jí)。研究人員將把這些張量核心用于推斷和加快訓(xùn)練。
英特爾的解決方案將繼續(xù)推遲，結(jié)果也很有可能令人失望。
Google的TPU發(fā)展將繼續(xù)震驚世界。也許Google會(huì)通過將其IP授權(quán)給其他半導(dǎo)體供應(yīng)商來進(jìn)入硬件領(lǐng)域。那樣，谷歌就會(huì)成為英偉達(dá)之外的真正芯片玩家。
元學(xué)習(xí)將成為新隨機(jī)梯度下降法
2017年出現(xiàn)了很多關(guān)于元學(xué)習(xí)的優(yōu)秀研究。由于研究界能更好理解元學(xué)習(xí)，舊的隨機(jī)梯度下降（SGD）將采用一種更有效的方法，這種方法將結(jié)合開發(fā)性和探索性搜索方法。
無監(jiān)督學(xué)習(xí)的進(jìn)展將會(huì)不斷增加，但主要由元學(xué)習(xí)算法驅(qū)動(dòng)。
生成模型驅(qū)動(dòng)新型建模
目前，大多數(shù)研究是在生成圖像和語音。2018年，這種方法將被納入復(fù)雜系統(tǒng)建模工具中。深度學(xué)習(xí)在經(jīng)濟(jì)建模中的應(yīng)用將增多。
自我對(duì)弈可自動(dòng)創(chuàng)造知識(shí)
AlphaGo Zero和AlphaZero從零開始自我學(xué)習(xí)是一個(gè)巨大的飛躍。在我看來，這和發(fā)現(xiàn)深度學(xué)習(xí)同樣重要。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)逼近器。而強(qiáng)化學(xué)習(xí)自我對(duì)弈發(fā)現(xiàn)了通用知識(shí)創(chuàng)造。
直覺機(jī)器將彌合語義差異
直覺機(jī)器和理性機(jī)器之間的語義鴻溝將被彌合（如果它尚未被彌合的話）。雙重過程理論（兩種認(rèn)知機(jī)制，一種是無模型的，另一種是以模型為基礎(chǔ)的）將更流行。“人工直覺”將不再是一個(gè)附加概念，2018年會(huì)更普及。
無法實(shí)現(xiàn)可解釋性
有兩個(gè)關(guān)于解釋性的問題。較為常見的一個(gè)問題是，人類無法掌握過多解釋規(guī)則。另一個(gè)不為人所知的問題是，機(jī)器創(chuàng)造的概念是完全陌生和違反解釋規(guī)則的。我們已經(jīng)在AlphaGo Zero和AlphaZero的策略中看到了這一點(diǎn)。人類會(huì)觀察到一個(gè)舉動(dòng)非常規(guī)，但是可能根本無法理解這一舉動(dòng)背后的邏輯。
在我看來這是一個(gè)無法解決的問題。相反，機(jī)器正在變得非常擅長(zhǎng)“偽造解釋”。簡(jiǎn)而言之，“具有可解釋性的機(jī)器”這一目標(biāo)是理解人類可以理解的解釋。然而，在大多數(shù)情況下，人類無法完全獲得完全可解釋性。
深度學(xué)習(xí)的可解釋性將通過創(chuàng)建“偽造解釋”來實(shí)現(xiàn)。
深度學(xué)習(xí)研究泛濫
ICLR 2018年會(huì)議上提交的論文數(shù)量約為4000份。一個(gè)研究員每天必須看10篇論文，才能跟上這種節(jié)奏。
為了在理論上取得進(jìn)步，我們需要更先進(jìn)的數(shù)學(xué)來幫助理解問題。這將成為一個(gè)難題，因?yàn)榇蠖鄶?shù)深度學(xué)習(xí)研究人員沒有相應(yīng)的數(shù)學(xué)背景來理解這類系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要有深厚數(shù)學(xué)背景的研究人員，然而這類研究人員卻非常少。
由于論文太多，理論欠佳，導(dǎo)致了現(xiàn)在“煉金術(shù)”的狀態(tài)。
目前還缺少通向通用人工智能的總體路線圖。由于理論薄弱，因此我們能做的就是制定與人類認(rèn)知有關(guān)的路線圖。我們只有源自認(rèn)知心理學(xué)的思辨理論框架。這是一個(gè)糟糕的情況，因?yàn)閬碜赃@些領(lǐng)域的實(shí)證數(shù)據(jù)質(zhì)量參差不齊。
2018年，深度學(xué)習(xí)研究論文數(shù)量可能會(huì)翻三番或四倍。
通過教學(xué)環(huán)境實(shí)現(xiàn)產(chǎn)業(yè)化
通過教學(xué)環(huán)境的發(fā)展，深度學(xué)習(xí)系統(tǒng)會(huì)更具可預(yù)測(cè)性和可控性。如果你想找到最原始的教學(xué)方法，那么只需要看看如何訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)。我們?cè)谶@方面取得了很多進(jìn)展。
會(huì)話認(rèn)知
我們衡量通用人工智能的方式是過時(shí)的，需要一種新范式來解決現(xiàn)實(shí)世界的動(dòng)態(tài)復(fù)雜性（動(dòng)態(tài)意為非固定）。2018年將看到更多相關(guān)報(bào)道。
有道德地使用AI
2018年將需要更多有道德地使用人工智能。人們現(xiàn)在愈發(fā)意識(shí)到，自動(dòng)化所帶來的意料之外的災(zāi)難性影響?，F(xiàn)在Facebook，Twitter，Google，Amazon上的一些簡(jiǎn)單自動(dòng)化可能會(huì)對(duì)社會(huì)造成不良影響。
在部署能夠預(yù)測(cè)人類行為的機(jī)器時(shí)，我們需要了解相應(yīng)道德規(guī)范。
責(zé)任編輯：黃焱林
2018年的AI和深度學(xué)習(xí)將會(huì)如何發(fā)展？
人工智能產(chǎn)業(yè)2018年待解的三大難題
實(shí)現(xiàn)快速發(fā)展：人工智能仍處于較初始發(fā)展階段