2018年，對于深度學(xué)習(xí)來說，將是劇變的一年。2017年深度學(xué)習(xí)的許多突破將在2018年繼續(xù)強勢推進。許多研究將成為日常應(yīng)用。以下是對2018年深度學(xué)習(xí)的十個警示性預(yù)測。
多數(shù)深度學(xué)習(xí)硬件初創(chuàng)公司將失敗
許多深度學(xué)習(xí)硬件初創(chuàng)企業(yè)將在2018年開始交付芯片。很多公司都將失敗，因為他們并未提供良好的軟件來支持新解決方案。雖然這些公司有硬件，但在深度學(xué)習(xí)領(lǐng)域，軟件同樣重要。這些創(chuàng)業(yè)公司大多不了解軟件，也不了解開發(fā)軟件的成本。
收縮陣列解決方案已經(jīng)被采用，所以2018年不會出現(xiàn)去年發(fā)現(xiàn)的大規(guī)模的10倍性能升級。研究人員將把這些張量核心用于推斷和加快訓(xùn)練。
英特爾的解決方案將繼續(xù)推遲，結(jié)果也很有可能令人失望。
Google的TPU發(fā)展將繼續(xù)震驚世界。也許Google會通過將其IP授權(quán)給其他半導(dǎo)體供應(yīng)商來進入硬件領(lǐng)域。那樣，谷歌就會成為英偉達之外的真正芯片玩家。
元學(xué)習(xí)將成為新隨機梯度下降法
2017年出現(xiàn)了很多關(guān)于元學(xué)習(xí)的優(yōu)秀研究。由于研究界能更好理解元學(xué)習(xí)，舊的隨機梯度下降（SGD）將采用一種更有效的方法，這種方法將結(jié)合開發(fā)性和探索性搜索方法。
無監(jiān)督學(xué)習(xí)的進展將會不斷增加，但主要由元學(xué)習(xí)算法驅(qū)動。
生成模型驅(qū)動新型建模
目前，大多數(shù)研究是在生成圖像和語音。2018年，這種方法將被納入復(fù)雜系統(tǒng)建模工具中。深度學(xué)習(xí)在經(jīng)濟建模中的應(yīng)用將增多。
自我對弈可自動創(chuàng)造知識
AlphaGo Zero和AlphaZero從零開始自我學(xué)習(xí)是一個巨大的飛躍。在我看來，這和發(fā)現(xiàn)深度學(xué)習(xí)同樣重要。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)逼近器。而強化學(xué)習(xí)自我對弈發(fā)現(xiàn)了通用知識創(chuàng)造。
直覺機器將彌合語義差異
直覺機器和理性機器之間的語義鴻溝將被彌合（如果它尚未被彌合的話）。雙重過程理論（兩種認知機制，一種是無模型的，另一種是以模型為基礎(chǔ)的）將更流行。“人工直覺”將不再是一個附加概念，2018年會更普及。
無法實現(xiàn)可解釋性
有兩個關(guān)于解釋性的問題。較為常見的一個問題是，人類無法掌握過多解釋規(guī)則。另一個不為人所知的問題是，機器創(chuàng)造的概念是完全陌生和違反解釋規(guī)則的。我們已經(jīng)在AlphaGo Zero和AlphaZero的策略中看到了這一點。人類會觀察到一個舉動非常規(guī)，但是可能根本無法理解這一舉動背后的邏輯。
在我看來這是一個無法解決的問題。相反，機器正在變得非常擅長“偽造解釋”。簡而言之，“具有可解釋性的機器”這一目標是理解人類可以理解的解釋。然而，在大多數(shù)情況下，人類無法完全獲得完全可解釋性。
深度學(xué)習(xí)的可解釋性將通過創(chuàng)建“偽造解釋”來實現(xiàn)。
深度學(xué)習(xí)研究泛濫
ICLR 2018年會議上提交的論文數(shù)量約為4000份。一個研究員每天必須看10篇論文，才能跟上這種節(jié)奏。
為了在理論上取得進步，我們需要更先進的數(shù)學(xué)來幫助理解問題。這將成為一個難題，因為大多數(shù)深度學(xué)習(xí)研究人員沒有相應(yīng)的數(shù)學(xué)背景來理解這類系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要有深厚數(shù)學(xué)背景的研究人員，然而這類研究人員卻非常少。
由于論文太多，理論欠佳，導(dǎo)致了現(xiàn)在“煉金術(shù)”的狀態(tài)。
目前還缺少通向通用人工智能的總體路線圖。由于理論薄弱，因此我們能做的就是制定與人類認知有關(guān)的路線圖。我們只有源自認知心理學(xué)的思辨理論框架。這是一個糟糕的情況，因為來自這些領(lǐng)域的實證數(shù)據(jù)質(zhì)量參差不齊。
2018年，深度學(xué)習(xí)研究論文數(shù)量可能會翻三番或四倍。
通過教學(xué)環(huán)境實現(xiàn)產(chǎn)業(yè)化
通過教學(xué)環(huán)境的發(fā)展，深度學(xué)習(xí)系統(tǒng)會更具可預(yù)測性和可控性。如果你想找到最原始的教學(xué)方法，那么只需要看看如何訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)。我們在這方面取得了很多進展。
會話認知
我們衡量通用人工智能的方式是過時的，需要一種新范式來解決現(xiàn)實世界的動態(tài)復(fù)雜性（動態(tài)意為非固定）。2018年將看到更多相關(guān)報道。
2018年將需要更多有道德地使用人工智能。人們現(xiàn)在愈發(fā)意識到，自動化所帶來的意料之外的災(zāi)難性影響?，F(xiàn)在Facebook，Twitter，Google，Amazon上的一些簡單自動化可能會對社會造成不良影響。
在部署能夠預(yù)測人類行為的機器時，我們需要了解相應(yīng)道德規(guī)范。
微信掃一掃
