欧美色图 亚洲|野外口爆视频国产|久久精品视频观看|97精品人人抽插

微軟提出深度學(xué)習(xí)新架構(gòu):使用問答系統(tǒng)來得到語法上可解釋的表征

2017-05-25 15:34:56 來源:機(jī)器之心 熱度:
近日,微軟公布的一篇新論文提出了一種新架構(gòu),它的內(nèi)部表征(在執(zhí)行文本問答任務(wù)時(shí)通過端到端的優(yōu)化來學(xué)習(xí)的表征)可以用語言學(xué)理論的基本概念來解釋。這篇論文的作者之一鄧力目前已經(jīng)離開了微軟,加入了對(duì)沖基金巨頭 Citadel 任首席人工智能科學(xué)家。
 
 
論文內(nèi)容:
 
我們介紹了一種新架構(gòu),它的內(nèi)部表征(在深度學(xué)習(xí)網(wǎng)絡(luò)中通過執(zhí)行文本問答任務(wù)來端到端優(yōu)化而學(xué)習(xí)到的表征)可以用語言學(xué)理論的基本概念來解釋。這種可解釋性相對(duì)于新的基于原模型的準(zhǔn)確度只有幾個(gè)點(diǎn)的降低(BiDAF[1])。被解釋的內(nèi)部表征是張量積表示(Tensor Product Representation):對(duì)于每個(gè)輸入詞,模型選擇一個(gè)符號(hào)來對(duì)詞進(jìn)行編碼,一個(gè)放置符號(hào)的角色(role),然后將它們綁定起來。這種選擇是通過軟注意(soft attention)模型實(shí)現(xiàn)的,總體的解釋是由符號(hào)的解釋所構(gòu)建的,與訓(xùn)練模型利用的一樣,模型也利用對(duì)角色的解釋。
 
我們發(fā)現(xiàn)了對(duì)初始假設(shè)的支持,即符號(hào)可以被解釋為詞匯-語義詞義(lexical-semantic word meanings),而角色可被解釋為對(duì)語法角色(或類別)的近似,例如主語、問詞、限定詞等。通過非常詳細(xì)的、細(xì)粒度的分析,我們發(fā)現(xiàn)了在學(xué)習(xí)到的角色和又標(biāo)準(zhǔn)解析器 [2] 分配的詞性之間的特定對(duì)應(yīng)關(guān)系,并且在模型的幫助下找到了幾個(gè)差異。在這個(gè)意義上,該模型可以在僅有無語言學(xué)相關(guān)注釋的文本、問題和答案的情況下學(xué)習(xí)到語法的重要方面:模型沒有先驗(yàn)的語言學(xué)知識(shí)。該模型僅有使用符號(hào)和角色來進(jìn)行表征的方式和以一種大致離散的方式有利于這種使用的歸納偏置。

責(zé)任編輯:黃焱林

相關(guān)推薦

微軟:ARM版Win8將同時(shí)發(fā)布 可運(yùn)行Office

2月10日消息,據(jù)AllThingsD報(bào)道,微軟Windows部門總裁史蒂芬·西諾夫斯基(StevenSinofsky)接受采訪時(shí)稱,第一款運(yùn)行Windows8的ARM架構(gòu)芯片產(chǎn)品,會(huì)與運(yùn)行Windows8的傳統(tǒng)英特爾和AMD芯片電腦同時(shí)推出。西諾夫斯基還表示,ARM產(chǎn)品上的Windows系統(tǒng)將攜帶多個(gè)Office應(yīng)用程序,包括Word、PowerPoint、Excel和OneNote,不過這些軟件都進(jìn)行了修改,以非常節(jié)約電力的方式運(yùn)行。但西諾夫斯基稱,雖然這些應(yīng)用軟件可運(yùn)行在傳統(tǒng)的Windows桌面上,但除了Windows本身的組件外,只有這些軟件可被允許運(yùn)行在ARM設(shè)備上上。西諾夫斯基對(duì)A

微軟和蘋果桌面斗法頻臨分道揚(yáng)鑣

微軟和蘋果開始在桌面之爭(zhēng)中走向不同的短點(diǎn)微軟和蘋果的桌面之爭(zhēng)一直處于膠著狀態(tài),并且近期都透出了最新桌面操作平臺(tái)的最新消息。蘋果已與日前發(fā)布了最新的OSX10.8(代碼名MountainLion)的開發(fā)者預(yù)覽版操作平臺(tái),而微軟也已經(jīng)公布了其上市Windows8消費(fèi)者預(yù)覽版的計(jì)劃,或?qū)⒂诒驹碌椎腗WC2012上正式發(fā)布。從兩家移動(dòng)操作平臺(tái)的不同走勢(shì)來看,微軟和蘋果開始在桌面之爭(zhēng)中走向不同的短點(diǎn)。微軟Windows桌面的移動(dòng)化

微軟為開發(fā)者提供Windows 8的ARM平板和PC

國外媒體報(bào)道,微軟開始讓開發(fā)者試用Windows8的ARM產(chǎn)品。微軟將向部分開發(fā)者和多家公司開放基于ARM處理器的平板電腦和PC的Windows8。這些開發(fā)者拿到了的這些平板電腦和PC基于高通SnapdragonS4和Nvidia4核Tegra3處理器,都是基于ARM架構(gòu)并且包括了LTE4G技術(shù)。這些設(shè)備將讓開發(fā)者全體驗(yàn)Windows8和ARM組合,同時(shí)有機(jī)會(huì)在此系統(tǒng)組合下開發(fā)應(yīng)用。高通稱已經(jīng)向開發(fā)者發(fā)放了基于ARM并且使用Windows8的PC,微軟則向其軟件開發(fā)者提供了基于Tegra3的平板電腦。

微軟下周一開發(fā)布會(huì) 或重在ARM版Win8設(shè)備

6月15日消息,微軟將于下周一召開發(fā)布會(huì),將有重大產(chǎn)品宣布,會(huì)議地點(diǎn)在舊金山。微軟已經(jīng)向媒體發(fā)出邀請(qǐng)函,會(huì)議在下午召開,不過微軟沒有透露會(huì)議具體地點(diǎn),要到下周一上午才能知道。在郵件中,微軟說:“這將是微軟重要產(chǎn)品發(fā)布會(huì),你不會(huì)錯(cuò)過的?!蔽④浘芙^進(jìn)一步置評(píng)。從發(fā)布會(huì)地點(diǎn)來看,它可能與娛樂產(chǎn)業(yè)有關(guān)。最近幾個(gè)月,微軟向Xbox360視頻游戲機(jī)推出更多的電視節(jié)目。Netflix已經(jīng)向Xbox提供節(jié)目,公司CEO也進(jìn)了微軟董事會(huì)。微軟還準(zhǔn)備推出新Windows8操作系統(tǒng),它同時(shí)在筆記本、平板、電腦、電視上運(yùn)行。而據(jù)AllThingsD報(bào)道稱,微軟會(huì)推出基于ARM平臺(tái)的Windows8平板電腦。還會(huì)展示一