剛剛得到的消息，科技汽車公司特斯拉宣布計(jì)算機(jī)視覺著名學(xué)者 Andrej Karpathy 加盟，他已成為該公司自動(dòng)駕駛研究部門的一員。在此之前，Karpathy 是伊隆·馬斯克旗下的人工智能研究機(jī)構(gòu) OpenAI 的研究者。這位畢業(yè)于斯坦福大學(xué)的計(jì)算機(jī)視覺專家擁有人工智能領(lǐng)域的豐富履歷，他在博士期間曾師從于著名學(xué)者李飛飛，研究卷積/循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)與計(jì)算機(jī)視覺應(yīng)用。

在學(xué)習(xí)期間，Andrej Karpathy 還共同構(gòu)建了斯坦福大學(xué)最受尊敬的深度學(xué)習(xí)教程，他在斯坦福大學(xué)的研究著重于構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，通過識(shí)別圖像中離散的特征點(diǎn)用自然語言對(duì)圖片進(jìn)行標(biāo)注。此外，他還構(gòu)建了一個(gè)反向系統(tǒng)，通過用戶描述的自然語言（如「白色網(wǎng)球鞋」）來搜索圖片庫中的圖像。

從斯坦福畢業(yè)后，Karpathy 曾在谷歌研究院、DeepMind 等公司和機(jī)構(gòu)實(shí)習(xí)，他的研究專注于深度學(xué)習(xí)。他在計(jì)算機(jī)視覺領(lǐng)域的專長顯然被特斯拉視為巨大的財(cái)富——這家著名公司一直試圖打造面向未來的自動(dòng)駕駛技術(shù)。

Andrej Karpathy 在特斯拉的新職位是：人工智能和自動(dòng)駕駛視覺總監(jiān)（Director of AI and Autopilot Vision），特斯拉表示，Karpathy 將直接向馬斯克負(fù)責(zé)，但同時(shí)也會(huì)與特斯拉副總裁、負(fù)責(zé)自動(dòng)駕駛硬件與軟件工程的 Jim Keller 共同工作。

特斯拉宣布 Andrej Karpathy 加盟的聲明如下：

Andrej Karpathy，世界一流的計(jì)算機(jī)視覺和深度學(xué)習(xí)專家之一，現(xiàn)在已經(jīng)以人工智能和無人駕駛視覺總監(jiān)的身份加入了特斯拉，可以向 Elon Musk 直接進(jìn)行匯報(bào)。Andrej 曾經(jīng)通過對(duì) ImageNet 的研發(fā)給予計(jì)算機(jī)以視覺，通過對(duì)生成模型的開發(fā)給予計(jì)算機(jī)以想象力，并且通過強(qiáng)化學(xué)習(xí)給予其瀏覽互聯(lián)網(wǎng)的能力。

Andrej 在斯坦福大學(xué)拿到了他的計(jì)算機(jī)視覺博士學(xué)位，在那里他就可以應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來推導(dǎo)出圖像的復(fù)合形式。比如，不僅僅能簡(jiǎn)單地識(shí)別圖片里有一只貓，還能識(shí)別出這是一個(gè)「橙色斑點(diǎn)」貓，正騎在一個(gè)棕色木板和紅色輪子制成的滑板上。他也創(chuàng)辦并且教授了「用于視覺識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)」（「Convolutional Neural Networks for Visual Recognition」）這門課程，這是斯坦福大學(xué)的第一個(gè)深度學(xué)習(xí)課程，直到現(xiàn)在仍然處于業(yè)內(nèi)領(lǐng)先地位。（相關(guān)課程鏈接：http://cs231n.stanford.edu/2016/）(http://cs231n.stanford.edu/2016/%EF%BC%89)

Andrej 將會(huì)和 Jim Keller 緊密配合，后者現(xiàn)在已經(jīng)全權(quán)負(fù)責(zé)無人駕駛的硬件和軟件開發(fā)。

Karpathy 的個(gè)人簡(jiǎn)歷時(shí)間線

個(gè)人簡(jiǎn)介：Andrej Karpathy 是深度學(xué)習(xí)計(jì)算機(jī)視覺領(lǐng)域、生成式模型與強(qiáng)化學(xué)習(xí)領(lǐng)域的研究員。博士期間師從李飛飛研究卷積／循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，以及它們?cè)谟?jì)算機(jī)視覺、自然語言處理以及二者交叉領(lǐng)域的應(yīng)用。在讀博期間，兩次在谷歌實(shí)習(xí)，研究在 Youtube 視頻上的大規(guī)模特征學(xué)習(xí)，2015 年在 DeepMind 實(shí)習(xí)，研究深度強(qiáng)化學(xué)習(xí)。與李飛飛一起工作時(shí)，設(shè)計(jì)、教授了新的斯坦福課程《卷積網(wǎng)絡(luò)進(jìn)行視覺識(shí)別（CS231n）》。博士畢業(yè)論文為《CONNECTING IMAGES AND NATURAL LANGUAGE》。

論文：連接圖像與自然語言（CONNECTING IMAGES AND NATURAL LANGUAGE）

論文鏈接：http://cs.stanford.edu/people/karpathy/main.pdf

審核導(dǎo)師

摘要：人工智能領(lǐng)域的一個(gè)長期目標(biāo)是開發(fā)能夠感知和理解我們周圍豐富的視覺世界，并能使用自然語言與我們進(jìn)行關(guān)于其的交流的代理。由于近些年來計(jì)算基礎(chǔ)設(shè)施、數(shù)據(jù)收集和算法的發(fā)展，人們?cè)谶@一目標(biāo)的實(shí)現(xiàn)上已經(jīng)取得了顯著的進(jìn)步。這些進(jìn)步在視覺識(shí)別上尤為迅速——現(xiàn)在計(jì)算機(jī)已能以可與人類媲美的表現(xiàn)對(duì)圖像進(jìn)行分類，甚至在一些情況下超越人類，比如識(shí)別狗的品種。但是，盡管有許多激動(dòng)人心的進(jìn)展，但大部分視覺識(shí)別方面的進(jìn)步仍然是在給一張圖像分配一個(gè)或多個(gè)離散的標(biāo)簽（如，人、船、鍵盤等等）方面。

在這篇學(xué)位論文中，我們開發(fā)了讓我們可以將視覺數(shù)據(jù)領(lǐng)域和自然語言話語領(lǐng)域連接起來的模型和技術(shù)，從而讓我們可以實(shí)現(xiàn)兩個(gè)領(lǐng)域中元素的互譯。具體來說，首先我們引入了一個(gè)可以同時(shí)將圖像和句子嵌入到一個(gè)共有的多模態(tài)嵌入空間（multi-modal embedding space）中的模型。然后這個(gè)空間讓我們可以識(shí)別描繪了一個(gè)任意句子描述的圖像，而且反過來我們還可以找出描述任意圖像的句子。其次，我們還開發(fā)了一個(gè)圖像描述模型（image captioning model），該模型可以根據(jù)輸入其的圖像直接生成一個(gè)句子描述——該描述并不局限于人工編寫的有限選擇集合。最后，我們描述了一個(gè)可以定位和描述圖像中所有顯著部分的模型。我們的研究表明這個(gè)模型還可以反向使用：以任意描述（如：白色網(wǎng)球鞋）作為輸入，然后有效地在一個(gè)大型的圖像集合中定位其所描述的概念。我們認(rèn)為這些模型、它們內(nèi)部所使用的技術(shù)以及它們可以帶來的交互是實(shí)現(xiàn)人工智能之路上的一塊墊腳石，而且圖像和自然語言之間的連接也能帶來許多實(shí)用的益處和馬上就有價(jià)值的應(yīng)用。

從建模的角度來看，我們的貢獻(xiàn)不在于設(shè)計(jì)和展現(xiàn)了能以復(fù)雜的處理流程處理圖像和句子的明確算法，而在于卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)的混合設(shè)計(jì)，這種設(shè)計(jì)可以在一個(gè)單個(gè)網(wǎng)絡(luò)中將視覺數(shù)據(jù)和自然語言話語連接起來。因此，圖像、句子和關(guān)聯(lián)它們的多模態(tài)嵌入結(jié)構(gòu)的計(jì)算處理會(huì)在優(yōu)化損失函數(shù)的過程中自動(dòng)涌現(xiàn)，該優(yōu)化考慮網(wǎng)絡(luò)在圖像及其描述的訓(xùn)練數(shù)據(jù)集上的參數(shù)。這種方法享有許多神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，其中包括簡(jiǎn)單的均質(zhì)計(jì)算的使用，這讓其易于在硬件上實(shí)現(xiàn)并行；以及強(qiáng)大的性能——由于端到端訓(xùn)練（end-to-end training）可以將這個(gè)問題表示成單個(gè)優(yōu)化問題，其中該模型的所有組件都具有一個(gè)相同的最終目標(biāo)。我們的研究表明我們的模型在需要圖像和自然語言的聯(lián)合處理的任務(wù)中推進(jìn)了當(dāng)前最佳的表現(xiàn)，而且我們可以一種能促進(jìn)對(duì)該網(wǎng)絡(luò)的預(yù)測(cè)的可解讀視覺檢查的方式來設(shè)計(jì)這一架構(gòu)。

原文鏈接：https://techcrunch.com/2017/06/20/tesla-hires-deep-learning-expert-andrej-karpathy-to-lead-autopilot-vision/

本文為機(jī)器之心編譯，轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。