AR與VR都是計(jì)算視覺產(chǎn)業(yè)體系的核心技術(shù)。但AR 與 VR 相比，人們普遍認(rèn)為前者的前景更加廣闊，更有預(yù)測(cè)稱，到2020年，AR的市場(chǎng)規(guī)模會(huì)比VR大一倍。但是，由于AR 多了與真實(shí)世界相互融合這一個(gè)步驟，因此實(shí)現(xiàn)難度也比 VR 大得多。下文中，我們對(duì)目前業(yè)內(nèi)應(yīng)用的AR實(shí)現(xiàn)方式做了較完善的盤點(diǎn)，包括專業(yè)級(jí)別的七種主流AR光學(xué)方案，以及針對(duì)狂熱科技愛好者的四種底層AR實(shí)現(xiàn)方式。幫助大家了解AR是如何實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界的交互融合的。
七種AR光學(xué)方案及優(yōu)缺點(diǎn)
1、直接投影或離軸反射
這種技術(shù)類似于投影儀，可以將影像直接投影到眼鏡上，比如 Glass Up，就是在右側(cè)鏡腿上安裝了一個(gè)微型投影儀，并將鏡片作為反射鏡，會(huì)在鏡片上投射一個(gè)大小為 320×240 的區(qū)域，通過反射以后形成平行光進(jìn)入人眼成像。這種方案雖無法像手機(jī)或平板電腦一樣進(jìn)行多任務(wù)處理，但應(yīng)付一些文字信息和簡(jiǎn)單圖表足夠。Meta 眼鏡也采用了類似技術(shù)——離軸反射鏡，與標(biāo)準(zhǔn)拋物反射鏡的不同之處在于，它可在特定角度下直射并聚焦入射平行光，且支持無限遠(yuǎn)焦點(diǎn)，造型極其緊湊的投影儀藏在鏡框內(nèi)，左右各有一個(gè)，由 LED 光源將半透式 LCD 上的影像投射到分光鏡片上成像，從而提供了立體視覺。
2、棱鏡光學(xué)
如圖，最簡(jiǎn)單的就是 45 度角棱鏡，把顯示器產(chǎn)生的光從眼鏡框反射進(jìn)人眼，也同時(shí)讓現(xiàn)實(shí)世界的光透進(jìn)來。這樣做簡(jiǎn)單便宜，眾所周知的 Google Glass 便是采用了這種方案。但由于技術(shù)限制，連 Google Glass 的缺點(diǎn)也很明顯，視場(chǎng)角僅 20°左右（棱鏡方式要想做大 FOV 只能做得更厚），光線需要先后經(jīng)過半反半透膜層兩次，光能利用率低（約為 20%），導(dǎo)致畫面較暗。受限于制造工藝，鏡片厚，提供面積大的鏡片成本高、良率低。
3、自由曲面棱鏡式
自由曲面指表面形狀不能被連續(xù)加工的，具有傳統(tǒng)加工成型的任意性特點(diǎn)的曲面，其設(shè)計(jì)難度遠(yuǎn)遠(yuǎn)高于前兩類。一般情況下它的形態(tài)是一個(gè)楔形的玻璃，這種曲面是非旋轉(zhuǎn)對(duì)稱的 XY 多項(xiàng)式自由曲面。在這種結(jié)構(gòu)中，光線經(jīng)過該棱鏡的變換，形成虛擬放大的圖像，自由曲面全反射的出射面和自由曲面的反射面能消除色差和畸變等像差，因此成像質(zhì)量更加清晰，視角可以達(dá)到 54 度，采用雙自由曲面棱鏡視角可以進(jìn)一步提高。缺陷就是，體積較大，厚度約在 7-10mm。
4、光波導(dǎo)+全息技術(shù)
波導(dǎo)能夠在 3mm 以內(nèi)的玻璃上，實(shí)現(xiàn) 30-40°的視場(chǎng)角。它會(huì)低于一般近視眼鏡的厚度，非常輕薄，因此可以和普通眼鏡結(jié)合。不過，它的設(shè)計(jì)難度也是最大的。該技術(shù)的基本原理是光的全反射和衍射。如圖，全息波導(dǎo)頭盔顯示系統(tǒng)主要由微顯示器、全息光柵和平板波導(dǎo)組成。圖像經(jīng)過微型準(zhǔn)直透鏡后變成平行光進(jìn)入光波導(dǎo)到達(dá)第一個(gè)全息光柵，由于全息光柵的衍射效應(yīng)使平行光改變傳輸方向從而滿足全反射條件并沿波導(dǎo)方向向前無損傳播。當(dāng)平行光傳播到第二個(gè)全息光柵時(shí)，全反射條件被破壞從而使平行光從全息波導(dǎo)出射，并進(jìn)入人眼成像。由于全息波導(dǎo)的存在，光學(xué)圖像可以垂直偏轉(zhuǎn)傳播。這不但減小了傳播距離，還可保持光學(xué)系統(tǒng)的重心在頭部以內(nèi)。同時(shí)減少了折鏡的使用，從而有利于光學(xué)系統(tǒng)的簡(jiǎn)潔化和輕小型設(shè)計(jì)。不過，該技術(shù)智能實(shí)現(xiàn)單色顯示，想要實(shí)現(xiàn)彩色效果必須采用 3 層鏡片，分別投射紅、綠、藍(lán)三原光，利用不同光線的融合形成彩色。目前，HoloLens 便是采用這種方案。
5、光波導(dǎo)+反射技術(shù)
全息光柵方案，由于衍射效應(yīng)會(huì)造成色散和圖像模糊。所以，以色列公司 Lumus 用到了一種 Light-guide Optical Element（LOE）器件，這種器件使用的并非全息光柵，而是更加簡(jiǎn)單的多反射層結(jié)構(gòu)，如圖所示。LOE 器件的原理和潛望鏡類似，但是使用了多個(gè)反射鏡擴(kuò)展出瞳。每個(gè)反射鏡反射的都是平行光，這些反射鏡成同一像。其中 Lumus 的代表性產(chǎn)品 PD-18 分辨率為 800×600，視場(chǎng)角為 26°×20°，出瞳為 10mm，出瞳距為 23mm。器件厚度為 2.3mm，重量小于 70g，亮度為 1200fL，顯示區(qū)透過率為 70%，其余區(qū)域透過率為 92%。
6、光場(chǎng)技術(shù)
光場(chǎng)技術(shù)作為近眼 3D 的另外一大技術(shù)路線，其代表者就是 Magic Leap。該技術(shù)最大的好處就是可以允許用戶自由對(duì)焦，看遠(yuǎn)看近不至于產(chǎn)生傳統(tǒng)照片或視頻那樣的模糊感覺。這種方法的技術(shù)核心是光導(dǎo)纖維投影儀（Fiber Optic Projector），基于激光在光導(dǎo)纖維中傳播后從纖維的端口射出時(shí)輸出方向和纖維相切的原理，Magic Leap 通過改變纖維在三維空間中的形狀，特別是改變纖維端口處的切方向，控制激光射出的方向，直接投射到視網(wǎng)膜。
7、視頻疊加技術(shù)
上述幾種方案相對(duì)較難，視頻疊加技術(shù)則可以更簡(jiǎn)單地實(shí)現(xiàn) AR 效果。視頻疊加技術(shù)直接利用攝像頭取代透鏡觀察真實(shí)世界，并將虛擬事物疊加在攝像頭所拍攝的場(chǎng)景中。該方法避免了光學(xué)設(shè)計(jì)上的難題，并且可以增強(qiáng)人的視覺感知能力，比如通過使用紅外線攝像頭，可以看見紅外光譜的景象。不過，它也帶來了另一個(gè)難題，那就是數(shù)據(jù)運(yùn)算量極高，這個(gè)問題亟待解決。
四種“底層”AR實(shí)現(xiàn)方式
如果說上面的是專業(yè)技術(shù)解決方案，那么下面我們要介紹的就是專為AR技術(shù)愛好者準(zhǔn)備的“業(yè)余”方案。
1、Opencv和C++
大致原理是OpenCV實(shí)現(xiàn)對(duì)Marker的識(shí)別和定位，然后通過OpenGL將虛擬物體疊加到攝像頭圖像下，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。具體思路是：使用SIFT算法進(jìn)行識(shí)別（特征點(diǎn)的提取并用特征向量對(duì)特征點(diǎn)描述，接著當(dāng)前視圖的特征向量與目標(biāo)對(duì)象的特征向量進(jìn)行匹配），根據(jù)識(shí)別出來的原目標(biāo)和幀圖像匹配關(guān)系得到變化矩陣，來顯示三維物體（使用OpenGL來繪制），實(shí)現(xiàn)跟蹤。
2、Python
Python是世界上最優(yōu)雅的語言，目前的計(jì)算機(jī)視覺項(xiàng)目大都用Python來實(shí)現(xiàn)，當(dāng)然用Python的CV庫也可以很輕松的實(shí)現(xiàn)AR效果。用Python來實(shí)現(xiàn)AR效果，首先需要運(yùn)用到兩個(gè)開源的工具包PyGame與PyOpenGL。PyGame是非常流行的游戲開發(fā)工具包，它可以非常簡(jiǎn)單的處理顯示窗口，輸入設(shè)備，事件以及其他內(nèi)容。在實(shí)現(xiàn)的過程中，需要獲取照相機(jī)矩陣并轉(zhuǎn)換到OpenGL格式，并以平面和標(biāo)記物進(jìn)行姿態(tài)估計(jì)，然后在圖像中放置虛擬物體，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。
3、AR+SLAM
SLAM主要用于地圖重建，在AR中，通常運(yùn)用SLAM算法來獲取camera pose。網(wǎng)上有一些SLAM開發(fā)資源與AR-SLAM 項(xiàng)目案例，有興趣的可以下載參考。
4、ARToolkit
ARToolKit 是一個(gè)C/C++ 語言編寫的庫。對(duì)于開發(fā)一個(gè)AR程序來說，最困難的部分在于實(shí)時(shí)的將虛擬圖像覆蓋到用戶視口，并且和真實(shí)世界中的對(duì)象精確對(duì)齊。ARToolKit使用圖像技術(shù)計(jì)算攝像機(jī)和標(biāo)記卡之間的相對(duì)位置，從而使程序員能夠?qū)⑺麄兊奶摂M對(duì)象覆蓋到標(biāo)記卡上面。ARToolKit 提供的快速和準(zhǔn)確的標(biāo)記跟蹤，能夠讓人快速的開發(fā)出許多更新更有趣的AR程序。實(shí)現(xiàn)步驟是：程序初始化—抓取一幀進(jìn)行視頻的輸入—然后探測(cè)標(biāo)示卡—計(jì)算攝像頭的轉(zhuǎn)移矩陣—繪制虛擬物體—關(guān)閉視頻捕捉。
微信掃一掃
