智研咨詢 - 產(chǎn)業(yè)信息門戶

2020年3D深度相機(jī)助力智能人機(jī)交互進(jìn)入新時代,即將迎來快速發(fā)展,后置前景廣闊[圖]

    一、3D深度相機(jī)助力智能人機(jī)交互進(jìn)入新時代

    在科技與需求的雙輪驅(qū)動下,人機(jī)交互從鼠標(biāo)、多點(diǎn)觸控,發(fā)展到了今天的體感技術(shù)。每一次交互的變革,都會帶來新的突破和體驗。DOS系統(tǒng)+鍵盤形成一維人機(jī)交互;Windows+鼠標(biāo)形成了PC二維人機(jī)交互;觸摸屏和攝像頭形成了智能手機(jī)二維人機(jī)交互;體感游戲機(jī)、手機(jī)3D成像技術(shù)實現(xiàn)三維人機(jī)交互。利用體感技術(shù),人們可以直接使用肢體動作與手機(jī)、電腦等設(shè)備進(jìn)行互動,無需使用鼠標(biāo)、鍵盤、觸控屏等任何控制設(shè)備,即可以達(dá)到自然舒適的用戶體驗。體感交互將取代鼠標(biāo)、觸屏,成為智能設(shè)備人機(jī)交互的未來方向。

    3D深度相機(jī)指的是可以測量物體到相機(jī)距離(深度)的相機(jī)。這類相機(jī)不僅可以拍攝到場景的二維圖像,而且能獲取物體之間的位置關(guān)系,再經(jīng)過進(jìn)一步深化處理,還能完成三維建模等應(yīng)用。

體感交互技術(shù)經(jīng)歷了三個階段

1
早期的智能設(shè)備交互采用手柄方式,如任天堂的WiiRemote和索尼PSMove等;
2
2010年起,紅外體感攝像頭開始被使用在微軟Kinect、英特爾RealSense等設(shè)備;
3
2015年微軟又將頭戴VR與3D深度感知結(jié)合,推出顛覆性創(chuàng)新產(chǎn)品Hololens全息頭盔。

數(shù)據(jù)來源:公開資料整理

    但是傳統(tǒng)的人機(jī)交互是在2D平面圖像的基礎(chǔ)上進(jìn)行處理的,普通攝像頭只能實現(xiàn)影像的記錄和平面圖像的采集,分析算法難度大,功能十分有限;而3D成像技術(shù),利用光學(xué)攝像頭和紅外深度傳感器確定人體空間位置。1)普通光學(xué)攝像頭,實現(xiàn)人體的二維捕捉;2)紅外深度傳感器,通過發(fā)出或接收紅外光來確定深度信息;二者結(jié)合即可獲得人體的三維空間位置。

    隨著硬件端技術(shù)的不斷進(jìn)步,算法與軟件層面的不斷優(yōu)化,3D深度視覺的精度和實用性得到大幅提升?;?D視覺的手勢/人臉識別將對現(xiàn)有的消費(fèi)電子產(chǎn)品產(chǎn)生顛覆性的變化,在大型設(shè)備(如智能電腦、智能電視等)中得到了廣泛應(yīng)用(體育類游戲、虛擬樂器彈奏、3D雕塑、機(jī)器人控制等),掀起了體感技術(shù)的熱潮。

    二、深度3D相機(jī)具有立體視覺,迎來快速發(fā)展

    2020年3月18日蘋果發(fā)布了新的iPadPro,搭載3DdToF技術(shù)(蘋果稱為LiDAR),在納秒的極短時間內(nèi)測量室內(nèi)或室外環(huán)境中從最遠(yuǎn)五米處反射回來的光子。LiDAR與Pro級攝像頭、運(yùn)動傳感器和iPadOS內(nèi)的架構(gòu)協(xié)同合作,硬件、軟件與突破性創(chuàng)新技術(shù)的結(jié)合,為AR增強(qiáng)現(xiàn)實及更廣泛的領(lǐng)域開啟無盡可能。

    蘋果新iPadPro配備了大量增強(qiáng)現(xiàn)實類功能,真實感強(qiáng)烈:能即時完成放置虛擬物體,具有逼真的物體遮擋效果,可讓虛擬物體在現(xiàn)實場景結(jié)構(gòu)中前后穿插。動作捕捉和人物遮擋效果也經(jīng)過優(yōu)化,精準(zhǔn)度更高。新款iPadPro還能實現(xiàn)身高測量、AR游戲、AR裝修、豐富視頻動畫等。媒體報道,即將在今年9月發(fā)布的iPhone12系列手機(jī)也有望采用3DTOF技術(shù)。相比此前安卓手機(jī)廠商采用的3DiToF技術(shù),蘋果采用的3DdToF技術(shù)響應(yīng)快、功耗低、功能完善。此外,當(dāng)前只有較少的應(yīng)用app支持ToF技術(shù),蘋果的采用有望加速ToF生態(tài)的建設(shè),讓ToF的滲透率快速提升。

消費(fèi)電子TOF產(chǎn)業(yè)鏈結(jié)構(gòu)

數(shù)據(jù)來源:公開資料整理

oF深度相機(jī)主要包含以下幾個組件:

方案廠商
處于ToF產(chǎn)業(yè)鏈的核心位置,設(shè)計方案、算法和選擇主要零部件,通常也同時設(shè)計ToFsensor。
發(fā)射端
通常由VCSEL激光器及光學(xué)器件組成。
接收端
包括ToFsensor、濾光片和鏡片。ToFsensor收集反射回來的經(jīng)過紅外濾光片過濾的紅外光,測量光線從發(fā)射單元到每個像素點(diǎn)的時間,同時記錄被拍物體的2D黑白圖像。濾光片僅允許發(fā)射端相應(yīng)波長的紅外光通過,過濾掉其它波長的光學(xué)干擾。
模組組裝
將ToFsensor、VCSEL激光器、光學(xué)元器件等集成為一個完整的模塊。

數(shù)據(jù)來源:公開資料整理

    相機(jī)創(chuàng)新是消費(fèi)者購買手機(jī)最大動力之一。相機(jī)創(chuàng)新是消費(fèi)者選購手機(jī)的主要考慮因素之一。根據(jù)中關(guān)村在線2019Q1發(fā)布的報告,在處理器、相機(jī)、屏幕、游戲體驗等諸多方面,相機(jī)功能是消費(fèi)者最為關(guān)注和看重的,占據(jù)29%的關(guān)注度,同比提升5%。大大高于第二名處理器的17%。各個手機(jī)廠商都極為重視相機(jī)的創(chuàng)新。

    手機(jī)攝像機(jī)功能成為消費(fèi)者最為關(guān)注的因素

數(shù)據(jù)來源:公開資料整理

    3D深度相機(jī)成為下一階段相機(jī)創(chuàng)新的重點(diǎn)方向之一。從2000年夏普首次將相機(jī)和手機(jī)相結(jié)合以后,手機(jī)相機(jī)的創(chuàng)新一直以驚人的速度在前進(jìn),主要可分為以下4個階段:1)相機(jī)和手機(jī)相結(jié)合,手機(jī)具備照相功能,此后相機(jī)模組尺寸不斷減小,像素不斷提高;2)前置攝像頭添加,像素不斷提高,自拍功能不斷完善;3)雙攝和三攝突破單相機(jī)瓶頸,夜視暗拍、大光圈、潛望式、超廣角功能不斷提升相機(jī)性能;4)3D深度相機(jī)帶來立體視覺,增加了臉部解鎖、支付、測距等功能。蘋果在2017年開創(chuàng)了前置3D深度相機(jī)的先例,各大手機(jī)廠商不斷嘗試后置3D相機(jī)的應(yīng)用,蘋果新款iPadPro正加速后置3D相機(jī)的推進(jìn)。

    智研咨詢發(fā)布的《2020-2026年中國虛擬現(xiàn)實(VR)和增強(qiáng)現(xiàn)實(AR) 行業(yè)市場分析預(yù)測及投資前景分析報告》顯示:全球5G和AI商用時代已經(jīng)開啟,3D深度相機(jī)作為AR的基礎(chǔ),有望迎來快速滲透。5G時代,寬帶增強(qiáng)和實時通信等特點(diǎn)有助于AR/VR走向云端,能降低設(shè)備的要求,同時AI算法和硬件的成熟,將會進(jìn)一步助推內(nèi)容的完善。TOF能提供3D拍照、3D識別和3D建模等功能,是AR的基礎(chǔ)。全球AR/VR支出規(guī)模在2019年達(dá)到168億美元,在2023年將達(dá)到1600億美元,AR/VR支出規(guī)模在2019到2023年間復(fù)合年增長率(CAGR)將達(dá)78%。預(yù)測中國市場AR/VR支出規(guī)模增長更快,2023年,中國AR/VR市場支出規(guī)模將達(dá)到652.1億美元,較2019年的預(yù)測(65.3億美元)有顯著增長。2018-2023年CAGR將達(dá)到85%。ToF有望享受AR成長帶來的紅利。

    全球5G商用時代開啟

數(shù)據(jù)來源:公開資料整理

    2018-2023中國AR/VR支出規(guī)模預(yù)測

數(shù)據(jù)來源:公開資料整理

    2018年3D傳感技術(shù)市場規(guī)模為37.43億美元,預(yù)測2023年為186.14億美元,CAGR為38%。其中增長最快的屬于消費(fèi)電子,主要?dú)w功于幾大手機(jī)廠商的應(yīng)用。消費(fèi)電子領(lǐng)域,2018年市場規(guī)模為18.1億美元,預(yù)計2023年為137.7億美元,CAGR超過50%。

    3D傳感技術(shù)市場規(guī)模快速增長(百萬美元)

數(shù)據(jù)來源:公開資料整理

    三、3DToF技術(shù)優(yōu)勢突出,后置前景廣闊

    深度3D傳感技術(shù)根據(jù)工作原理可以分為三種:RGB雙目、TOF和結(jié)構(gòu)光。RGB雙目技術(shù)算法要求高,并容易受光線影響,在較暗或者高度曝光的情況下效果都非常差,因此很少被采用。目前應(yīng)用比較多的是TOF和結(jié)構(gòu)光。

    TOF(timeofflight)技術(shù)工作原理是通過泛光照明器(固態(tài)激光器或者LED)發(fā)射近紅外(~850nm或940nm)的脈沖波,脈沖波遇到物體以后反射回來,被傳感器(sensor)收集到。系統(tǒng)通過計算sensor上每個像素脈沖波之間的頻率差或時間差,再通過算法得到每個位置的精確3維深度。結(jié)構(gòu)光技術(shù)的基本原理是,通過近紅外激光器,將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上,再由專門的紅外攝像頭進(jìn)行采集。這種具備一定結(jié)構(gòu)的光線,會因被攝物體的不同深度區(qū)域,而采集不同的圖像相位信息,然后通過運(yùn)算單元將這種結(jié)構(gòu)的變化換算成深度信息,以此來獲得三維結(jié)構(gòu)。簡單來說就是,通過光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu),再將獲取到的信息進(jìn)行更深入的應(yīng)用。

    TOF傳感技術(shù)測距范圍可調(diào)節(jié),具有更遠(yuǎn)的探測能力。TOF傳感技術(shù)通過計算紅外光的飛行時間來計算物體的深度信息,誤差主要來自裝置的系統(tǒng)誤差,誤差較為恒定。而結(jié)構(gòu)光的精度取決于反射光,在近距離誤差較小,但是隨著距離的增加,誤差呈現(xiàn)指數(shù)增加。TOF測量距離可以調(diào)節(jié),只要改變光學(xué)強(qiáng)度、光學(xué)視角、發(fā)射器脈沖頻率,適合遠(yuǎn)距離體感識別,例如身體動作、手勢等,也適合導(dǎo)航、監(jiān)控、移動機(jī)器人等應(yīng)用場景,潛在應(yīng)用場景廣闊

TOF在較深的范圍內(nèi)誤差保持不變

數(shù)據(jù)來源:公開資料整理

    TOF傳感技術(shù)對算法要求低、響應(yīng)更快、支持更高幀率。結(jié)構(gòu)光因為需要對編碼的結(jié)構(gòu)光進(jìn)行解碼,所以復(fù)雜度要比直接測距的TOF高一些。TOF不需要后續(xù)處理,因此可以避免延遲,同時對算法要求更低。另外,TOF方案可以達(dá)到非常高的幀率,支持上百fps。結(jié)構(gòu)光方案幀率會低一些,典型的是30fps。如:MelexisMLX75023的TOF傳感器支持135fps。汽車輔助駕駛要求快速響應(yīng)、遠(yuǎn)距離探測,3DTOF傳感技術(shù)具備以上特點(diǎn),因而也更適合汽車輔助駕駛,例如Melexis的MLX75027采用3DTOF技術(shù)對車內(nèi)人員和物品進(jìn)行監(jiān)控,并具有手勢檢測功能。TOF結(jié)構(gòu)簡單、模組尺寸更小,材料成本更低。在紅外發(fā)射端,TOF基本不需要使用光學(xué)棱鏡,而結(jié)構(gòu)光需要形成特定的光學(xué)圖案,因此需要添加DOE(衍射光柵)和lens(光學(xué)棱鏡)。因此TOF的模組尺寸更小,材料成本也更低。結(jié)構(gòu)光的BOM成本大約20美元,而ToF約為15美元,中低端ToF甚至在10美元以下,ToF更具成本優(yōu)勢。

TOF技術(shù)優(yōu)勢更明顯

比較
3DTOF
結(jié)構(gòu)光
軟件復(fù)雜程度
相對較低
相對較高
材料成本
相對較低
相對較高
響應(yīng)成本
精確度
在較長的空間距離保持恒定
短距離相對較高(1m范圍)
低光下性能
強(qiáng)光下性能
相對較差
能耗
可調(diào)節(jié)
相對適中
模組大小
相對較大
范圍
可調(diào)節(jié)
中等

數(shù)據(jù)來源:公開資料整理

    2017年蘋果發(fā)布的iPhoneX采用結(jié)構(gòu)光FaceID用于人臉識別,開啟了3D深度相機(jī)在手機(jī)的應(yīng)用先例,在隨后的iPhoneXS和iPhone11系列手機(jī)中延續(xù)了這一設(shè)計,但是結(jié)構(gòu)光技術(shù)占用較大屏幕正面區(qū)域,且應(yīng)用場景較少,該項技術(shù)一直未獲得其他廠商的采用。新款iPadPro的dToF發(fā)射的點(diǎn)光源密度遠(yuǎn)低于iPhone前置的結(jié)構(gòu)光,也說明了兩個技術(shù)的不同用途。ToF技術(shù)更適用于遠(yuǎn)距離識別場景,如:智能手機(jī)后置攝像頭、VR/AR手勢交互、汽車電子ADAS、安防監(jiān)控以及新零售等等領(lǐng)域。未來隨著技術(shù)的進(jìn)一步成熟、生態(tài)逐步完善,TOF產(chǎn)業(yè)有望進(jìn)一步提升。

    3DToF技術(shù)在2018年就被VIVO、OPPO、榮耀的部分旗艦機(jī)所采用,隨后LG、華為、三星高端旗艦機(jī)接連加入。

TOF相機(jī)應(yīng)用于少數(shù)安卓旗艦機(jī)型

廠商
發(fā)布時間
型號
ToFSensor
OPPO
2018.8
R17Pro
索尼IMX316
華為
2018.12
榮耀V20
索尼IMX316
VIVO
2018.12
NEX雙屏
松下、ADI
三星
2019.2
GalaxS105G
-
華為
2019.3
P30Pro
索尼IMX316
三星
2019.8
Note10+
索尼IMX516
華為
2019.9
Mate30Pro
前置索尼IMX516,后置索尼IMX316
三星
2020.2
S20Ultra
索尼IMX516
華為
2020.2
MateXs
索尼
Apple
2020.3
iPadPro
索尼,估計為訂制芯片
華為
2020.4
P40Pro
索尼

數(shù)據(jù)來源:公開資料整理

    目前OPPO、榮耀、華為和三星的TOF深度傳感器大都是索尼的IMX316芯片。IMX316傳感器尺寸為1/6英寸,有效像素僅為4.32萬。

    軍事和無人駕駛汽車上用的工業(yè)級激光雷達(dá)(LiDAR)也采用到了ToF技術(shù),利用激光束來探測目標(biāo)的位置、速度等特征量,結(jié)合了激光、全球定位系統(tǒng)GPS和慣性測量裝置(InertialMeasurementUnit,IMU)三者的作用,進(jìn)行逐點(diǎn)掃描來獲取整個探測物體的深度信息。

    而從全球領(lǐng)先的高性能模擬技術(shù)巨頭ADI近日在臺北舉行的智慧物聯(lián)應(yīng)用方案巡展上的展示可窺,目前隨著各大應(yīng)用市場對ToF深度視覺技術(shù)需求的日益增長,外加越來越多的國內(nèi)外半導(dǎo)體大廠們持續(xù)的“推波助瀾”,ToF產(chǎn)業(yè)及應(yīng)用市場有望開啟新一輪的加速發(fā)展。以現(xiàn)階段體量最大的智能手機(jī)與汽車電子兩個領(lǐng)域來看,產(chǎn)品存量的持續(xù)擴(kuò)大帶來微創(chuàng)新模式的加速滲透,對深度攝像技術(shù)的強(qiáng)烈需求加之智能手機(jī)交互方式的不斷變化正促進(jìn)全球ToF市場快速擴(kuò)張;而汽車電子領(lǐng)域以ADAS滲透率不斷提高為代表的汽車智能化趨勢也正加速演進(jìn),作為激光雷達(dá)、智能攝像頭等深度測距傳感器領(lǐng)域最主流的方案,ToF市場正持續(xù)受益。

    四、蘋果3DdToF加速ToF成熟

    蘋果iPadPro搭載3DdToF技術(shù),相比其他廠商采用的3DiToF技術(shù)具有諸多優(yōu)勢,有望加速ToF應(yīng)用的成熟。ToF技術(shù)根據(jù)發(fā)射光的調(diào)制形式,分為直接飛行時間測量(Direct-TOF,即dToF)和間接飛行時間測量(Indirect-TOF,即iToF),直接飛行時間測量采用脈沖調(diào)制,而間接飛行時間測量采用連續(xù)波調(diào)制。

    dToF技術(shù)要求更高,測量精度更高。dTOF需要采用高精密時鐘進(jìn)行測量且需要產(chǎn)生短時間、高頻率、高強(qiáng)度的激光,對硬件的要求較高。其優(yōu)點(diǎn)也比較顯著,省電、成像速度高,由于發(fā)射端能量較高,所以一定程度上降低了背景光的干擾,探測更遠(yuǎn)的距離。

3D深度相機(jī)分類

數(shù)據(jù)來源:公開資料整理

ToF與iToF技術(shù)對比

dTo
FiToF
照射光源
照射光源一般采用方波脈沖調(diào)制,發(fā)射的是離散激光脈沖
通常采用的是正弦波調(diào)制,可以發(fā)射低頻光(紅外)
技術(shù)難點(diǎn)
要求高精密時鐘和高強(qiáng)度激光器時間測量精度要求較高
--
優(yōu)點(diǎn)
1)測量方法簡單,響應(yīng)較快,成像速度高2)由于發(fā)射端能量較高,所以一定程度上降低了背景光的干擾
1)對硬件要求比較低2)相位偏移相對于脈沖調(diào)試法消除了由于測量器件或者環(huán)境光引起的固定偏差3)可根據(jù)接收信號的振幅和強(qiáng)度偏移來間接的估算測量結(jié)果的精確程度
缺點(diǎn)
環(huán)境散射光對測量結(jié)果有一定影響
需要多次采樣積分,測量時間較長,測量運(yùn)動物體時可能會產(chǎn)生運(yùn)動模糊

數(shù)據(jù)來源:公開資料整理

    當(dāng)前,ST和AMS的1DToF基本采用dToF技術(shù),而安卓廠商的3DToF全部采用iToF技術(shù)。

    2020年3月13日消息,2020年至少有一款iPhone會在背后安裝三維深度攝像頭,用以提升手機(jī)照片和視頻效果,還能提供更好的增強(qiáng)現(xiàn)實(AR)效果。

    據(jù)稱,iPhone的工程師們已經(jīng)花了至少兩年的時間研究后置三維深度相機(jī),就目前而言,它還在設(shè)計中,不考慮新冠肺炎疫情的影響,有望在今年秋天首次看到它。Lumentum是為蘋果提供前置攝像頭的FaceID功能的供應(yīng)商,但該公司表示,還沒有和蘋果探討在未發(fā)布設(shè)備中使用其三維視覺技術(shù)。

    去年發(fā)布的iPhone11Pro和iPhone11ProMax有三個攝像頭,可以為拍攝場景的寬度提供更多選擇,而三維相機(jī)系統(tǒng)將增加深度信息?,F(xiàn)在,iPhone的主要深度效果是豎屏模式,可以有背景虛化效果。在增加了深度相機(jī)后,背景虛化效果會更加真實。在編輯模式下,可以調(diào)整照片中的不同圖層,改變哪些圖層聚焦哪些模糊。

    深度相機(jī)系統(tǒng)背后的核心技術(shù)是后置垂直腔面發(fā)射激光器(VCSEL),該激光器以恒定的速率發(fā)出光波,然后測量每次反射從環(huán)境中物體反彈回傳感器的時間。從手機(jī)附近的物體返回的光具有較短的“飛行時間”,而從較遠(yuǎn)的物體返回的光具有較長的飛行時間。

    深度相機(jī)可能會對AR應(yīng)用的質(zhì)量產(chǎn)生最大的影響。Lumentum公司的三維傳感副總裁AndreWong說:“當(dāng)你使用沒有深度信息的AR應(yīng)用時,它常會出現(xiàn)一些小故障,效果總是欠一些?,F(xiàn)在蘋果ARKit框架和谷歌的ARCore都已經(jīng)上市一段時間了,你會看到新的AR應(yīng)用程序出現(xiàn),它們在空間中呈現(xiàn)對象的方式更加精確。”

    據(jù)9to5Mac的BenjaminMayo報道,蘋果公司目前正在為iOS14系統(tǒng)開發(fā)一款A(yù)R應(yīng)用,用戶可以將iPhone對準(zhǔn)蘋果商店和星巴克的商品,從而在手機(jī)屏幕上看到商品的更多信息,以AR疊層形式顯現(xiàn)。

    在蘋果之前,已經(jīng)有多家手機(jī)在后攝上用了三維視覺,比如三星GalaxyNote10+、GalaxyS20+和GalaxyS20Ultra。但蘋果可能能會找到一些更新穎的方式來提升用戶體驗,并且更擅長包裝營銷。

    后置三維傳感技術(shù)能否對今年的第一代5GiPhone產(chǎn)生的影響,人們持懷疑態(tài)度。但可以預(yù)測的是,照片效果優(yōu)化可能會比AR功能得到更多的關(guān)注。AR開發(fā)者不僅需要掌握更好的技術(shù),還需要創(chuàng)造消費(fèi)者喜歡并經(jīng)常使用的體驗,讓AR需求足夠“硬”。

    手機(jī)作為觀看AR的載體還是有很大限制,但這種情況可能不會持續(xù)太久。這是硅谷最不為人知的秘密之一,蘋果正在研發(fā)一款A(yù)R耳機(jī)或眼鏡,從長遠(yuǎn)來看,它可能會成為蘋果公司主要的空間計算設(shè)備。

    五、AR生態(tài)逐步完善,促進(jìn)ToF共成長

    AR是未來最重要的一大科技創(chuàng)新,全球科技巨頭都積極參與,包括蘋果、谷歌、微軟、華為、亞馬遜等。早在2012年,谷歌就曾發(fā)布拓展現(xiàn)實的GoogleGlass產(chǎn)品,微軟在2015年發(fā)布了HoloLens全息頭盔,但是由于硬件技術(shù)不成熟和生態(tài)不完善,AR市場一直不溫不火。

    科技巨頭深度布局完善AR生態(tài),有望打開AR消費(fèi)級市場。從蘋果的ARSDK(軟件開發(fā)工具包)ARKit到安卓的ARSDKARCore,再到2019年華為推出的cyberverse數(shù)字平臺,這些平臺極大地降低了應(yīng)用軟件的開發(fā)難度,推動AR生態(tài)發(fā)展,帶動應(yīng)用場景的繁榮,從而打開AR的消費(fèi)級市場。

    蘋果于2017年WWDC大會上首次發(fā)布了基于iOS版本的ARKit。初代ARKit可實現(xiàn)穩(wěn)定快速的運(yùn)動定位、平面和邊界的估計、光照估計和尺度估計,并且支持各個開發(fā)平臺或引擎。此后蘋果在每年的WWDC大會上更新ARKit版本。在2018年的ARKit2版本中,增加了、環(huán)境紋理、圖像跟蹤和物體檢測等功能,提升后的ARKit2可對真實場景中的2D圖像和3D物體進(jìn)行跟蹤,渲染更逼真的增強(qiáng)現(xiàn)實場景。2019年發(fā)布的ARKit3增加了對人物遮擋、動作捕捉、多面部追蹤、同時使用前后攝像頭等功能的支持。

基于iOS的ARKit應(yīng)該場景逐步豐富

ARKit版本
新增功能
ARKit1
穩(wěn)定快速的運(yùn)動定位;平面和邊界的估計;光照估計;尺度估計;支持各個開大平臺或引擎
ARKit2
保存與加載地圖:用于支持持久化與多用戶體驗的強(qiáng)大新特性環(huán)境紋理:用于更逼真地渲染你的增強(qiáng)現(xiàn)實場景。圖像跟蹤:對真實場景中的2D圖像進(jìn)行跟蹤。物體檢測:對真實場景中的3D物體進(jìn)行跟蹤。人臉跟蹤的提升
ARKit3
人物遮擋:理解人與虛擬物體的位置關(guān)系。動作捕捉:實時捕捉人的動作。多面部追蹤:自拍相機(jī)現(xiàn)在可以跟蹤多人。同時使用前后攝像頭:促進(jìn)更多元化的AR交互

數(shù)據(jù)來源:公開資料整理

    3D視覺交互成為ARKit中重要的應(yīng)用場景。在ARKit2中,蘋果加入了對真實場景中的3D物體進(jìn)行跟蹤,在最新的ARKit3中,更是加入了實時捕捉人的動作、人物遮擋、多元化AR交互等功能。

    TOF相機(jī)作為最優(yōu)的3D交互輸入端,能大幅提升AR體驗感。3D輸入能提供3維信息,減少AR的算法難度以及計算量,能顯著提升AR體驗的精準(zhǔn)度和流暢度,另外功耗也會大大降低。具備TOF相機(jī)的iPadpro能提供更真實、流暢的AR游戲體驗,甚至可以利用AR玩逼真的在線游戲。具備TOF相機(jī)的iPadpro能提供學(xué)習(xí)和工作上的便利,例如進(jìn)行3D掃描和建模,可以讓用戶更直觀的學(xué)習(xí)模型,配合其他軟件,甚至可以做修改裝飾為了促進(jìn)AndroidAR生態(tài)的發(fā)展,谷歌在2017年推出了第一款A(yù)RSDK:ARCore。ARCore不需要額外的硬件支持,在現(xiàn)有的Android系統(tǒng)上就能實現(xiàn)AR功能;谷歌在2018年2月發(fā)布了ARCore1.0版本,使用運(yùn)動跟蹤、環(huán)境理解和光照估測三個主要技術(shù)來實現(xiàn)AR功能。僅在3個月后谷歌就發(fā)布了ARCore1.2,增加了Sceneform、AugmentedImages和CloudAnchors三大功能,并對某些iOS設(shè)備提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore1.7,引入了AugmentedFaces(臉部增強(qiáng))API,并發(fā)布了用于基本原理學(xué)習(xí)的ARCoreElements應(yīng)用程序。

    基于Android的ARCore應(yīng)用場景逐步豐富,3D應(yīng)用成為新亮點(diǎn)

ARCore版本
新增功能
ARCore1.0
運(yùn)動跟蹤:理解和跟蹤它相對于現(xiàn)實世界的位置。環(huán)境理解:檢測平坦水平表面(例如地面或咖啡桌)的大小和位置。光照估測:估測環(huán)境當(dāng)前的光照條件
ARCore1.2
Sceneform:幫助Java開發(fā)人員創(chuàng)建場景的新版SDK,更快進(jìn)行AR開發(fā)。AugmentedImages:將AR圖像附加到真實世界的對象上,同時以3D方式對它們進(jìn)行跟蹤和移動,并新增垂直平面識別功能。CloudAnchors:允許多個設(shè)備云共享對象信息增加對某些iOS設(shè)備的有限支持
ARCore1.7
AugmentedFaces:生成高質(zhì)量3D人臉網(wǎng)絡(luò),為人臉增加特效。加入新動畫動作:加入支持Sceneform、安卓3D內(nèi)容框架的新動畫動作。ARCoreElements:幫助開發(fā)、設(shè)計人員更好地使用AR構(gòu)建應(yīng)用

數(shù)據(jù)來源:公開資料整理

    3D應(yīng)用場景成為新ARCore中重要的應(yīng)用場景之一。ARCore1.2中AugmentedImages部分功能的實現(xiàn)就需要利用以3D方式對它們進(jìn)行跟蹤和移動。在ARCore1.7版本中3D應(yīng)用場景更加富,此次更新加入了自拍AR濾鏡和動畫API:AugmentedFaces,以及優(yōu)化的應(yīng)用UX。AugmentedFaces支持前置鏡頭,它可生成一種高質(zhì)量的3D人臉網(wǎng)格,支持468點(diǎn)追蹤,開發(fā)者可以在網(wǎng)格上加入有趣的特效,如動畫面具、眼鏡、虛擬帽子,它還支持皮膚潤色。開發(fā)者只需要操控網(wǎng)格上的坐標(biāo)和特定區(qū)域的錨狀點(diǎn),就可以加入特效。華為也加入了AR生態(tài)的建設(shè)。2019華為發(fā)布了Cyberverse數(shù)字平臺。該平臺為AR實景地圖服務(wù)平臺,可使用手機(jī)進(jìn)行厘米級定位,Cyberverse是開放平臺,其中的AR部分是全面開放的,可以接入Google的ARCore和蘋果的ARKit。目前Cyberverse已有開放接口,包括3DMap、數(shù)據(jù)信息接入等。

    Cyberverse目前已有3D步行導(dǎo)航、虛擬樓宇信息、智慧園區(qū)IoT信息等應(yīng)用場景,覆蓋150個國家40種語言。Cyberverse可用于在景點(diǎn)、博物館、智慧園區(qū)、機(jī)場高鐵站等空間,2019年已經(jīng)在國內(nèi)5個著名景點(diǎn)進(jìn)行開發(fā)者測試,到2020年年末,將在1000個地點(diǎn)提供服務(wù)。該平臺也可作為導(dǎo)航汽車進(jìn)行左右車道、一二三車道的轉(zhuǎn)換的高精定位導(dǎo)航系統(tǒng)

    ARKit和ARCore打破AR硬件和軟件相持的困局后,AR的成長空間已被打開,未來將是一個硬件和內(nèi)容相互推動升級的過程,可劃分為三個階段:

1
第一階段為2017-19年
硬件帶動內(nèi)容發(fā)展:過億的存量手機(jī)市場和應(yīng)用軟件開發(fā)難度的降低將帶來AR內(nèi)容的迅速發(fā)展,終端用戶的習(xí)慣得以初步培養(yǎng);
2
第二階段為2020-23年
內(nèi)容的發(fā)展將推動3D信息采集效果更好的深度ToF攝像頭在終端的搭載,深度ToF攝像頭可實現(xiàn)更優(yōu)異的AR效果,內(nèi)容將再次得以升級;
3
第三階段為2023年后
用戶的AR使用習(xí)慣已被培養(yǎng)起來、技術(shù)也得以提升,產(chǎn)業(yè)將迎來AR眼鏡/頭盔的興起,ToF的下游應(yīng)用從手機(jī)拓展至眼鏡等。

數(shù)據(jù)來源:公開資料整理

AR生態(tài)發(fā)展加速ToF應(yīng)用

數(shù)據(jù)來源:公開資料整理

    未來幾年,ToF技術(shù)在在終端將迎來高速增長。2018年全球TOFsensor傳感器市場規(guī)模為3.7億美元,占整個3D感測市場的33%,2019年其市場規(guī)模同比增長35%,市場份額達(dá)到5億美金,占比提高至40%左右?;赥OF方案的多方面優(yōu)勢,尤其是成本優(yōu)勢,預(yù)計2022年,TOFsensor市場規(guī)模有望達(dá)到15億美金。

    TOFsensor市場規(guī)模(億美元)

數(shù)據(jù)來源:公開資料整理

    隨著TOF技術(shù)的不斷成熟和應(yīng)用場景的不斷豐富,手機(jī)攝像頭、VR/AR手勢交互、汽車電子ADAS、

    安防監(jiān)控及新零售等多個領(lǐng)域都將對TOF深度傳感器的數(shù)量需求增長。不難看出,在各類新型智能終端市場的持續(xù)催動下,計算機(jī)視覺技術(shù)如今已然進(jìn)入了大爆發(fā)時代也越來越地明顯感受到了全球各大應(yīng)用市場對諸如ToF這類的3D深度視覺技術(shù)日益旺盛的需求,不過對于技術(shù)的全面落地需解決的基礎(chǔ)性問題仍很多。未來如何通過技術(shù)手段去真正實現(xiàn)成本、功耗、體積、速度、壽命、穩(wěn)定性以及抗干擾能力等多方面的平衡,達(dá)到一個相對目前來說更為優(yōu)化的水平,進(jìn)而實現(xiàn)ToF視覺傳感技術(shù)實際應(yīng)用中可靠性的成倍提升,是諸如ADI之類的技術(shù)方案提供商應(yīng)當(dāng)考慮的重點(diǎn),也是ToF技術(shù)普及乃至整個市場健康發(fā)展的前提。

本文采編:CY315

文章轉(zhuǎn)載、引用說明:

智研咨詢推崇信息資源共享,歡迎各大媒體和行研機(jī)構(gòu)轉(zhuǎn)載引用。但請遵守如下規(guī)則:

1.可全文轉(zhuǎn)載,但不得惡意鏡像。轉(zhuǎn)載需注明來源(智研咨詢)。

2.轉(zhuǎn)載文章內(nèi)容時不得進(jìn)行刪減或修改。圖表和數(shù)據(jù)可以引用,但不能去除水印和數(shù)據(jù)來源。

如有違反以上規(guī)則,我們將保留追究法律責(zé)任的權(quán)力。

版權(quán)提示:

智研咨詢倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán),對有明確來源的內(nèi)容注明出處。如發(fā)現(xiàn)本站文章存在版權(quán)、稿酬或其它問題,煩請聯(lián)系我們,我們將及時與您溝通處理。聯(lián)系方式:gaojian@chyxx.com、010-60343812。

在線咨詢
微信客服
微信掃碼咨詢客服
電話客服

咨詢熱線

400-700-9383
010-60343812
返回頂部
在線咨詢
研究報告
可研報告
專精特新
商業(yè)計劃書
定制服務(wù)
返回頂部