混合現(xiàn)實(shí)(MR)的工作原理

混合現(xiàn)實(shí)在云計(jì)算和人工智能的幫助下得以實(shí)現(xiàn)。MR設(shè)備使用強(qiáng)大的AI傳感器、鏡頭、圖形處理單元(GPU)以及顯卡或核心芯片在三個軸或維度上處理和存儲數(shù)據(jù)。設(shè)備功能越強(qiáng)大,混合現(xiàn)實(shí)體驗(yàn)就越出色。例如智能眼鏡、手套、連體衣和智能手機(jī)。

MR設(shè)備可將消費(fèi)者連接到無線或有線計(jì)算機(jī)、控制臺或PC以訪問軟件。程序可以添加、復(fù)制或重新定位虛擬物品以創(chuàng)建沉浸式環(huán)境?,F(xiàn)代混合現(xiàn)實(shí)耳機(jī)(例如Hololens)可生成高保真設(shè)置,讓用戶參與虛擬活動,從而消除界限并將現(xiàn)實(shí)與技術(shù)分開。

除耳機(jī)外,以下是其他四種使用MR的設(shè)備:

1.智能手機(jī)和其他移動設(shè)備

平板電腦和智能手機(jī)等移動設(shè)備的計(jì)算能力和移動性隨著時間的推移不斷提高。許多現(xiàn)代移動設(shè)備都開發(fā)了用于MR應(yīng)用的工具包。這些工具使開發(fā)人員能夠?qū)⒂?jì)算機(jī)圖像疊加在現(xiàn)實(shí)世界的鏡頭之上。

雖然基于AR的娛樂應(yīng)用已被證明是有效的,但專業(yè)和實(shí)用應(yīng)用也開始包含MR元素。由于移動設(shè)備無處不在,其顯示技術(shù)是MR增長和接受的關(guān)鍵因素。

2.平視顯示器(HUD)

平視顯示器(HUD)可將3D圖形直接投射到用戶面前,而不會明顯遮擋周圍環(huán)境。標(biāo)準(zhǔn)HUD由三個組件組成:

屏幕——負(fù)責(zé)疊加HUD的圖形,

組合器——圖形投射到其上的表面

計(jì)算機(jī)——結(jié)合其他兩個組件,執(zhí)行必要的實(shí)時計(jì)算或調(diào)整

最初,原型HUD被用于軍隊(duì)協(xié)助戰(zhàn)斗機(jī)飛行員作戰(zhàn)。然而,它們最終發(fā)展到協(xié)助航空業(yè)的所有元素?;旌犀F(xiàn)實(shí)HUD可以將3D圖像和數(shù)據(jù)可視化與交通和移動車輛相結(jié)合。

3.360度沉浸式環(huán)境(CAVE)

360度沉浸式環(huán)境(CAVE)是一種環(huán)境,在這種環(huán)境中,人被四面八方(上下)投影屏幕包圍。除了投影,3D眼鏡以及環(huán)繞聲還能為用戶提供一種透視感,旨在復(fù)制實(shí)際環(huán)境。自開發(fā)以來,工程師們一直采用CAVE系統(tǒng),創(chuàng)建和測試混合現(xiàn)實(shí)產(chǎn)品原型。

4.頭戴式顯示器或MR眼鏡

頭戴式顯示器(HMD)戴在整個頭部或眼睛旁邊,是一種使用一個或兩個鏡片將圖像立即投射到用戶眼前的設(shè)備。它廣泛應(yīng)用于醫(yī)療、休閑、航空航天和工程領(lǐng)域,并提供傳統(tǒng)顯示器無法實(shí)現(xiàn)的視覺互動水平。

頭戴式顯示器在MR娛樂客戶中非常受歡迎。盡管如此,大多數(shù)頭戴式顯示器仍然是虛擬現(xiàn)實(shí)顯示器,不包括實(shí)際環(huán)境。微軟的HoloLens是一款MR頭戴式顯示器(HMD),可應(yīng)用于醫(yī)學(xué)和工程領(lǐng)域。它讓臨床醫(yī)生實(shí)時更深入地了解物理世界。

除了構(gòu)成前端體驗(yàn)的顯示器之外,環(huán)境感知和高級用戶輸入也為混合現(xiàn)實(shí)提供了動力。近幾十年來,輸入技術(shù)一直在塑造人與計(jì)算機(jī)之間的界面。

人機(jī)交互(HCI)是一個新的研究領(lǐng)域,涵蓋鍵盤、鼠標(biāo)、觸摸、筆甚至語音識別。傳感器技術(shù)和處理能力的進(jìn)步正在創(chuàng)造基于HCI輸入技術(shù)的全新計(jì)算機(jī)感知。這就是為什么MR使用應(yīng)用程序編程接口(API)來記錄人在真實(shí)環(huán)境中的身體位置、表面和限制、環(huán)境照明和物理位置。

創(chuàng)造真實(shí)的混合現(xiàn)實(shí)體驗(yàn)需要整合三個基本要素:由云驅(qū)動的計(jì)算機(jī)處理、改進(jìn)的輸入技術(shù)和環(huán)境意識。我們在物理世界中的運(yùn)動在數(shù)字空間中得到跟蹤。在制造工廠中,物理邊界會影響混合現(xiàn)實(shí)體驗(yàn),例如游戲和基于任務(wù)的協(xié)助。通過情境輸入和感知,物理世界和數(shù)字世界開始融合。