這是上周微軟在IT盛會(huì)Ignite 2021上與任天堂合作展示的HoloLens版本《Pokemon Go》。那個(gè)版本與此前的移動(dòng)端版本有所不同，玩家可與寵物小精靈進(jìn)行直接的互動(dòng)，同時(shí)兩位玩家在現(xiàn)實(shí)中相遇，能夠看到彼此的寵物小精靈，來(lái)一場(chǎng)寵物小精靈Battle。
相比于《Pokemon Go》，微軟的黑科技“全息傳送”再現(xiàn)更引人注目，微軟技術(shù)研究員基普曼通過(guò)全息投影出現(xiàn)在了大會(huì)現(xiàn)場(chǎng)。
無(wú)論是HoloLens版本的《Pokemon Go》，依然基普曼的全息投影的實(shí)現(xiàn)，基本上基于微軟最新推出的服務(wù)平臺(tái)Microsoft Mesh。
什么是Microsoft Mesh ？
Mesh作爲(wèi)一個(gè)由Azure提供支持的新的混合現(xiàn)實(shí)平臺(tái)，在此次大會(huì)上被微軟正式推出。據(jù)微軟介紹，它將簡(jiǎn)化多用戶XR應(yīng)用順序的創(chuàng)建。我們?cè)诰可以將Mesh明白爲(wèi)，是微軟爲(wèi)開發(fā)者提供用來(lái)創(chuàng)建多人XR應(yīng)用順序的開發(fā)工具。
Mesh平臺(tái)允許處于不同物理位置的人們通過(guò)不同類型的設(shè)備，以虛擬形象甚至是全息投影的方法進(jìn)行協(xié)作、共享，將最具真實(shí)感的自己投射在MR世界中與人交流，就像是在真實(shí)世界與人互動(dòng)。
圖源：微軟官網(wǎng)
基普曼表達(dá)：“你可以感受到自己與他人進(jìn)行內(nèi)容共享，或是通過(guò)不同MR設(shè)備進(jìn)行傳送，即使你們並不處在同一個(gè)物理位置！
據(jù)微軟介紹，Mesh是微軟研發(fā)多年的成果，涉及內(nèi)容從手部、眼動(dòng)追蹤，Hololens的發(fā)展到創(chuàng)建持久性全息圖、創(chuàng)建個(gè)性化虛擬形象的人工智能模型。
雲(yún)計(jì)就是微軟的核心業(yè)務(wù)，Mesh的底層就是雲(yún)計(jì)算平臺(tái)Azure，受益于其龐大的計(jì)算資源、數(shù)據(jù)、人工智能以及MR服務(wù)。
因此Mesh是雲(yún)計(jì)算的進(jìn)一步擴(kuò)展，Mesh所支持的全息傳送以及高精度的虛擬人物面部、動(dòng)作追蹤等，需要雲(yún)計(jì)算去幫助解決運(yùn)算、硬件、渲染、儲(chǔ)存等諸多問(wèn)題。
基普曼說(shuō)：“我們?cè)诰將越來(lái)越多的價(jià)值建立在智能雲(yún)Azure。在這些協(xié)作體驗(yàn)中，其內(nèi)容並存儲(chǔ)在設(shè)備或是應(yīng)用中，而是儲(chǔ)存在雲(yún)端，需要特殊的鏡頭讓我們?cè)诰去看到他。”
借助支持Mesh的應(yīng)用，無(wú)論地理位置如何，用戶都可使用3D物理模型（無(wú)論是小到家具，還是大到噴氣發(fā)動(dòng)機(jī)等等事物）在共享空間以自己虛擬形象或是全息投影形象出現(xiàn)在共享的虛擬空間中，在全息模型上進(jìn)行協(xié)作。
那微軟爲(wèi)何要推出多用戶XR應(yīng)用順序開發(fā)平臺(tái)Mesh？
微軟在介紹中表達(dá)MR是繼大型主機(jī)、個(gè)人電腦、智專家機(jī)之後的第四波計(jì)算機(jī)浪潮，正在成爲(wèi)跨消費(fèi)與商業(yè)領(lǐng)域的主流。MR將人們從屏幕體驗(yàn)中解放出來(lái)，讓人們可以在自己的空間與人或物産生直接交互。
據(jù)介紹，世界上有數(shù)以億計(jì)的用戶通過(guò)手機(jī)進(jìn)行過(guò)任天堂的MR體驗(yàn)，《財(cái)富》雜志所統(tǒng)計(jì)的前五百?gòu)?qiáng)組織50%以上曾使用HoloLens等MR解決方案提高投資回報(bào)率，促進(jìn)業(yè)務(wù)發(fā)展。
鑒于此，MR發(fā)展至今能爲(wèi)人們帶來(lái)MR體驗(yàn)的應(yīng)用順序數(shù)量應(yīng)該非？捎^，然而事實(shí)並非如此，因爲(wèi)一些開發(fā)條件限制了開發(fā)人員的MR體驗(yàn)的開發(fā)，特別是以下4個(gè)問(wèn)題：
1、在MR體驗(yàn)中呈現(xiàn)具有真實(shí)感的人需要大批時(shí)間與資源；
2、跨時(shí)區(qū)與設(shè)備類型在共享MR空間保全全息圖的穩(wěn)定並非易事；
3、難以將擁有高保真度的3D模型引入MR體驗(yàn)以支持客戶所擁有的文件格式；
4、在地理位置相對(duì)疏散的MR會(huì)話中，想要同步用戶的動(dòng)作與表情是一項(xiàng)複雜的工作。
微軟正是爲(wèi)了解決這些挑戰(zhàn)而推出Mesh：讓開發(fā)人員進(jìn)行多用戶MR應(yīng)用順序設(shè)計(jì)，而無(wú)需擔(dān)心複雜的技術(shù)挑戰(zhàn)。
那Mesh所實(shí)現(xiàn)的功能背後是怎樣的技術(shù)在支撐？
Mesh功能呈現(xiàn)及技術(shù)解析
微軟對(duì)于Mesh的定位，要緊在于打造能夠跨屏幕、自然交互、與真實(shí)觀景和人互動(dòng)的體驗(yàn)。因此該平臺(tái)需要圍繞微軟現(xiàn)有的HoloLens平臺(tái)、MR頭顯平臺(tái)以及更多常用平臺(tái)進(jìn)行功能設(shè)計(jì)。
事實(shí)上，Mesh平臺(tái)從多個(gè)方面界說(shuō)了未來(lái)XR應(yīng)用應(yīng)有的一些特質(zhì)，譬如跨平臺(tái)支持、基于云端服務(wù)、支持LBA AR等等。每一項(xiàng)功能單拎出來(lái)看，都有與之對(duì)應(yīng)的企業(yè)及服務(wù)面向一部分特定用戶群體在蓬勃發(fā)展。
圖源：微軟官網(wǎng)
1、與微軟其他平臺(tái)、工具相互通
Mesh基于Azure打造，能與微軟其他平臺(tái)、工具相互通。借助Azure Active Directory和Microsoft帳戶等身份服務(wù)，在通過(guò)適當(dāng)身份驗(yàn)證和授權(quán)后，能將用戶帶入安全且受信任的會(huì)話中。Microsoft Graph則可讓用戶將商業(yè)或是消費(fèi)者空間的內(nèi)容、接洽等信息接入。同時(shí)作為開發(fā)人員，而無(wú)需擔(dān)心計(jì)費(fèi)、音視頻傳輸、底層實(shí)時(shí)管理功能等核心基礎(chǔ)架構(gòu)。
除了核心平臺(tái)，微軟由AI支持的關(guān)鍵性功能讓Mesh能通過(guò)實(shí)現(xiàn)用于MR的大規(guī)模多用戶在線（MMO）場(chǎng)景來(lái)解決一些複雜的技術(shù)挑戰(zhàn)。
2、臨場(chǎng)感
Mesh提到的臨場(chǎng)感要緊指兩點(diǎn)，第一點(diǎn)是有代表性的虛擬形象，在多用戶MR體驗(yàn)中，不同類型設(shè)備使用不同代表性虛擬形象，這些虛擬形象用戶可進(jìn)行個(gè)性化定制。Mesh通過(guò)設(shè)備的Inside-out傳感器爲(wèi)用戶提供有代表性的3D虛擬形象並做出呈現(xiàn)。Mesh平臺(tái)自帶虛擬形象與自定義制作工具，因此虛擬形象可直接使用。另外，該平臺(tái)還可以通過(guò)其AI驅(qū)動(dòng)的動(dòng)作模型幫助現(xiàn)有的虛擬形象捕獲與用戶動(dòng)作一致的動(dòng)作和表情。
第二點(diǎn)是通過(guò)Outside-in傳感器實(shí)現(xiàn)真實(shí)的360度全向拍攝，這些傳感器可進(jìn)行自界說(shuō)相機(jī)的設(shè)置，譬如通過(guò) Mixed Reality Capture Studio將捕捉的3D圖像以高保真度保存下來(lái)，或是使用Azure Kinect捕捉深度感應(yīng)用圖像，用以幫助生成全息圖像。
Mixed Reality Capture Studio
當(dāng)全息圖生成後，可在XR頭顯或是手機(jī)、PC、平板電腦上啓用基于Mesh開發(fā)的應(yīng)用順序使用全息圖，並將其呈現(xiàn)給用戶。
3、空間地圖
在Mesh到來(lái)之前，各種設(shè)備只擁有自己局部世界的地圖，而借助Mesh，這些本地緩存地圖可進(jìn)行合並與優(yōu)化，形成一個(gè)對(duì)空間、環(huán)境的全局式了解。這個(gè)框架將內(nèi)容進(jìn)行錨定，視野進(jìn)行分享，並進(jìn)行3D協(xié)作。
Mesh幫助創(chuàng)建的地圖精度要高于GPS，甚至是在GPS無(wú)法進(jìn)行定位的空間進(jìn)行。它有助于交付可以與特定興趣點(diǎn)關(guān)聯(lián)的“世界鎖定全息圖”。另外，Mesh可以生成與給定對(duì)象的精確布局和幾何形狀對(duì)齊的雷同明白，從而使開發(fā)人員可以輕松構(gòu)建也許需要將對(duì)象與視覺信息（如指令、服務(wù)記錄，以及其他重要數(shù)據(jù)）完全匹配的可視化信息覆蓋的應(yīng)用順序?qū)ο蟆?/p>
4、全息渲染
全息渲染是智能邊緣雲(yún)計(jì)算和智能雲(yún)架構(gòu)的典型實(shí)例，全息渲染在Mesh的支持下可以對(duì)設(shè)備的運(yùn)算與功耗不做要求的情況下，依然做到高保真度。Mesh允許開發(fā)者爲(wèi)每個(gè)場(chǎng)景與模型在本地獨(dú)立渲染與通過(guò)雲(yún)連接進(jìn)行的遠(yuǎn)程渲染之間進(jìn)行選擇，賦予了開發(fā)者在進(jìn)行應(yīng)用順序設(shè)計(jì)時(shí)更高的靈活度，這些應(yīng)用順序可根據(jù)設(shè)備的不同進(jìn)行延遲與保真度的優(yōu)化。
不僅如此，全息渲染還支持大多數(shù)的3D文件格式，在啓用Mesh的應(yīng)用順序中進(jìn)行本地渲染，從而解決引入用戶已有3D模型進(jìn)行協(xié)作的問(wèn)題。
5、多用戶同步
在虛擬協(xié)作會(huì)議中創(chuàng)建全息圖的協(xié)同視角，並且進(jìn)行相互交流對(duì)開發(fā)者而言是一個(gè)大的挑戰(zhàn)。在Mesh中，共享的內(nèi)容是通過(guò)多用戶同步啓用的，這將有助于對(duì)參與者姿勢(shì)、動(dòng)作、表情，或是空間中全息圖的變化進(jìn)行更新。所有這一些都發(fā)生在100毫秒的延遲內(nèi)，無(wú)論是在同一個(gè)物理空間或是異時(shí)區(qū)。Mesh中的空間音頻會(huì)對(duì)這些功能進(jìn)行增強(qiáng)，從而在多用戶場(chǎng)景中營(yíng)造在雷同物理空間的感覺。
據(jù)微軟介紹，為了使用這些功能，Mesh會(huì)為開發(fā)者提供跨平臺(tái)的SDK，以便開發(fā)者針對(duì)不同設(shè)備類型進(jìn)行應(yīng)用順序的創(chuàng)建。目前Mesh與C++與C#一起支持Unity，在接下來(lái)的幾個(gè)月中，Mesh將會(huì)支持Unreal、Babylon以及React Native。除了訪問(wèn)功能外，SDK還提供預(yù)構(gòu)建的UX結(jié)構(gòu)，供開發(fā)人員在應(yīng)用順序中使用。這將使得開發(fā)人員更快速、簡(jiǎn)便地提供MR體驗(yàn)。
Mesh平臺(tái)的出現(xiàn)，將這一系列新功能集合到一起，協(xié)同成爲(wèi)XR應(yīng)用的特質(zhì)呈現(xiàn)。這種整合，將點(diǎn)滴的技術(shù)方向化零爲(wèi)整，讓XR的概念逐步具象化，而這正是它的最大貢獻(xiàn)。
Mesh背後，Azure智能雲(yún)帶來(lái)的價(jià)值
基于Mesh開發(fā)的XR應(yīng)用順序，能被廣泛的應(yīng)用于多個(gè)領(lǐng)域、多個(gè)場(chǎng)合，這要緊歸功于Azure智能雲(yún)帶來(lái)的價(jià)值。
Mesh的虛擬協(xié)作特征，能讓跨時(shí)區(qū)的用戶通過(guò)數(shù)字化的方法彙聚在一起，協(xié)同探討明白有助于更快速地查看數(shù)據(jù)資料，並更好地做出決策。
用戶可進(jìn)行隨時(shí)隨的協(xié)同訓(xùn)練，得益于”Holoportation”（全息傳送：微軟公司開發(fā)的3D視頻捕捉系統(tǒng)）、全息共享與可視化功能，合作夥伴無(wú)需花費(fèi)時(shí)間與精力在旅途中，便可進(jìn)行面對(duì)面的學(xué)習(xí)。
例如，遠(yuǎn)程醫(yī)療，專家可以看到其他醫(yī)師的診斷，並進(jìn)行數(shù)據(jù)覆蓋以確保達(dá)成共識(shí)，更好地解決問(wèn)題、協(xié)同制定決策。設(shè)計(jì)師、工程師可協(xié)同進(jìn)行3D設(shè)計(jì)，團(tuán)隊(duì)成員可在參與設(shè)計(jì)時(shí)使用不同設(shè)備進(jìn)行辦法和創(chuàng)造力的分享。無(wú)論是在現(xiàn)實(shí)中親臨現(xiàn)場(chǎng)，還是通過(guò)全息傳輸，同事間都能在內(nèi)容上進(jìn)行實(shí)時(shí)協(xié)作。
Mesh的多應(yīng)用場(chǎng)景與基于雲(yún)計(jì)算平臺(tái)Azure的性質(zhì)，意味著微軟雲(yún)計(jì)算産業(yè)與MR業(yè)務(wù)的擴(kuò)展。
微軟技術(shù)研究員亞歷克斯·基普曼（Alex Kipman）表達(dá)：“從一結(jié)束，這就是混合現(xiàn)實(shí)的夢(mèng)想！ 實(shí)際上，您可以感覺自己就像在與共享內(nèi)容的人在同一個(gè)地點(diǎn)，或者您可以從不同的混合現(xiàn)實(shí)設(shè)備進(jìn)行傳送，即使在軀體不在一起的情況下也可以與人們?cè)谝黄！?/p>
他認(rèn)爲(wèi)，伴隨著越來(lái)越多的人在Mesh平臺(tái)活躍，我們?cè)诰所有人基本上參與正在Azure智能雲(yún)中建立價(jià)值的一環(huán)。在這些協(xié)作體驗(yàn)中，內(nèi)容不在目前用戶的設(shè)備或應(yīng)用順序內(nèi)部。全息內(nèi)容被上傳到到雲(yún)端，這意味著用戶所佩戴的混合現(xiàn)實(shí)設(shè)備只需要負(fù)責(zé)沈浸式的呈現(xiàn)視覺結(jié)果和交互即可。對(duì)于有限算力的個(gè)體而言，這是一種飛躍！
最重要的是，隨著XR應(yīng)用在Meah平臺(tái)的逐漸發(fā)展和成熟，更多的安全隱患和從未見過(guò)的網(wǎng)絡(luò)安全事件開始成爲(wèi)備受矚目的焦點(diǎn)。相比之前，在基于Azure智能雲(yún)Meah平臺(tái)上獲得的新版AltspaceVR體驗(yàn)，可以使公司能夠使用企業(yè)級(jí)安全功能（包括安全登錄，會(huì)話管理和隱私合規(guī)性）在虛擬現(xiàn)實(shí)中舉行會(huì)議和工作聚會(huì)。
Azure智能雲(yún)爲(wèi)Meah容納海量模型場(chǎng)景和人物提供先決條件，這令該平臺(tái)與傳統(tǒng)意義上的APP區(qū)分開來(lái)。你可以明白爲(wèi)在XR環(huán)境下，這種應(yīng)用間的穿越更像是一種城市之間的一次旅行，期間不會(huì)産生下載的過(guò)程，更不會(huì)出現(xiàn)硬件算力適配的問(wèn)題。
實(shí)際上，自2020年末開始，各個(gè)大廠開始全力推行基于雲(yún)服務(wù)的平臺(tái)服務(wù)策略。其中，Epic的數(shù)字人平臺(tái)、HTC的VR社交平臺(tái)等等，均先後擁抱雲(yún)技術(shù)。算力、資源的雲(yún)端化，將爲(wèi)更加安全、高性價(jià)比的XR體驗(yàn)下放到每個(gè)一般消費(fèi)者身邊，這也是XR産業(yè)普及的曙光。
總結(jié)
微軟在XR方向布局全力以赴，也正如技術(shù)擔(dān)負(fù)人Alex Kipman從“海底深處”突然“出現(xiàn)”，之后用詩(shī)般浪漫的念白開場(chǎng)所述—— 一個(gè)人做夢(mèng)只是夢(mèng)便了， 所有人一起做的夢(mèng)就叫現(xiàn)實(shí)。
錯(cuò)失移動(dòng)互聯(lián)網(wǎng)先機(jī)的微軟，正在MR領(lǐng)域結(jié)合雲(yún)計(jì)算優(yōu)勢(shì)帶著每個(gè)人走近未來(lái)。Mesh，絕非是錦上添花的存在，如果保全這樣的優(yōu)勢(shì)，擁有XR底層開發(fā)系統(tǒng)與雲(yún)計(jì)算支持的微軟或?qū)⒍xXR未來(lái)的某些標(biāo)準(zhǔn)。
而隨著蘋果、Facebook等紛紛以不同方向入局，這將爲(wèi)未來(lái)的MR産業(yè)帶來(lái)極爲(wèi)豐富的生態(tài)。
