如何让远在千里的朋友来你家下棋？
没错，是你住的家中，而不是你和朋友在手机上联机下棋或者同时处于某个完全虚幻的场景中。
前不久，扎克伯格披露其高端头显产品，内部代号为Project Cambria的VR头显即将实现这一场景。
Project Cambria将会给图片内的灰色全部“复原”色彩，让你一时间很难分辨出哪些是虚拟物体，哪些是原有物品。而这背后离不开一项重要的技术——全彩透视（full-color passthrough）。
扎克伯格曾在其最新的财报会议上提到全彩透视技术将是Project Cambria最大的特点之一。
全彩透视技术属于视频透视技术（Video-seethrough）的一个分支，也就是通过相机捕捉到实时画面，将虚拟世界和真实世界合成后，呈现丰富色彩的显示画面。
就像图片中的吉他和花架，通过全彩透视技术巧妙地和其他物品融为一体。
5月13日，美国专利商标局公布了一项苹果专利，指出一种用于头显的多透镜组合方案，可实现视频透视功能。再结合近期外媒The information的爆料信息，不少人士推断苹果的MR头显很有可能采用的也是全彩透视技术。
▲Meta的Quest2所呈现的黑白透视
▲通过全彩透视技术呈现的画面
此外，一些初创企业也在瞄准全彩透视技术的相关特性。VR头显公司Valve近期宣布与3D传感技术公司Occipital的Arcturus Industries团队合作，为VR设备提供全彩色透视模式。
为何全彩透视技术能成为Meta头显的突破口？Meta在全彩透视技术方面做了哪些工作？全彩透视技术又将对VR/AR行业带来哪些影响？我们与多位产业人士交流后，尝试找到问题的答案。
一、给元宇宙“上色”，全彩透视分四步走
透视是指看到现实世界。目前的VR设备打造的是一个完全虚拟的环境，不会与现实世界产生互动，但是通过透视用户就可以同时看到现实世界和数字世界。
而目前的透视方案分成两大类，光学透视和视频透视。
光学透视的显示方案是通过特殊的透镜设计将数字画面投射到半透明的显示装置。而视频透视的显示方案则是通过相机实时捕捉画面，再和虚拟世界本该呈现的画面融合，最终呈现在显示屏幕上。
▲光学透视（OST）和视频透视（VST）两种不同的光学路径示意图
由于光学透视的光路设计复杂，显示的画面视角有限，并且由于光线原因无法显示纯黑的画面，以及光学零部件成本造价较高，因此VR设备的厂商们往往选择已经较为成熟的视频透视方案。
回忆一下，当你戴上VR头显，需要建立安全区域的时，是不是也能同时看到自己的房间。并且你还可以用VR手柄在房间里圈定一定的安全区域。
这时候，你眼中看到的现实场景和虚拟世界融合的场景正是通过视频透视技术实现的。
尽管多数VR设备已经搭载了透视技术，但基于目前VR设备上搭载的RGB摄像头以及产品设计等因素，现有的VR设备上支持的多数为黑白透视。
据行业人士透露，黑白透视只需要利用空间定位摄像头以及一些简单的算法，就可以实现不错的透视效果。
▲黑白透视场景
但要做到全彩透视，尽管只是简单的“上色”一步，其背后则又需要考虑多个技术的融合。
目前，全彩透视主要可以分为四步：透视、空间锚点（放置AR物体）、三维重建、环境理解及对象识别。
值得注意的是，与AR设备显示的画面不同，全彩透视技术看到的现实世界，并非是通过人眼直接看到真实世界，事实上，人的眼睛看到的是机器拍摄现实世界场景，并经过处理之后投射在显示屏上的画面。
