Magic Leap 核心技术揭秘.docx
《Magic Leap 核心技术揭秘.docx》由会员分享，可在线阅读，更多相关《Magic Leap 核心技术揭秘.docx（31页珍藏版）》请在冰豆网上搜索。
MagicLeap核心技术揭秘
MagicLeap核心技术揭秘
2016-05-20显示世界
顾险峰（纽约州立大学石溪分校终身教授，清华大学丘成桐数学科学中心访问教授，计算共形几何创始人）
2月2日，MagicLeap官方表示获得由阿里巴巴集团领投的约7.94亿美元融资。
加上上轮由谷歌领投的5.42亿美元，至2014年年底以来，该公司总计已完成13.4亿美元投资，总估值约45亿美元。
这家位于佛罗里达的创业公司已经创业数十年，阵容豪华，规模庞大，但却对其核心技术讳莫如深，异常神秘。
间或泄露几条演示视频，举世惊艳，旋即哗然。
那么，MagicLeap究竟有何惊世骇俗的技术秘密？
在此，老顾大胆推测，力图在其扑朔迷离的表象下，探究技术的实质。
图1.一条巨大的鲸鱼从篮球场的地面中央飞跃而出！
图2.把办公室变成游戏战场！
在计算机图形学领域，三维场景渲染演示技术的演化进程可以大致划分成如下的历史阶段：
针孔相机、双目立体视觉、光场、数字全息。
简而言之，针孔相机演示技术的代表作是早期的动画电影《最终幻想》，双目立体视觉的代表作是3D版的《阿凡达》，光场的代表作就是MagicLeap，数字全息技术的代表作是《星球大战》中的场景。
图3.最终幻想：
光线跟踪法渲染，针孔相机显示技术。
图4.3D版的《阿凡达》，双目立体视觉。
图5.MagicLeap，增强现实，光场技术。
图6.星球大战，数字全息技术。
MagicLeap实现并普及了光场显示技术，这是三维场景显示技术的一场实实在在的革命，获得空前的投资自然是名至实归。
那么，什么是光场？
这一技术是完全崭新的吗？
这一技术发展的历史脉络如何？
存在其他以光场技术起家的公司吗？
我们在下面的讨论中，逐一解释。
针孔相机
传统的光学相机，其理想模型就是针孔相机。
在计算机图形学中，传统的渲染方法都是基于这种相机模型。
如图7所示，从相机的光心（opticalcenter）出发，经过成像屏幕的每一个像素，发出一条射线。
光学跟踪法（raytracing）用几何光学的物理法则计算这条射线的颜色，即为相应像素的颜色。
图8展示了一个用光学跟踪法算出的渲染图像。
在这里，我们需要一个概念上的转换，每个像素不是一个点，而是一条射线，这是理解光场的关键！
换言之，一张相片就是通过光心的一簇射线。
《最终幻想》就是用光学跟踪法来渲染制作的。
图7.光线跟踪法中的针孔相机模型。
图8.用光线跟踪法渲染的一幅场景。
传统的显示方法，例如屏幕、LCD/LED，是基于传统观念的，即把每个像素作为一个点，从不同的角度看过去，同一个像素的颜色不变。
换言之，这种显示方式失去了射线方向的信息。
双目立体视觉
人类具有两只眼睛，观看物体时两眼各自成像，大脑根据两眼成像的细微差别计算每一点的深度信息，从而得到立体感觉。
模仿人眼，我们可以用双镜头相机得到双目立体相片。
图9.双目立体相机。
图10.阿波罗登月计划中拍摄的双目立体相片。
本质上而言，双目立体视觉相片就是从两个光心出发的两簇射线。
3D版《阿凡达》就是以此原理制作的。
相对于单目相机，双目立体视觉时间复杂度和空间复杂度加倍。
光场（LightField）-魔盒解释
图11.光场（LightField）的魔盒解释。
我们假设用一个玻璃盒子罩住一只兔子，然后透过玻璃盒子来观察这只兔子。
从盒子表面的任意一点，向三维空间的任意一个方向发出一条射线，这条射线的颜色由兔子和光照条件所决定。
我们用
来表示玻璃盒子，
表示单位向量，一条射线表示为
所有射线的集合记为
。
每条射线对应着一个颜色，我们用三维空间中的一个点来表示
。
因此，光场就是从射线空间到颜色空间的映射。
换言之，光场是定义在射线空间上的矢量值函数：
。
假设我们去掉了玻璃盒子中的兔子，但是这个玻璃盒子是一个魔盒，光场信息被完美保留。
当我们观察这一魔盒的时候，所有经过一只眼睛的射线合成了视网膜上的一幅图像。
我们可以自由地改变距离和视角，兔子在视网膜上的图像相应地自然变化，根本觉察不到兔子的消失。
因此，有了魔盒，我们不再需要真正的兔子。
这个魔盒就是兔子的光场。
在光学领域中，光场是一个古老的概念。
在1996年被微软和斯坦福学者引进到计算机图形学领域，发展到2016年的今天，已经整整二十个年头了。
虽然在学术界，人们不懈地研究深化，真正在工业界产生影响，还是近几年的事情。
MagicLeap应该算是LightField理论在现实应用中的一个巅峰。
光场渲染我们可以用兔子的光场来取代兔子，渲染生成各种角度的照片，这样我们无需为建立兔子的几何模型，纹理模型和光照模型。
对于大场景，复杂光照条件，或者复杂几何模型（如长绒玩具）等等，光场比实物的数字模型更为简单，或者光场比光线跟踪得到的渲染结果更加逼真，或者更加高效，我们用光场来渲染。
这是所谓的基于图像的渲染方法（ImageBasedRendering）。
历史上，微软曾经出过一版基于光场的游戏，类似孤岛寻宝，所有场景都是从真实自然中采集，非常逼真，但是最后没有引起任何反响，无疾而终。
光场采集光场是定义在射线空间上的函数，射线空间是4维的，传统的针孔相机只能采集二维射线簇，因此光场采集具有本质的难度。
早期光场采集的方法简单粗暴，就是用大规模相机阵列，如图12所示的二维相机阵列。
这种光场相机笨重昂贵，无法普及。
图12.斯坦福的光场相机：
16x8多相机阵列。
依随数字相机技术的成熟，针孔相机愈来愈小，可以密集地集成在一起，从而缩小了光场相机的体积。
但是镜头的尺寸无法缩减，如图13所示。
图13.斯坦福的光场相机：
相机阵列。
真正的突破来自于仿生学。
许多昆虫都有复眼（CompoundEye）,复眼获取的就是光场信息。
图14.昆虫的复眼：
光场相机。
人类模仿昆虫，制造了类似复眼的镜头，如图15所示，在一个大镜头上集成了数十个小镜头。
依随光学工艺的改进，人们制造出在一张塑料薄膜上集成了数千个微小镜头。
斯坦福的博士生吴任基于这种想法，创立了光场相机Lytro公司。
图15.Adobe制造的人造复眼原型。
传统的相机需要先对焦，再照相。
Lytro相机提出的口号是“先照相，再对焦”。
因为Lytro相机得到的光场信息，使用者可以由4维光场合成不同角度，深度的二维相片。
图16. Lytro相机。
如图17所示的婚纱摄影：
同一个光场相片，我们既可以聚焦于靠近镜头的新郎；也可以聚焦于远离镜头的新娘。
图17. Lytro婚纱照：
同一张光场相片，可以聚焦在不同的区域。
左帧，聚焦在新郎上；右帧，聚焦在新娘上。
光场显示 传统的显示方式，屏幕，LCD/LED，只保留了射线穿过屏幕的交点的几何信息和颜色信息，没有保留射线的方向信息。
屏幕是漫反射的，从屏幕上某一点发出的所有射线都是相同颜色的，而光场显示要求从同一点出发的不同射线具有不同的颜色，如图18所示。
光场显示，正是MagicLeap的核心技术。
图18.显示模式对比：
左图是传统屏幕，过一点的所有射线同样颜色；右图是光场显示，过一点的不同射线不同颜色。
USC的光场显示 南加州大学提出并制作了一种光场显示装置，如图19、20所示，有一个四面透光的玻璃柜子，柜子中间是一面和水平面夹角为45度的镜子，柜子顶部安装了一台高速投影仪，投影仪垂直向下投影，光线经过镜子反射后水平射出。
同时，镜子高速旋转。
一颗幽灵般的透明人头悬浮在空气之中，当我们绕着柜子走的时候，我们可以看到人头的各个侧面，并且这颗人头对你挤眉弄眼。
图19.USCLightfielddisplay，一颗漂浮的人头。
图20.USCLightfielddisplay用于远程会议系统。
图21.USCLightFielddisplay专利图。
图21展示了这一光场显示仪器的原理。
45度倾斜的镜子（114）被电机马达（115）带动旋转，图形处理器（130）生成图像传递给高速投影仪（120），投影仪投射到镜子上，经反射水平射向四周。
这样，经过严格同步控制，我们就显示了一个三维的光场。
这一装置笨重而昂贵，同时高速旋转的镜子使得系统的稳定性下降。
任何机械振动都会影响光场显示效果。
MagicLeap光场显示 -手电筒解释 MagicLeap的核心技术是一种特殊的光场显示设备：
光导纤维投影仪（FiberOpticProjector）。
激光在光导纤维中传播，在纤维的端口射出，输出方向和纤维相切。
改变纤维在三维空间中的形状，特别是改变纤维端口处的切方向，我们可以控制激光射出的方向。
这就犹如我们拿着一个手电筒，通过改变手电筒的位置，和指向改变输出光柱的方向。
如果我们快速摇动手腕，手电筒发出的光柱在空中划出了一个圆锥面，这个圆锥面打到一面墙上成为一个圆周。
通过快速改变手腕摇动的幅度，我们可以控制这个圆周半径大小，从而得到一系列的同心圆，这一系列同心圆覆盖了一张圆盘。
如果，手电筒的光柱颜色会变化，则我们在墙上画出了一个彩色圆盘。
这样，通过快速摇动一只手电筒，我们得到了一幅图像，或者覆盖了一簇射线。
假设有很多人，站在不同的空间位置，每人都摇动一只手电筒，则我们得到了一个光场。
这就是MagicLeap的光场显示设备：
光导纤维投影仪的原理。
图22.MagicLeap的手电筒。
图22显示了MagicLeap的手电筒，促动器（206）相当于人的手腕，光纤（208）相当于手电筒，促动器使得纤维顶端周期性地颤动，纤维顶端螺旋地画出了一些列的同心圆，激光经由透镜系统输出，在空中画出了一簇射线。
投射到平面上照亮了一个圆盘。
同步地改变经过颜色和强度，一根纤维利用分时技术得到一幅图像，如图23所示。
图23.一根纤维利用分时技术得到一幅图像。
在MagicLeap的纤维光投影仪中，有许多根光导纤维，集结成二维阵列，每根纤维都相当于一个针孔相机，二维相机阵列生成了光场。
光场显示的优势相比于双目立体视觉，光场显示有很多优势。
人类获取三维深度信息有两种途径，“shapefromstereo”和“shapefromfocus”。
我们用两只眼睛看同一个物体，同一个三维空间中的点，映到左右视网膜不同的像素上。
我们人脑能够通过视网膜上的像素，反算对应的空间的射线，从而得到两条射线的交点，得到深度信息，这一过程是“shapefromStereo”。
我们每只眼睛看物体的时候，大脑会自动调节眼睛的晶状体的曲率，使得物体在视网膜上清晰成像。
调节晶状体的肌肉紧张程度使得大脑能够计算物体的深度信息，即所谓的“shapefromfocus”。
看3D版的《阿凡达》的时候，我们只用到了“shapefromStereo”，眼睛的焦距一直固定，因为眼睛到屏幕的距离不变，因此没有“shapefromfocus”的过程。
但是，人类经过漫长的进化，这两种过程自然而然地紧密联系在一起。
人为地割裂它们，就会使人目眩头晕。
相反地，如果用光场显示技术，我们同时需要“shapefrom Stereo”和“shapefromfocus”，因此观看时不会头晕目眩，光场显示技术更加自然健康。
光场显示的挑战作为一场革命的开端，MagicLeap的技术面临着许多挑战。
最为直接的就是：
传统的显示技术只需要计算四维光场中的一个二维切片，而光场显示需要计算整个四维光场，其计算复杂度提高几个数量级，这是技术瓶颈之一。
同时，精确的调控机械部件，使得每一个纤维都稳定自然地颤动，并且颤动的模式要和数据传输相互同步，并且这种颤动不受外界噪音的影响，这也需要令人匪夷所思的技术。
数字全息光场从概念的提出到MagicLeap的投资狂潮已经走了二十年，而数字全息技术的发展历史更加漫长。
光场本质上还是几何光学，而数字全息则是波动光学。
目前数字全息技术日益成熟，依随蓝色激光的发明，彩色数字全息技术成为可能。
目前发展的瓶颈一是计算量巨大，远远超过光场计算，二是数字全息显示中需要特殊的一种晶体，每个像素的折射率能够由电压控制。
目前这种光学器件依然昂贵，并且尺寸较小。
我们相信依随光场技术的广为接受，数字全息技术也会长足发展。
光场技术的启示光场技术的历史发展使我们看到颠覆性的技术革命往往起源于基础科学和非商业功利的学术界。
从学术界酝酿成熟，到商业界呼风唤雨往往要几十年。
MagicLeap的技术突破来自于对于内窥镜技术的转用，这显示了跨界科研的重要性。
期待有一天，电视电影都是用光场摄像机拍摄，观众可以任意动态选择观看角度。
或许这一天要等待另一个二十年，或许只需三五年。
我相信，不久的将来，淘宝网上的照片都会被光场相片所取代，而Magicleap头盔，成为每一个网购者的标配。
本文首发于“ 老顾谈几何”
【MagicLeap】科技史最高 C轮融资，一个专利一个亿
增强现实公司MagicLeap获得科技史最高的7.94亿美元C轮融资，由阿里巴巴领投，Google、高通、华纳兄弟、摩根大通等公司跟投。
加上2014年10月获得的Google领投的5.42亿美元B轮投资，目前MagicLeap累积融资额已达到14亿美元左右，估值45亿美元左右。
虽然拿到了巨额融资，但MagicLeap并没有推出过正式的产品。
此前人们对它的了解主要通过视频、创始团队和专利。
而从GooglePatent公布的MagicLeap的专利来看，MagicLeap名下目前拥有81项专利（可能有些专利在其他关联公司名下）。
按照总融资额14亿美元计算，差不多1个专利1个亿人民币。
MagicLeap视频
MagicLeap在视频里明确标注了"Nospecialeffetsorcompositing"。
第一个视频描述的是枪战游戏，但不同之处在于，它的场景就在自己家中。
第二个视频是一个桌底的小机器人，被人们发现之后惊慌失措。
创始团队
阿里巴巴副董事长蔡崇信（JoeTsai）已经加入MagicLeap董事会。
目前公司董事会的成员还包括MagicLeap创始人阿伯维兹（RonyAbovitz）、谷歌CEO桑达尔·皮查伊（SundarPichai）、WetaWorkshop（《指环王》电影特效制作室）联合创始人理查·泰勒（RichardTaylor）。
核心人员如下：
1、RonyAbovitz：
一个刚刚把自己的医疗机器人公司MAKOSurgical以5000万美元卖出去的家伙。
2、RichardTaylor：
著名电影特效大师，来自WetaWorkshop，一家负责指环王、霍比特人、第九区等科幻电影的特效技术公司。
3、GraemeDevine：
资深游戏设计师，前苹果游戏设计师、技术组成员。
4、BrianWallace：
资深技术营销总监，Samsung的“NextBigThing”广告活动负责人。
5、GaryBradski：
OpenCV的创造者，OpenCV是一个开源跨平台的计算机视觉库，可以实现许多图像处理的算法。
6、Jean-YvesBouguet：
GoogleStreetView团队成员，IndoorStreetView项目的负责人。
7、GregBroadmore：
《葛保諾博士的科幻世界》（Dr.Grordbort'sraygun-filledworld）的设计师、创造者。
8、AustinGrossman：
《SystemShock》、《DeusEx》、《Dishonored》等知名游戏的作者、设计者。
9、JohnRoot：
顶尖动画师，拥有超过20年的顶级游戏、电影制作公司职业经验。
10、DaveGibbons：
漫画书作者、艺术家，电影《守望者》（Watchmen）的co-creator。
Magic的专利技术
MagicLeap非常神秘，但显然还是拥有一些可以探究的线索。
通过该公司在美国专利局申请的专利来看，其核心硬件包括两个部分，这也是它与其他虚拟或增强现实设备最大的不同。
首先，是一款类似智能眼镜或头戴显示器的设备，其核心技术关键在于视网膜投射技术，通过光波传导棱镜设计，从多角度将画面直接投射于用户视网膜，相比一般虚拟现实设备的平面式屏幕更为先进。
第二个部分则是类似《少数派报告》中的体感手套，它将成为MagicLeap带来全新的人机交互形式。
从专利图片中可以看到，手套上布满了传感器，能够识别细微的动作差异，同时不排除它还内置一些反馈装置，实现实际手感，相比传统的手柄控制器更为先进。
而在去年7月份，新的MagicLeap专利曝光也让我们对此有更多的认识。
佩戴在腰带上的装置，用户通过这款设备看到从云端下载的场景，以及把周围的环境分享给他人。
测出用户坐标，并把数据上传到服务器，随着用户的移动调整。
这样虚拟现实就能和当下环境互动。
现实世界的事物成为虚拟内容的触发条件。
例如当母亲领着孩子在超市货架选购麦片，一个友好的3D怪兽会突然出现。
用MagicLeap体验全新环境。
躺在病床上的人，可用设备创造虚拟海滩。
系统会从云端获取和海滩相关的数据，对房间和物品进行测绘，以实现虚拟和真实图像的无缝对接。
医生使用预先绘制的3D心脏图像作为手术参考。
观看多媒体视频，并与之互动。
用手势来控制。
目前Magic已经公开81项专利。
（可在GooglePatent上搜索inassignee:
"MagicLeap,Inc.”）
最近的5个专利是：
1、Methodsandsystemsforgeneratingvirtualcontentdisplaywithavirtualoraugmentedrealityapparatus
2、Producinganaggregatewavefrontforaugmentedorvirtualreality
3、Renderingahaloaroundvirtualobjectsfordisplayingaugmentedorvirtualreality
4、Renderingtechniquestofindnewmappointsinaugmentedorvirtualrealitysystems
5、Presentingvirtualobjectsbasedonheadmovementsinaugmentedorvirtualrealitysystems
MagicLeap原理猜测和解析
除此之外，MagicLeap几乎不对自己的技术公开任何信息，所以我们难以得知具体产品的技术细节。
不过根据 MagicLeap的视频和专利，进化动力CTO聂崇岭对MagicLeap的原理进行了猜测和解析。
他曾任职于法国国家信息与自动化研究所，先后师从全球医疗机器人权威、英国皇家院士、IEEEFellow杨广中教授以及机器视觉权威、IEEEFellowNikosParagios教授。
以下内容来自聂崇岭。
光学呈像
目前为止，无论是虚拟现实（VR）应用还是增强现实（AR）应用，图像本身的路径基本上都经历这样的过程：
光-镜头-传感器-数字化CV算法-LCD/LED显示器，最终我们看到的AR/VR内容都是通过LCD/LED显示器传入人眼。
而LCD/LED本身在耗电、重量、体积等方面存在缺陷，是AR/VR用户体验发展的主要瓶颈之一。
而MagicLeap拥有一种名为FiberOpticProjector的核心技术，这种“投影仪”与传统意义上的投影相比，尺寸更小，功耗更低，可以通过一根直径1毫米长9毫米的光纤投出几英寸彩色图像。
谈及FiberOpticProjector的原理，我们就要从已经加盟了MagicLeap的华盛顿大学EricSeibel教授说起。
Prof.EricSeibel致力于研究内窥镜已有数十载，他的研究团队曾在2013年公开展示一种直径1毫米、基于光纤扫描的内窥镜。
相比原来动辄几厘米直径的内窥镜而言，这是一种变革性的进步。
它的原理简单来说就如下图——内窥镜由基于MEMS的驱动器Actuator、单光纤、镜头组、直径1毫米的套管组成。
当内窥镜工作时，微电脑通过控制多个驱动器，精确控制光纤末端的扫描路径，通过画直径由小变大的同心圆来完成整个画面的图像扫描，再将数据回传给电脑合成图像。
MagicLeap的FiberOpticProjector和这个内窥镜工作原理类似，只是光纤末端并不是用来采集图像，而是发出显示图像的光线，通过驱动器足够快速的扫描，让镜头末端得以逐个投出图像。
这个原理听起来简单，要在工程上实现是非常了不起的。
上面我们提到过，这种基于光纤扫描的显示设备有功耗低、重量轻、体积小等优点，而且可以通过多个光纤末端阵列堆叠的方式来实现FOV（FieldofView）显示。
而对于这种光纤扫描投影仪的画质，想必大家也不必过于担心。
通过GooglePatent的检索，我们发现这家公司已经在为美国国防部研制分辨率达到4K级别的光纤扫描显示设备。
CG和CV
说完光学呈像原理，我们再来说说MagicLeap在计算机视觉技术（ComputerVision，以下简称CV）方面的成就。
上图来自MagicLeap近期的宣传视频，这些都是CG特效，并且MagicLeap自己也承认视频里的都是特效。
这样用于表达idea的概念视频在硅谷公司里很常见，并不值得指摘。
接下来，我们重点针对上图里的这两组进行分析。
一如HoloLens在去年10月首次亮相展示的宣传视频，纵然MagicLeap在视频里明确标注了"Nospecialeffetsorcompositing"，很多看客还是倾向于对它们持怀疑态度。
不过，要真正在技术和学术上讨论MagicLeap在CV和CG技术领域展现的成果和远景，就需要建立两个假设：
第一，视频是在MagicLeap设备上使用他们的原创技术生成的，即他们没有说谎；第二，视频是通过他们的设备实时采集、处理并展示的，即从外界感知环境数据到获得AR效果图像的整体时间在33ms~67ms这个时间范围内。
第一张图中，躲在桌下的小机器人被发现后，惊慌失措片刻向摄像机打了个招呼。
过程中摄像机持续在移动，中间桌子对小机器人发生了部分遮挡。
在这个场景里：
首先是三维信息感知：
计算机必须通过传感器感知三维环境信息，这个传感器可以是普通RGB摄像头，也可以是TOF或者结构光深度摄像头，但是选择不同的摄像头也决定了接下来算法的复杂程度。
第二步是三维场景重构，这也是最重要的一步，需要通过所获得的环境信息实时对场景进行三维重构。
这里就用到了大家最近在AR领域反复提及的SLAM算法，该算法在实时构建三维场景的同时，能够准确地定位拍摄相机（或拍摄者）的位置。
有了三维环境和位置这两个信息，接下来的图形渲染工作才能进行。
目前对于RGBD来构造三维场景的SLAM算法相对比较多，最著名的当属微软英国剑桥研究院和帝国理工AndrewDavison教授（接下来会多次提到这位教授的名字）共同开发的Ki
升级会员 