光场和图像计算.docx
《光场和图像计算.docx》由会员分享，可在线阅读，更多相关《光场和图像计算.docx（14页珍藏版）》请在冰豆网上搜索。
光场和图像计算
光场和图像计算
光场和图像计算
MarcLevoy
斯坦福大学
一项关于光场成像理论和实践的调查强调了在计算机图形学和计算机视觉领域的研究人员已经建立的逼真地捕捉光场的设备以及他们研发的从这些设备中计算新奇图像的技术。
新仪器的发明常常会引发科学新发现，比如说望远镜，显微镜或是粒子回旋加速器。
可以说，在过去的50年中，最重要的科学仪器就是数字计算机。
在它的许多应用中，计算机与数字传感器的结合已经创造了一种强大的新工具被称作“图像处理”。
从地球物理勘查的钻孔断层摄影术到生物科学领域的共聚焦显微镜，电脑在图像形成分析中的应用已经彻底改变了我们观察和分析自然世界及人造世界的能力。
许多这些成像方法运行在可见光波段，并且它们中的许多和穿过空间的光线流有关。
尽管认为光流经一个环境可追溯到古代，但迈克尔·法拉第在1846年他的题目为“光线振动的思考”的演讲中第一个提出了光应该被理解为一个场。
根据他先前在磁场方面的研究，法拉第的建议确实很好，但是作为一个试验家而非数学家他无法正式确认自己的想法。
在28年后，詹姆斯·克拉克·麦克斯韦通过方程式正式确认了那个想法并因此而成名。
结合由皮埃尔·布格，约翰·兰伯特和其他科学家提出的关于光特性的新发现，在20世纪的前半期，这些方程式引起了理论光度法研究的盛行。
成就之一就是钱德拉塞克在1950年所著的富有创新性的关于光的传输和散射的书：
辐射传输理论。
1986年，詹姆斯Kajiya在他被广泛引用的论文中将该著作引入到了计算机图形学领域。
电力时代的初期，在光度测定的应用中被认为有用的就是关于表面照明人工照明的研究。
有了这个应用在心中，阿伦Gershun定义了光场的概念，它给出了空间中的每个方向上每个点上通过的光量。
在1936年在他的令人惊讶的论文中，Gershun提出了光量是缓慢变化着从一处到一处到达空间中的各个点的（除了明确定义的边界比如表面或阴影处），并因此能够用微积分和解析几何来描述。
因为写于数字计算机时代之前，Gershun没有方法来测量一个光场。
然而，他可以在封闭的形式下得到在表面被观察到的由于不同形状的光源被放置在这些表面之上而形成的照明模型。
随着计算机，彩色显示器，和廉价的数字传感器的出现，现在我们可以记录，处理，并显示Gershun的光场了。
自从10年前光场被引入到计算机图形学领域以来，研究人员已经用它们在场景周围飞行模拟场景，而不需要建立3D模型，在不知道场景表面性能的情况下重现场景，在场景被捕获以后对照片重调焦距，创建非透视全景以及从场景的多个图像中构建其3D模型。
这项关于光场成像理论和实践的调查强调了在计算机图形学和计算机视觉领域的研究人员已经建立的逼真地捕捉光场的设备以及他们研发的从这些设备中计算新奇的图像的技术。
全光方程和光场
本文主要关注的是几何光学即在空间上非相关的照明，以及显著大于光波长的对象。
在几何光学中，光线是基本的光载波。
沿着光线方向的光量是辐射率，用L来表示，单位是W/sr/㎡。
球面度测量固体角，平方米被用在这里是来测量横截面积，如图1（a）所示。
在一个被排列不变的光源照亮的3D空间的区域内，沿着所有这些光线的辐射被称作全光函数。
由于空间中的光线可以由坐标x,y,z和角度来参数化，如图1（b）所示，因此它是一个5D函数。
如果感兴趣的区域包含一个凹面的物体（想象一个杯形的手），那么光离开物体上的一个点到物体上的另一个点阻碍它之前，只能经过一段很短的距离。
我们不知道有任何装备能够在这样的区域内测量全光函数。
然而，如果我们把自己的位置限定在物体凸壳的外面，我们就可以用数码相机轻松地测出全光函数。
在这种情况下，函数包括冗余的信息，因为沿线光的辐射从一点到一点是保持不变的，如图1（c）所示。
实际上，冗余信息恰好是一维的，这就留给了我们一个4D函数，ParryMoon称它为感光区域，PatHanrahan和我称它为4D光场。
正规地，4D光场被定义为真空中沿光线方向的辐射。
如图2所示，这组4D射线可以用不同的方法来参数化。
一种选择是通过光线在一般位置放置的两平面的交集来参数化，如图2（c）所示。
然而这种方法不能表示所有的光线（例如如果两平面平行且光线又平行于这两个面），它和透视成像解析几何密切相关。
真正地，一种考虑两面光场的简单方法就是把它看作st平面（任何物体都处在该平面之外）透视图像的集合，平面中的每一个都取决于观察者在uv平面中的位置。
图片1：
表征通过3D空间的光线流的5D全光函数。
（a）沿光线方向的辐射率L可以被认为是沿某区域内所有可能的直线经过的光量，该区域的大小由它的立体角和横截面积决定。
（b）参数化一条光线由
位置坐标（x,y,z）和方向坐标（，）决定。
（c）在没有阻碍物的情况下，沿一条光线的辐射率是保持不变的。
这也导致了全光函数的冗余。
图片2:
4D光场的多选择性参数化模型，4D光场指的是通过真空中一个3D区域内的光线流。
（a）在一个平面或曲面上的点，方向离开每一个点。
（b）球面上成对的点。
（c）一般位置放置的两平面上成对的点。
主面的中心。
一个简单的变体的线性透视法是将观察员从无限远的场景一种超长焦视图。
成为平行线的视线，观察者移动侧向相对于这些线没有透视失真，和闭塞不改变。
这就是所谓的正射投影。
虽然这是不寻常的发现微范围，捕捉正投影以外光学系统，利用光场的渲染和输入光场与各种各样的可用的视线可以很容易地计算图像。
通过一个单点的预测所有的光线，假设我们替换一个带有口罩的数码相机，包含水平缝和其他含垂直狭缝对更换镜头。
这样的安排，相机记录一个视图，其中的每一列像素的濒临水平狭缝上的点和线的每一行的像素的视线收敛到一个垂直狭缝的点上。
被彩色摄影先驱路易斯Ducos杜浩润在1888年发明，像这样的图像称为交叉缝预测。
如图4所示，移动的狭缝产生的各种不寻常的点。
桀骜不驯的相机模型被提出，但建立一个完整的分类是一个开放的问题，超出了本文的范围。
所有这些预测，可以计算提取切片光场。
作为一个例子，假设你开了一个城市的街道，指出了侧窗口的视频摄像头，并记录你传递的店面。
图5，合成孔径摄影的原则：
（一）一个针孔摄像头在像平面上创建一个模糊。
（二）添加镜头允许进入的更多光线，并聚焦，但只有在平面上的点锐聚焦;使不在平面图上的点变模糊，形成散光圈。
（三）如果镜头是大于的封闭目标对象（用蓝色表示），虽然有一些光线被阻挡，如果在平面上的点最佳聚焦，那么对象并不能完全掩盖你的视野。
（四）离散近似的大孔径，加入射线从用大量的相机的视图中提取。
如果你从视频的每帧中提取每个像素的中心列，紧靠这些列变得相互水平，你获得了推帚式全景，在这个全景中一个狭缝是沿着街道的相机的路径和第二秒狭缝是垂直的并且在店面对面下无限远。
你实际上并不需要一个二维采集的图像来构建这样一个全景;因为你限制了垂直的角度来集合相机的路径，一维的集合就足够了。
不幸的是，推帚式全景压缩对象是靠近相机和伸展遥远的对象。
为了尽量减少这些扭曲，两个或多个不同的投影可以结合成一个单一的图像。
这就产生了一个多视角的全景。
在斯坦福大学CityBlock项目，我们计算方向每个风扇的射线（蓝色三角形如图4所示）这样可以最大限度地减少失真。
在工作中共同发现了我们自己的AseemAgarwala，通过半自动分割全景成多个区域，其中每一个区域是从图13中提取的不同的输入，它解决了同样的问题。
自动提取的产生多视角的全景照片是具有挑战性的，所以，在很长一段时间内，这无疑将是一个活跃的研究领域。
在前面的两个部分，在计算每个像素表示的图像的视线中独特的一行，因此，一个单一的样品从光场中提取。
当然，真正的相机不以这种方式工作，否则他们将捕捉无限小光。
一个真正的相机有一个有限大小的孔径。
此规则还适用于针孔摄像头，即小学生在一个鞋盒内一侧的戳一个洞来形成图像（小孔成像）。
于1604年约翰内斯·开普勒命名小孔成像，针孔摄像头已经知道自古以来。
作为图5a示出，针孔越大，越多的光进入，但图像变得越模糊。
通过在小孔前放置一个透镜，可以解决此问题，如图5b所示。
装置的聚光功率是不变的，但现在在一个对象尤其是距离镜头较远的一个对象将很好的聚焦。
在其他距离的物体——不是在“平面的最佳聚焦区域“内的对象将成像模糊，有时也被称为
散光圈。
如果该对象距离平面足够远，散光圈比公称直径（通常是一个像素）要大，我们说对象不在相机的景深。
作为摄影师都知道，引入一个孔径光阑（隔膜）到这样的光学系统和部分关闭它来减少的透镜的有效直径。
这、种是通过缩小了散光圈使得目标物体离开了平面的最佳聚焦点，从而提高了相机的深度领域。
相反，如果你打开隔膜，你可以扩大散光圈，从而降低其景深。
如果光圈是非常大的，让我们说，和最佳聚焦平面的距离同宽，如图所示在图5c中，景深变得如此浅，只有在平面上的目标物体是清晰的。
有趣的是，如果一个在景深外面的对象是小足够的，对于平面上的每一个点都是最佳聚焦，至少一些它的光线仍然达到的镜头，该对象名不再掩盖相机的这些点了。
五百年前，达芬奇观察到如果您有一根针在你的眼睛，因为针比人的瞳孔窄，它增加了一个你对世界的视野模糊感，但它并没有完全它掩盖任何部分。
一个对于这个原则明显的应用是“看穿”，对象由许多小零件组成，如树木或成群的人。
建立一个相机的镜头是大于在一片叶子是不方便的，更不用说一个人，但我们可以模拟这样一种相机，来对光场进行捕获和重采样。
例如，如果我们有一个数组的N，N个相机指向一个场景，在以下方式中。
我们可以模拟一样大的透镜的聚焦作用。
图6.在斯坦福大学的计算机图形实验室捕捉光场设备。
（一）球型构架与四个机械传动（橙色箭头）。
内臂通常持有的检测器或照相机，外臂持有一个光源或视频投影仪，以及该对象放置在中央平台上。
下面是用于捕获的光场的两个构架。
（二）多机阵列，其中包括128VGA分辨率的相机与长焦透镜（48个透镜被用在这里）。
下面是从一个摄像头得到的视图，通过求和创建和合成所有摄像机的意见得到的孔径照片，让我们看到穿过树叶的景象。
（三）全光照相机的微透镜阵列，他们其中已插入的主镜头和数字式传感器之间.光的设计上图所示（有关详细信息，参见文字）。
下面是两个的由相机拍摄的合成的快照。
（四）光场显微镜（LFM），其中，微透镜阵列（红色圆圈）已经被放置在一个标准的显微镜的图像平面的中间。
下面是两个透视图小鼠胚胎，从肺埃尔南·埃斯皮诺萨的一个快照计算。
考虑一个单一的输出图像中的像素。
使用几何光学，计算出在平面上最佳聚焦点的位置，这样可以通过巨大的镜头反应这些像素。
从现在选择的图像样本查看每个摄像头记录的，可能与从相邻的样品中插补，其视线通过该点。
这N个样本加在一起这？
N个样品，在图5d所示。
对于每个在输出图像中的P个象素重复此过程。
因此，N2与P2成正比，我们已经构建的场景的立体图，使用一种具有大光圈因此具有浅景深的合成相机。
亚伦.伊萨克生和他的同事们描述了这一过程作为“重新参数的光场“，我喜欢把它称为合成孔径摄影或“数字再聚焦。
”图6显示了一些图像以这种计算的方式。
捕捉光场设备
一些计算技术研究者已经证实可以应用到光场，通过改变方式，讨论那些曾经提议用来捕获光场的设备运行情况。
（光场不但可以由3D模型形成的渲染图像来创建，而且把重点放在了摄影上。
）在很多情况下，我们所取样的光场的密度，而这种光场取决于我们所采用的工具。
这种样板密度，设备的物理尺度（全室相对于微观），证实过的电脑电脑计算技术是否可以具体使用。
移动摄像机
让我们展开想象。
对于静态的场景，我们可以移动照相机来拍到一个光场。
比如我们通过飞机而射到其后面的景象，这归结于曾经对光场透视以及数字米开朗琪罗工程。
有如照相机通过柱形或者球形表面获取景象，苹果公司的虚拟现实传输机就是这种例子，尽管很类似，但是更加准确，是我们在实验室建立的框架，以及外部系统微软研究院/在中国发展下，建构“同心马赛克。
”
阵列相机
你需要多镜头摄像机去获取动态场景的长基线光场。
这就是软片摄像机，数码照相机，或者摄像机。
后者对捕获快速移动的物体的关键时刻，后者更好，这是由于阵列的自由振荡，直到关键时刻出现。
如果照相机沿着1D路径排列，显示一连串的景点，在轨道上运行，那些景点已经在相机的视线范围内。
在DaytonTaylor的倡导下，这种技术于1999年在电影中的使用而得以著名。
从这个系统中所给我们的知识和意想，让一个光场观察者从中获益，从中得到的启发是像素从不同的图像可以结合生成新的视图。
这样做可以让虚拟观察者将注意力转向可以成像的物体上，而不是仅仅沿着照相机的拍摄方向，但是这种新的观点会引起左右视差。
如果照相机配备2D阵列，那么可以捕获到全光场。
真如图6显示，我们设计这样的阵列，为了捕获到超高速视频，它的实现基于快速的触发次数，不同曝光次数的高动态范围视频，或者是拓展视野的高分辨率全景。
另外的系统，像我们熟知的，在卡耐基梅隆大学大学研发的3D空间，在东京大学研发的16阵列照相机，由麻省理工学院计算机图像技术组研发的64阵列的照相机。
镜头阵列
如果是短基线的视野范围（从英尺到微米），那么我们可以利用仅仅一台照相机和一个镜头阵列来代替多镜头照相机。
镜头阵列在光场领域的使用，源于1908年GabrielLippman发明的积分摄影技术。
这些操作在阵列应用之后很简单。
如果你将一个传感器放在一组小镜头阵列后面，每一个小晶状体记录一个从阵列方向上观察到的透视图。
这就构成了一个小光场，它的uv分辨率取决于大量的小晶状体（如图2所示），并且它的st分辨率取决于每个小晶状体后面大量的像素。
将一个“场”置于小晶状体阵列物体的边缘上，定位这个镜头为了将场景定位在阵列上（如图6），并且调换光场；现在它的分辨率取决于大量小晶状体而且分辨率取决于每一个小晶状体后面大量的像素。
首次安排在物质上有薄的优势。
然而，从它合成的视点分辨率会第低，因此，系统厚度不一，后者的安排更好。
在这种安排下，只有场透镜需要畸变矫正，并不是每个微透镜。
加上最近微透镜制造技术小于1mm的改进，这一安排的优势已致研究员在传感器和光相机主透镜之间插入微透镜阵列，从而制造了一个全光相机。
我们通过修改玛米亚格式单反相机机身建立了一个这样的相机，如图6c所示。
对全光相机的记录从光场开始，你可以建立多视角透视和多视角全景，尽管可用视点的改变被相机孔径的直径所限制。
（它翻拍效果很好，场景离相机很近，因此相机孔径相对较大）
更有趣的是,你可以利用合成孔径摄影技术。
正如图表显示的那样，这实质上允许摄影师在捕捉到一次快照映像之前，必须重新调整一下焦距。
代价是，会损失空间分辨率。
特别地,对于一个透镜阵列，在每一个透镜下面有PXP显微透镜和NXN像素点,通过计算可以得到有PXP像素,如果相机的主镜头有这种相对孔径，即f/A，那么就可以重新聚焦在我们视角范围内的任何景物，这种视角范围取决于镜头的固定焦距f/（AXN）。
例如，原型全光照相机有一个16兆像素点的传感器，一个f/4的主镜头，并且配备了300X300显微透镜的透镜列阵。
这样以来，在P=300,N=14的条件下，就可以利用f/56的相机拍到视觉范围内的任何景物。
不幸的是，理论计算的得到仅仅只有300像素点，无法满足人们的需求。
然而，在现代照相机中，像素得到了不断的提高。
如果在35毫米的数码相机中，重新配备像傻瓜相机那样小的像素（大约2微米）并且置入20微米的显微透镜列阵（相当于N=20），这种相机的像素就可以达到1800X1200，重新聚焦由f/40的相机就可以达到视觉预期范围。
像这样的相机无疑会受到人们的青睐。
显微镜
如果在显微镜图像的中间区域的平面上放置一个微透镜列阵，我们就可以观察更大范围的图像，这样以来就可以利用一张照片得到光场的微观模型。
按照Lippman的最初的观点，光学显微镜在角度分辨率上取得成功，却在空间分辨率方面没有成功。
不想全光照相机那样，在显微镜下观察光场，它的。
这具体取决于显微镜物镜孔径的数值大小。
对于摄影知识方面知识涉猎比较多的读者，他们会用近似公式A=1/（2NA）将数值口径值NA转化为F值。
尽管有这方面的限制，我们还是可以通过一些准备生产出有用的光场显微镜。
主要是采用光场补偿法来产生视觉上的血液铸造，至少可以解决获取到的光线它的角度限制。
由于这中显微镜加载了一种特殊“远心”孔径光阑，从而可以形成直角场景，在显微镜研究界是一种新方法的代表——探索样本。
跟这方面相似的是，可以采用合成孔径摄影技术形成焦点堆栈——生物学家的术语，一系列图像在不同深度上的集中。
焦点堆栈并非新名词，而是通过在垂直方向上移动显微镜座，在每一个方向上获取图像的人工技术。
由于这种技术消耗时间，因此不适用于移动（生活）或感光
标本。
图6显示了视觉场景的原型和例子，我们可以通过运算来使用它。
未来的光场
新的研究领域是在光场、摄影技术、计算机图像处理方面形成交叉学科吗？
首先，在这篇文章所描述的种种技术，都对更好的实现仪器划有更大的帮助。
我们尤其需要更好的方法来捕获大型集合（数以千计）的视点。
我们应该在大尺度（地面）以及非常小的尺度（电子显微镜）同时来探索光场方面的知识。
两种极端，一种趋势是偏离光机构的解决问题的方法，另一种是光电子方向的解决方法。
以我们的能力将这些系统的运行速度提高，或者用可控的方法去触发他们，这表明现在的多路技术会变成一种越来越有用的策略。
再慢的科研进展也可以为光场的研究带来贡献。
尽管研究人为光场建立自由立体显示，甚至采用了首尾相连的3D电视系统（这个系统由两个团队完成，一是三菱电子研究室中的WojciechMatusik和他的同事，二是康涅狄格大学的BahramJavidi以及他的同事），从根本上而言，这个系统的建立比起获取光场是件更加困难的事，因为在很少的模型中进行插值不能形成数字化，仅仅停留在光学本身层面上。
然而，虽然慢，但是在图像显示的分辨率上平稳发展，并且采用新型的制造技术，在这方面领域也是得到突破的。
第二，通过计算机视觉算法来重建一个3D模型时，使用了光场理论。
例如，通过想一个场景中的两个或者更多景点来建立立体化模型，对于每一个相似点，可以利用三角化来对其进行3D定位。
非此即彼，焦点化模型测试景点集合是没有考虑一个特定的位置，但是得到了各种焦点。
通过出现的最尖锐的像素部分，结合每一个像素点就可以确定。
不幸的是，闭塞在发现深度之间的相关特点以及在一个对象急剧集中时做出决定，都会带来很大困难。
然而，就像图6所示，很多图像还是允许我们研究它的闭塞。
因此，很容易想象，由一个光场代替一个图像的小集合，我们应该可以提高这些算法的性能。
我们应该积极投身于这个项目的研究中去。
在宏观世界中，大多数物体是不能弄清楚它的物理性质的，这就将我们的注意力转向了视觉算法，用这种方法进行处理。
在微观世界中，物体太微妙，有些部分还是无法深入探讨。
这样一来，显微镜光场的3D结构可以得到分析，就是利用算法给投影数据进行重建，例如X线断层摄影术和3D去卷积。
这些是基础性算法，与电脑视觉算法相比，它的功能更具有优势。
这种优势使我们可以将显微镜光场转化成体积数据集。
接下来，利用容积放弃技术将这些数据形象化。
尽管我们曾经将注意力放在获取4D光场上面，但是许多关系密切光场承受测试。
在这篇文章（作者的研究当中）中，在不改变光照强度的情况下，利用4D光场技术让物体外表特征化。
如果发挥我们的想象，两种4D光场会引起我们的注意：
一是对光入射的描述，二是对光透射的描述。
如果一个从几何层面上而言是一个集合体（包括多个平面），任何一条入射光线的方向会对透射光线造成影响，这是由于多次反射、折射以及其它光学效应的影响。
我们可以通过定义一种比例函数来获得这种从属关系，这个函数在透射光线与入射光线之间建立了关系。
在普遍意义上称之为反射场，或者叫做光线传输矩阵。
在应用物理和计算机图像处理的研究领域里，反射场是一种很热门的领域。
的确，我提到的很多仪器通过改进用来测量这些反射场。
不幸的是，所有的反射场分布在八个方向上，数据量很大，至今没有人能够测量。
但是研究人员已经测量出子集和这些场的低维分量。
例如，这些观点已经证实并且也多样化，得出的结果是四维反射场。
Gershun在光场方面的论文认为光线可以用向量来描述，在每一个方向上，深度与他们的光强相对应。
在球面同一位置处这些矢量形成一个标量，即全部的光线集中在一点，合成一个方向。
在计算机图像学中，这被称之为矢量光照场，但是除了JamesArvo发表的论文外，对这方面还没有系统性的研究。
图七表明两方面，一是数量级的形象化，二是指出模拟场景矢量场的方向分量。
有趣的是，随着我们对这些景的描述得以明确，这种标量场在空间每一点就等同于周围圆的小数部分，空间一点出可以找到周围圆,和辐射矢量点的平均方向封闭点的圆。
几何学家们称之为周围封闭图形或者有限可见图形。
在这种场景中，对于放入的机器人无疑是一种最为安全的脱险通道，这种场景如图7c所示。
Hmmm，一种光场的场线，法拉第在1846年就研究这些方面。
要不是这篇文章在结尾是没有两个没有根据的假设，我就不会这样小心了，哪两个假设在这20年里都是笑柄。
十年前，电脑图像学第一次引入了光场，我们仅仅在一个方面建议使用——新视觉景象的发明，以及在这些方面有些不切世纪，就是不能获取足够的影研究响而进行这方面的研发。
结果，光场的研究让人们认为只是停留在理论层面上。
在这十年里，计算机处理速度、记忆以及宽带的发展，高端数码相机的分辨率提高了百倍，低端数码相机现在小巧、便宜和普遍都有。
随着这种观念的深入，对此有把握预期，在未来的五年里，光场会在商业界得以应用。
实际上，我预期在25年里，很多消费者的摄像机会被光场照相机取而代之。
无论他们是利用额外的信息来提高焦距，或者重新调整焦距，或者扩大场的深度，或者改变场景，我都不能冒险猜测。
我想照片专辑不会被全息照相或者哈利波特特电影所充斥。
大多数私人照片专辑，无论是纸质的，还是电子版的，都由原始的图像组成。
升级会员 