基于深度学习的光场图像深度估计PPT课件下载推荐.pptx

1、由于光场成像较传统成像,多出2个自由度，因而在图像重建过程中，能够获得更加丰富的图,像信息。光场成像能够实现数字重聚焦、合成孔径、获取大景深图,像，以及重建三维立体图。,研究背景和意义,由于光场图像包含丰富的图像信息，这为解决许多图像处理的传统 问题提供了新的途径。单幅图像深度估计是病态问题，而光场图像 由于其特殊的成像方式，可以实现一次成像获取同一场景在不同视 角下的多视角图像，且相邻视角之间基线极短，这使得场景深度更 容易准确估计。目前，许多基于光场图像估计场景深度的方法被提 出。,光场成像原理,光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，光场数据的获取为计算成像提供了很

2、多新的发展方向。光场可以看作是同时捕获场景的多视角图像，从而提供视差及场 景深度信息。,光场成像原理,光场成像过程,光场成像的特点拍摄方便，拍摄条件约束少对场景多视角的稠密采样允许将视差空间作为连续空间处理在没有聚焦的情况下，可以使用基于外极平面分析的算法能够实现数字重聚焦、合成孔径、获取大景深图像，以及重建三 维立体图。,光场成像原理,alpha=0.5alpha=1alpha=1.5这里取280,578坐标处在不同聚焦参数alpha下的EPI图像，当该点为聚焦点时，EPI图像斜率为零。,（1）EPI直线斜率线索EPI中直线斜率与场景深度成反比，且当某像素点聚焦时，其EPI斜率为0。,深度估

3、计相关特征,alpha=0.5,alpha=1,alpha=1.5,（2）聚焦线索用于反映图像中局部区域的清晰度，当某像素位于正确深度下 时其局部最清晰。,深度估计相关特征,alpha=0.5,alpha=1,alpha=1.5,（3）匹配线索用于反映在不同视角下同一像素点的匹配程度。当某像素位 于正确深度下，其在不同视角下的像素值最接近。,深度估计相关特征,深度学习相关工作,深度估计Convolutional Networks for Shape from Light Field.CVPR.2016U-shaped Networks for Shape from Light Field.BM

4、VC.2016Deep Depth From Focus.CVPR.2017视角合成Learning-Based View Synthesis for Light Field Cameras.CVPR.2016,研究目的使用CNN网络估计给定光场数据的深度信息。主要贡献提出了一种新的方法估计光场域下，图像中每个场景点匹配的2D超平 面方向。提供了合成LF数据集，该数据集提供高精度深度标签，并且其场景可 以随机生成。,Convolutional Networks for Shape from Light Field.CVPR.2016,使用20个不同的三维物体，通过前景、背景位置及远近的调整，生

5、成了25 张LF图像，使用20张作为训练，5张作为测试，图像大小640 x480 x11x11,网络结构为4层卷积层和一个全连接层，具体参数如下图：,U-shaped Networks for Shape from Light Field.BMVC.2016,主要贡献采用全卷积网络及U型网络结构对上一工作进行改进，可以用于任意 尺度的EPI图像的输入，克服了图像块带来的局限性，且可以快速估 计整个4D视差场。全卷积网络编码网络在EPI空间尺度上进行压缩提取特征，解码网络 通过跨层连接的方式估计EPI上每个像素的斜率。,网络结构及具体参数如下图：,编码网络解码网络除了下采样卷积及上采样卷积层，卷

6、积核为3x3，其它卷积层卷积 核采用3x5，每个卷积层通过补0保持特征图大小不变。在编码网 络特征图个数每隔2层翻倍，分别为16,32,64，解码网络与之相反。网络输出与输入维度相同。,合成图像上测试结果,真实图像上测试结果,四层卷积，卷积核3x3，特征图64;全连接层128个神经元;输入为EPI（9x13）的RGB图像，水 平与垂直各一支路，输出为该 像素的视差分类（0-14）.,双支路网络结构,训练数据分布,测试数据分布,迭代50万次，batch size256，训练数据约55万,ground truth,训练集测试结果,所有测试结果都是原图1/4大小。,ground truth,训练集测试结果,ground truth,测试集测试结果,3.回归实验,实验结果及未来工作,由于训练集数据分布不均匀，训练数据较少，虽然 将问题简化成分类任务可以训练得到模型，但模型 的泛化能力较差。下一步准备做光场数据集，使用Lytro llum相机拍 摄光场图像，Kinect2相机获取深度图，建立室内场 景的光场数据集。,The end,Thank you!,