基于深度学习的光场图像深度估计.pptx

基于深度学习的光场图像深度估计.pptx

《基于深度学习的光场图像深度估计.pptx》由会员分享，可在线阅读，更多相关《基于深度学习的光场图像深度估计.pptx（33页珍藏版）》请在冰豆网上搜索。

,基于深度学习的光场图像深度估计,报告人：

尹忠诚2017年6月13日,研究背景和意义,近年来，随着光电技术及器件的发展新型成像设备不断涌现，其中,光场成像以其独特成像过程及优势备受研究者关注。

传统成像方式,记录了光辐射在成像平面的二维位置信息，而光场成像记录了光辐,射在传播过程中的四维位置和方向信息。

由于光场成像较传统成像,多出2个自由度，因而在图像重建过程中，能够获得更加丰富的图,像信息。

光场成像能够实现数字重聚焦、合成孔径、获取大景深图,像，以及重建三维立体图。

研究背景和意义,由于光场图像包含丰富的图像信息，这为解决许多图像处理的传统问题提供了新的途径。

单幅图像深度估计是病态问题，而光场图像由于其特殊的成像方式，可以实现一次成像获取同一场景在不同视角下的多视角图像，且相邻视角之间基线极短，这使得场景深度更容易准确估计。

目前，许多基于光场图像估计场景深度的方法被提出。

光场成像原理,光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，光场数据的获取为计算成像提供了很多新的发展方向。

光场可以看作是同时捕获场景的多视角图像，从而提供视差及场景深度信息。

光场成像原理,光场成像过程,光场成像的特点拍摄方便，拍摄条件约束少对场景多视角的稠密采样允许将视差空间作为连续空间处理在没有聚焦的情况下，可以使用基于外极平面分析的算法能够实现数字重聚焦、合成孔径、获取大景深图像，以及重建三维立体图。

光场成像原理,alpha=0.5alpha=1alpha=1.5这里取280,578坐标处在不同聚焦参数alpha下的EPI图像，当该点为聚焦点时，EPI图像斜率为零。

（1）EPI直线斜率线索EPI中直线斜率与场景深度成反比，且当某像素点聚焦时，其EPI斜率为0。

深度估计相关特征,alpha=0.5,alpha=1,alpha=1.5,

（2）聚焦线索用于反映图像中局部区域的清晰度，当某像素位于正确深度下时其局部最清晰。

深度估计相关特征,alpha=0.5,alpha=1,alpha=1.5,（3）匹配线索用于反映在不同视角下同一像素点的匹配程度。

当某像素位于正确深度下，其在不同视角下的像素值最接近。

深度估计相关特征,深度学习相关工作,深度估计ConvolutionalNetworksforShapefromLightField.CVPR.2016U-shapedNetworksforShapefromLightField.BMVC.2016DeepDepthFromFocus.CVPR.2017视角合成Learning-BasedViewSynthesisforLightFieldCameras.CVPR.2016,研究目的使用CNN网络估计给定光场数据的深度信息。

主要贡献提出了一种新的方法估计光场域下，图像中每个场景点匹配的2D超平面方向。

提供了合成LF数据集，该数据集提供高精度深度标签，并且其场景可以随机生成。

ConvolutionalNetworksforShapefromLightField.CVPR.2016,使用20个不同的三维物体，通过前景、背景位置及远近的调整，生成了25张LF图像，使用20张作为训练，5张作为测试，图像大小640x480x11x11,网络结构为4层卷积层和一个全连接层，具体参数如下图：

U-shapedNetworksforShapefromLightField.BMVC.2016,主要贡献采用全卷积网络及U型网络结构对上一工作进行改进，可以用于任意尺度的EPI图像的输入，克服了图像块带来的局限性，且可以快速估计整个4D视差场。

全卷积网络编码网络在EPI空间尺度上进行压缩提取特征，解码网络通过跨层连接的方式估计EPI上每个像素的斜率。

网络结构及具体参数如下图：

编码网络解码网络除了下采样卷积及上采样卷积层，卷积核为3x3，其它卷积层卷积核采用3x5，每个卷积层通过补0保持特征图大小不变。

在编码网络特征图个数每隔2层翻倍，分别为16,32,64，解码网络与之相反。

网络输出与输入维度相同。

合成图像上测试结果,真实图像上测试结果,四层卷积，卷积核3x3，特征图64;全连接层128个神经元;输入为EPI（9x13）的RGB图像，水平与垂直各一支路，输出为该像素的视差分类（0-14）.,双支路网络结构,训练数据分布,测试数据分布,迭代50万次，batchsize256，训练数据约55万,groundtruth,训练集测试结果,所有测试结果都是原图1/4大小。

groundtruth,训练集测试结果,groundtruth,测试集测试结果,3.回归实验,实验结果及未来工作,由于训练集数据分布不均匀，训练数据较少，虽然将问题简化成分类任务可以训练得到模型，但模型的泛化能力较差。

下一步准备做光场数据集，使用Lytrollum相机拍摄光场图像，Kinect2相机获取深度图，建立室内场景的光场数据集。

Theend,Thankyou!