EPI-Patch Based Convolutional Neural Network for
Depth Estimation on 4D Light Field
基于光场图像的深度估计技术是光场图像应用的关键技术，而传统方法在遮挡和子像素问题上又一定的局限性，因此本文提出了一种基于卷积神经网络的光场图像深度估计算法。该方法成功地将卷积神经网络应用到四维的光场数据，利用卷积神经网络提取光场图像EPI图的斜率特征，最终预测出目标图像的视差图。
本文使用的卷积神经网络主要以光场图像的水平EPI-Patch和垂直EPI-Patch作为输入，最终输出光场图像每个像素点对应的视差概率分布。因此首先要从已有的光场数据中提取出所需的EPI-Patch，构建训练集，再利用边缘检测滤除无效的样本，最后对训练集进行过采样平衡了标签分布。神经网络采用了两个子网络的设计，分别学习了水平和垂直EPI的斜率特征。子网络中的卷积操作主要使用2*2的小卷积，除了使用传统的Batch Normalization等优化方法以外，本文还为损失函数设计了平滑项。最后为了弥补EPI-Patch在全局信息上的不足，本文利用了GC全局优化的方法对网络结果进行后处理。
实验证明我们在4D Lightfiled Benchmark上取得了很好的成绩，相比许多传统方法在精度上有了明显提高。