使得
=y。
CS的神奇之处在于
可设计成如稀疏/可压缩的X可以从测量恰好/大概恢复为结果y。
虽然
设计超出了本次审查的范围,一个有趣的以高概率运作的选择是一个随机矩阵。
例如,我们可以得出
的元素作为一个统一的伯努利分布的独立同分布±1随机变量[22]。
然后,测量结果y是仅x的元素的M个不同的随机签名的线性组合。
其它可能的选择包括独立同分布的,零均值,1/N-方差高斯项(白噪声)[1]-[3],[22],由标准正交基的随机排列的矢量,或基矢量的随机子集[7]如傅立叶,沃尔什-哈达玛或Noiselet[6]碱基。
后者的选择,通过快速变换算法实现实现更高效的重建。
在实践中,我们采用了由伪随机数发生器得出的伪随机Φ。
为了从随机测量Ÿ恢复图像x,传统最喜欢的最小二乘法可以被证明失败的概率高。
相反,它已经表明,使用
优化组合[1]-[3]
我们可以准确地重建的K-稀疏向量和近乎密切可压缩向量与稳定的使用概率很高的随机测量M≥O(Klog(N/K))。
这是凸优化问题,即方便地降低到被称为基追踪的一个线性程序[1]-[3]。
有一系列的基于贪婪,随机的和变分算法的替代重建技术[4]。
如果测量y的被噪声干扰,
最小化的替代解决发案,这是我们的基础配音追求与不等式约束(BPIC)[3]
以巨大的概率满足
和
分别是噪声和逼近误差放大常数;
是一个上界噪声幅度,以及
是用其最大的k项近似α产生的
错误。
这种优化可以使用标准的凸规划算法来求解。
除了启用亚奈奎斯特测量,CS享有多项吸引人的特性[4]。
CS测量是普遍的,因为对于相同的矩阵,
没有知识是需要被采集的数据的细微差别。
由于测量的不连贯的性质,CS是强大的,不同于是傅立叶或变换编码器的小波系数,其测量值具有相等的优先级。
因此,一个或多个测量可以在不损坏整个重建的前提下丢弃。
随着越来越多的测量获得,这使得一个逐步更好重建的数据。
最后,CS是不对称的,因为它在恢复图像的系统中放置了其大部分的复杂计算,这往往具有比所述测量系统更大量的计算资源。
单像素设计减少了所需的尺寸,复杂度和光子检测器阵列的成本降低到一个单独的单元,这使得能够使用额外的探测器,这对常规的数码相机是不可能的。
例如探测器包括一个光电倍增管或低光的雪崩光电二极管(光子限定)成像(详见下文),多个光电二极管的多模态遥感,光谱仪的高光谱成像等。
除了感测的灵活性,单像素设计的实际优点包括以下事实:
一个光电二极管的量子效率比在一个典型的CCD或CMOS阵列的的像素传感器要高,一个DMD的填充系数可以达到90%,而一个CCD/CMOS阵列的仅约50%。
突出的一个重要优点是每个CS测量比平均像素传感器接收到关于N/2倍以上的光子,它显著减少图像失真暗噪声和读出噪声的事实。
该设计从CS理论继承了理论上的优势包括其普遍性,健壮性和累进。
单像素设计在复用相机中得到运用[8]。
对于复用的基线标准是经典的光栅扫描,这里的测试函数{
}是反顺序打开每个镜子的冲激函数δ[n−m]。
正如我们下面将看到的,它比光栅扫描模式有巨大的优势包括更少的总测量(M为CS而不是N表示光栅扫描),并显著减少暗噪声。
图像采集实例
图2(a)和(b)示出了目标对象的x和使用N=256×256(“R”的黑色和白色的打印输出)和M=N/50[5]的单像素相机原型在图1中拍摄的重构图像
,。
图2(c)示出了N=256×256彩色单像素低光照条件下使用RGB滤色器和具有M=N/10的光电倍增管下采取Mandrill测试图像的打印输出的照片。
在这两种情况下,图像是使用总变差最小化,这是密切相关的小波系数
最小化重构[2]。
(a)(b)(c)
[FIG2]单像素的照片相册。
(a)256×256传统的黑白图像R(b)由M=1,300随机测量(50×亚奈奎斯特)单像素的摄像头的重建图像。
(三)在低光设置条件下使用一个单一的光电倍增管的传感器,RGB彩色滤光片,和M=6,500随机测量成像的Mandrill测试图像的打印输出的256×256像素的彩色重建。
结构照明配置
在图1中的相互组合中,我们可以使用随机模式{
}的序列的投影仪照亮场景,并使用一个单一的透镜和光电检测器收集的反射光。
这样的“结构照明”的设置在我们可以控制光源的实际应用中具有优势。
特别是,采用了诸如三维(3-D)成像和双摄影技巧[9]的单个像素成像是个有趣的可能组合。
无快门视频成像
我们还可以使用单像素的摄像头采集的视频序列。
回想一下,传统的摄像机周期性地打开快门以捕捉图像序列(称为视频帧),然后由如MPEG的算法共同利用其时空冗余压缩。
与此相反,单像素摄像机不需要快门,我们仅仅通过随机测试函数
排列,然后使用时空冗余[10]的优化组合重构视频序列。
如果我们观看的视频序列作为3-D空间/时间的立方体,然后测试函数
沿着2-D图像切片的周期序列集中分布。
重构视频的方式将把相应的测量y[m与准静止视频成组,然后对每个组执行一个2-D帧一帧重建。
这利用了3-D视频立方体的空间但得不到时方向的可压缩性。
一个更强大的替代利用的事实,即虽然每个
正在测试不同的2-D图像切片,图像片段往往与在视频流畅物体运动瞬态相关。
利用这种三维可同时在空间和时间方向压缩和受现代的3-D视频编码技术的启发[11],我们可以在三维小波域试图重建稀疏的视频空间/时间立方体。
在图3所示的仿真研究中我们对这两种方法进行了比较。
我们在所有的情况下采用简单的3-D张量积的Daubechies-4小波。
正如我们从图中看到,从2-D随机测量重建三维的测量与从三维随机测量重建三维的测量效果差不多,三维随机测量并非直接与单像素的摄像机嵌合。
单像素摄像头机的权衡
单像素的摄像头对实现各种不同的复用方法是一个灵活的架构。
在本节中,我们分析了CS和其他两个候选复用方法的性能,并比较它们与N个像素传感器阵列的性能。
组成我们的分析整体的是探测器的泊松光子计数噪声,这是出于图像考虑。
我们进行了两次独立的分析来评估真实的CS。
第一个是提供一般指引的理论分析。
第二个是指出如何在系统通常在实践中执行的实验研究。
扫描方法
我们考虑的这四个成像方法是:
■像素阵列(PA):
在整个总捕获时间T中,对每个N个像素有一块独立的传感器来接收光线。
这实际上不是一个复用系统,但我们用它作为比较的黄金标准。
■光栅扫描(RS):
在捕捉时间中单个传感器从每个N个像素依次测量N光测量。
测试函数
冲激函数,因此Φ=I。
测量y从而直接提供所需的图像
。
■基准扫描(BS):
单个传感器把依次从不同的N个像素组合获取N光测量,这个组合是从一些更普遍的基础[12]而不是测试函数
。
在我们的分析中,我们假设一个Walsh基础修正来获得值0/1,而不是±1,因此Φ=W,其中W是0/1的Walsh矩阵。
所获取的图像是通过
从测量值y获得的。
■CS:
通过从随机0/1测试函数{
}确定N个像素的不同组合单个传感器依次采集M≤n个光测量量。
通常情况下,当图像被压缩时,我们设定一个《N的M=O(Klog(N/K))。
在我们的分析中,我们假设M行的矩阵
包括从0/1沃尔什矩阵随机抽取行,然后随机排列(我们忽略了由所有矩阵的第一行)。
所获取的图像是通过一个稀疏重建算法如BPIC从测量值y获得的。
(见“CS的简述”)
理论分析
在本节中,我们按照光检测器所要求的动态范围对上述四种扫描方法的进行了理论性能分析,A/D转换器所需要的比特深度,以及泊松光子计数的噪声量的计算。
总的来说,我们的研究结果是悲观的:
在下一节中,在实践中的平均表现是相当好的。
在表1中我们对结果进行了总结。
高斯噪声中分段光滑图像的CS成像有另一种分析[13]。
动态范围
我们首先考虑所需要的光检测器的动态范围以匹配基线PA的性能。
如果PA的每个探测器都有一个0—Dd的线性动态范围,那么很容易地看到单像素的RS探测器也具有相同的动态范围。
与此相反,每个Walsh基准测试函数包含了N/2,并引导N/2倍以上的光进入检测器。
因此,BS和CS都需要0至ND/2的更大的线性动态范围。
从积极的一面将讲,因为BS和CS的每个测量器比PA和RS收集相当多的光,所以他们受益于降低非理想特性探测器,比如暗电流。
量化误差
我们现在考虑在所需要的动态范围内所需要的A/D转换器位数以匹配的PA在最坏情况下的量化失真方面的性能。
在这里我们定义的真实图像x和所期望的
版本之间的均方误差(MSE)为
。
假设在PA和RS每次测量值量化到B位,则量化PA和RS图像在最坏情况下的均方量化误差是
[14]。
由于其较大的动态范围,BS要求每次测量精度为B+
位以达到相同的MSE失真水平。
由于CS重建的失真达到测量向量的失真的
(见“CS的简述”),所以每个测量的精度需要增加额外
位。
一个实证研究发现是
在八到十之间的一系列不同的随机测量组合[15]。
因此,BS和CS比PA和RS需要更高分辨率的A/D转换器以获得具有最坏情况下相同的量化失真的图像。
abcd
[FIG3]使用(顶行)M=20,000和(底行)M=50,00测量量重构的视频序列中的框架32(从[10]仿真)。
(a)原始帧N=64×64×64的同时膨胀和转换的视频磁盘。
(b)帧-帧2-D测量+帧一帧的2-D重建;MSE=3.63和0.82,分别。
(c)帧一帧2-D测量+3-D联合重建,MSE分别=0.99和0.24。
(d)3-D联合测量+3-D联合重建;MSE分别=0.76和0.18。
表1:
四种相机扫描方式的对比
像素阵列
光栅扫描
基础扫描
压缩采样
测量次数
N
N
N
M
动态范围
D
D
量化(总位数)
NB
NB
光子计数均方误差
光子计数噪声
除了从A/D转换器的量化误差,由于光子计数[16],每个摄像头也会受到图像相关的泊松噪声的影响。
由于每种扫描方法的光子计数我们比较了均方误差,在附录中详细的计算出来均方误差,并总结于表1中。
我们看到,BS的均方误差大约是RS的三倍。
此外,当M),CS的均方误差比RS的低。
我们强调,在CS的情况下,我们只有一个相当松散的上限,很有可能存在替代CS重构算法[3],比如Dantzig选择器。
总结
从表1中,我们可以看到由于光子计数的影响,单像素相机的优点为他比PA的对传感器动态范围和A/D量化精度的要求低和均方误差更小。
此外,BS和RS的均方误差对图像像素的数量N的线性依赖对高分辨率成像来说是一个潜在的缺点。
CS的有前途的一方面是其均方误差在式M=O(Klog(N/K))中对N的对数依赖。
实验结果
因为CS捕获/重建方法往往比上面的理论界限在实践中表现更好,在这一节中,我们进行一个使用CS真实数据成像的简单的实验,如图1所示。
由于实验的可编程性,我们以相同的硬件取得了RS,BS,CS测量量。
在所有的试验方法中,我们限定了A/D转换器的精度位数。
图4展示了一个128×128像素的“R”测试图像的pixel-wise均方误差作为总捕获时间T的函数。
在这里均方误差包含了量化和光子计数的影响。
在CS中,我们每捕获一次测量M=N/10次,并且使用Daubechies-4小波基以稀疏重建。
(图4)RS,BS,单像素图像CS的平均均方误差作为总图像捕获时间T的函数(真实数据)。
我们作了两个观察。
首先,BS的性能增益与最坏的理论计算不符。
我们推测,在我们的分析中未涉及的传感器的暗电流导致了RS性能的严重降低。
其次,CS的性能增益是明确的:
图像可以在相同的均方误差下使用更少的时间或者在总时间相同的情况下具有更低的均方误差。
资料可扩展性及过滤器
虽然CS的文献几乎全部集中于问题的信号和图像重建或近似,重建往往不是最终的目的。
例如,在许多图像处理和计算机视觉应用中,数据只用于制作探测,分类,识别或决策为目的而引入的。
幸运的是,在统计推断任务[17]-[19]中CS架构的信息是一个从无到有的过程。
如不需要重建的检测,但是要求对这个问题有充分统计量的估计。
此外,在许多情况下,不需要重建图像就可以直接从一个小数目的随机测量中提取这些数据。
在场景中涉及寻找的目标模板时,匹配滤波器是检测和分类问题的一个重要工具。
一个复杂因素是,目标经常通过几个变量被变换——例如时间或雷达的多普勒频移返回信号;在脸部识别任务中的面部的平移和旋转;航拍的交通工具的或侧倾,俯仰,偏转。
匹配滤波器检测器通过形成给定数据与模版的所有可能的转换之间的对比工作以形成最佳化的性能组合。
匹配滤波器分类器以相同的方式工作,但是从许多不同的可能的转化的模板中选择最佳的匹配。
匹配滤波的最原始的方法是考虑先重建的图像,然后应用一个标准来匹配滤波技术。
相比之下,捣烂过滤器(适用于尺寸上缩小的匹配滤波器)在随机测量下直接执行所有工作[18]。
smashed过滤器的两个关键要素是广义似然比检验和图像的外观歧管[20]的概念。
如果影响到模板图像的参量变换性能良好,那么该组变换模板在高维的像素空间
形成了尺寸等于独立参数的数量K的低维歧管。
(出于这里讨论的目的,一个K-维歧管可以被解释为一个在
K维超曲面。
)因此,匹配滤波器的分类可以被解释为按照在
最接近的模板歧进行测试图像的分类和没有重建是必要的。
Thesmashedfilter利用最近的结果:
只要M=O(KlogN)[21],在
一个平滑的K维流形的结构有很高的概率被保留到低维空间
。
这让人想起所需要的CS测量的成功次数,但以K现在歧管的尺寸。
因此,为了对一个N象素的测试图像进行分类,我们也可以比较M个测试图像的随机测量与候补图像模板歧管的M维投影(使用相同
)。
其结果是,所有必要的计算都可以在
直接进行而不是在
。
因为在常规的匹配滤波器中,最靠近歧管搜索的一个副产品是最匹配测试图像的模板参数的估计值。
在计算机科学界(其他的“CS”)以前的工作也采用了Johnson-Lindenstrauss引理[22]以减少数据维数来计算分类的特点,但是,他们有没有过多考虑表现在图像处理和计算机视觉的设置中的内在流形结构。
图5表明捣烂滤波在未知的转换条件下在垂直和水平方向上(因此K=2)对一个N=128×128像素的测试图像进行分类的任务的效率。
这三类分别对应一辆公交车,卡车或坦克的转换。
测试数据被随机地从这三类中生成。
随机测量量是使用一个模拟的单像素连拍相机,这个相机考虑了与长度T的总的测量间隔有关的泊松光子计数噪声。
我们计算了超过10,000次每次实验的迭代的平均值。
我们看到,增加测量次数开始时可以提高性能,但是由于获取每次测量量的可供利用的时间的缩短,性能接下来会下降。
相应地,增加了总的捕获时间可以提高该算法的性能。
其他多路复用相机架构
现有的两个牵扯到共聚焦显微镜(其与以上涉及的光栅扫描策略的研究紧密相关)[23],[24]的著名的DMD驱动成像应用和微光机电(MOEM)系统[12],[25],[26]。
在微光机电系统,DMD位于在场景和检测阵列之间通过只允许从所需的像素的光通过来执行纵列多路复用。
在文献[12]和[25]作者提出N套阿达玛模式和随机阿达玛模式,前者使复用变得简单,后者得到测量量统一性的信号噪声比。
(图五)粉碎过滤图像分类性能作为模拟CS相机和总获取时间T中的随机测量次数M的函数。
[关系曲线图6](a)从德州仪器(TI)数字微镜器件(DMD)中的两个镜子的原理图。
(b)实际的DMD阵列与蚂蚁腿的大小对比。
(图片来源由德州仪器DLP产品提供。
)
发展至今,其他压缩摄像机包括[27]和[28],它采用光学元件对多光谱图像进行变换编码。
这些设计中获得了采样输出,它对应于有用的编码信息,例如一个给定的光信号的波长或有用的变换系数。
出于这些目设计的优雅的硬件利用了光学投影,测试组和信号推断。
在[29]中的最近的工作比较了不同复杂度的几个像素的成像策略和不同复杂度的多个像素的成像策略;他们对泊松计数噪音的模拟结果和上述的很相符。
最后,在[30]中笔者使用的CS原理和随机化的镜头以提高传统的数码相机的分辨率和坚固性。
结论
对于某些应用,CS有希望大幅提高数据采集,处理和融合系统的性能和功能。
CS方法的实用特点是数据采集(可能比较复杂和昂贵)到数据重构或处理的转换过程中的关断负载处理(可以在数字计算机上进行,甚至不用同置传感器)。
我们已经对基于DMD空间光调制器的