论文笔记 《Nonparametric Blind Super-Resolution》

论文项目:http://www.wisdom.weizmann.ac.il/~vision/BlindSR.html
ICCV13的oral,观看地址见:http://techtalks.tv/talks/nonparametric-blind-super-resolution/59401/
目前引用量11。

问题引入

一般情况下,SR问题都是假设了blur kernel是PSF或者Guassian,但作者认为这是不正确的,作者提出了kernel应该从低分辨率图像中进行直接估计来进行恢复,然后再基于这个kernel来进行SR。

什么才是正确的SR kernel?

(注:这部分对应原文sect 2,中间的一些符号笔者没有理解,先将脉络记录下来先)

如上图,作者认为图像原来是在一个contiunous scene f(x)下,不管是high-res image h[n]还是low-res image l[n],都看成是f(x)的一种经过PSF模糊之后的采样,差别是它们的PSF是不同的。
而SR问题中需求得到的kernel,实际上应该是从h[n]到l[n]的模糊核函数,这个过程等价于先从h[n]反卷积到f(x)再卷积到l[n],用傅里叶变换后在频域表示为:

总的来说,这个kernel不是PSF的离散化,而是具有更加震荡的模式。

怎么通过低分辨率图像直接恢复kernel?


经过公式推理,作者得到了这样一个观察。如上图所示,在低分辨率图像l中,首先将它进一步模糊降采样为l^alpha,并在这两个尺度下找到了一对最近邻的q和r^alpha,而r^alpha是在l中对应的r区域模糊降采样得到,那么q和r的关系也会满足与q是r的模糊降采样,该形式可以转换成一个线性的约束:

也就是,如果能够找到多个这样q-r对,能够通过最小二乘法估计得到kernel的值。
于是问题是如何得到这样的q-r对。方法也是很简单,先初始化一个k,然后通过k得到新的l^alpha,之后通过NN找到目前的q-r对,重新估计新的k。重复该步骤直到收敛。

引入外部图片时候的kernel恢复

基本同上述过程,只不过这时候l^alpha是在外部图片中得到。

很久没有更新网站,发现多了不少评论和问题,无法一一回复,如果现在仍有问题请再次留言 :) 2016.03.29