论文笔记 《Semantics-driven portrait cartoon stylization》

是某个实验室前辈ICIP10的oral paper,连接见这里:http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5651715

流程


如上图,首先用AOG对Emma进行parsing,之后分别用一个edge detector得到Region和sketch的map,之后用他们作为引导图,对原图进行风格化,最后两个分支做一个fusion。

Sematic Parsing via AOG


这部分是对Emma进行parsing,And Or Graph(AOG)的大致思想是包括了And和Or两种节点。And节点的意思是脸由眼睛And鼻子等7个part组成,Or节点的意思是眼睛可以是大眼or小眼。AOG需要预先定义。
这一步结束后,Emma的脸的各个component有了,每个component可以用一个二元组表示$v_i =< Λ_i, l_i >$,表示位置和范围。

Region and Sketch Saliency via Long-Edge Detector

之后对于原图用long-edge detector,得到了两张map,然后又对这两张map进行处理,就得到了region salmap和sketch salmap,前者的重点是component的细节特征,后者的重点是边缘信息(用于最后描黑边,这里的sketch所指就是这些黑边)

上图的a和b表示两张salmap,c和d是用他们作为引导图对原图滤波之后的结果。怎么滤波见下一个小节。

Stylization

这里可以理解成分别用上面两张salmap作为引导图进行滤波,滤波要求满足,

  1. 结果图像比起原图不能有太剧烈的变化(或者轮廓上不能有太剧烈的变化,相当于正则项)
  2. 结果图像和引导图的梯度要相近或相关。

所以objective function都可以理解成是两个part组成。
region的objective:


sketch的objective:

注意到,这里的objective都利用到了一开始parsing出来的component的信息,对于每个component,他们的权重等参数是不同的,需要人为设置

Result

最后将sketch的滤波结果盖在region的结果上。就是最后的结果了。

很久没有更新网站,发现多了不少评论和问题,无法一一回复,如果现在仍有问题请再次留言 :) 2016.03.29