热门:从草图到人脸：这篇论文帮你轻松画出心中的“林妹妹”

本篇文章3688字，读完约9分钟

机器的心

明明不会画画还想画帅哥美女吗？ 梦中情人不需要空想！ 最近，在计算机图形学的顶会siggraph上收到的论文中，提出了基于素描深度生成脸部图像的新方法。

基于这种方法的智能面部画板不需要客户有专业的绘画妙招，可以从粗糙的草图和不完整的草图中生成优质的面部图像，同时支持面部细节的控制。 该算法降低了肖像阈值，也减轻了专业画家工作的难度，简单实用。

面部图像的生成在刑事调查、人物设计、教育训练等各个领域都有重要的应用。 但是，真实的脸部肖像画，专业画家也至少需要几个小时。 对没有接触过画的初学者来说更难。 初学者画的面部草图通常非常简单抽象，不均匀不完整。 但是，如果采用聪明脸的画板，确实会像神助一样。

2009年有以草图为输入进行图像合成的研究工作sketch2photo [1]，cvpr上的工作mask-guided[2]实现了基于参照图像和意思标签的面部图像生成。 年在siggraph上发表的faceshop[3]利用草图交互实现脸部图像。 在从现有徒手草图中迅速生成的方法中，几乎都是基于pix2pix、cyclegan、pix2pixhd等深度学习的图像到图像的转换技术。 但是，现在这些处理方案一般拟合于草图，为了生成五官均匀合理的图像，经常需要专业的绘画草图和边缘图作为输入。 线粗，边缘不完全封闭时很难解决。 这意味着现有的处理方案对输入素描的质量要求很高，即不能满足初学者和手残党的诉求。

为了处理这个问题，deepfacedrawing的工作开辟了另一条路。 其核心构想不是以直接输入草图为互联网生成条件，而是对面部进行区块操作，利用数据驱动的思想对抽象的草图特征空间进行隐式建模，找到输入到该流形空间的草图特征的邻近组合，重构特征，重构人的

首先，我们来看看基于这种方法使用粗糙草图生成人脸的效果。

图deepfacedrawing草图合成者的脸部结果

即使草图是“歪枣”，缺少细节表现，线粗线不完整，deepfacedrawing也可以为这些草图生成漂亮逼真的脸部图像。 此外，deepfacedrawing的方法允许客户直接拼凑新的脸，而无需画画。

图deepfacedrawing的脸部拼接结果

让我们具体看看这样非常真实的面部生成是如何进行的。

在现有的研究中，多以输入的素描为条件生成网络的硬件制约，生成效果受素描质量的影响很大。 有时将草图投影到3d空间，以3d模型为条件生成面部图案，但这样的全局参数模型没有灵活性，不能容纳丰富的图像细节，难以局部支持。 在受到作者以前sdm-net [4]事业启发的同时，通过验证发现全球-本地结构的互联网对细节的合成非常有效。 因此，这篇论文也采取了挡住脸，在特征空间中隐含地模型化的想法。

在本论文中，作者以面部关键区域(双眼、鼻子、嘴、其他区域)为面元，学习其特征嵌入，将输入草图的对应部分送到数据库样本中由面元的特征矢量构成的流形空间进行校准。 另一方面，参考pix2pixhd [5]的互联网模型设计，学习使用conditional gan编码的从面元特征到实际图像的映射生成结果。 这种方法的核心之一是将多通道特征图作为中间结果来改善新闻流。 本质上，这是以输入草图代替以前传达的做法的硬约束。 这是因为粗糙的素描和不完全的素描可以生成优质的完美的脸部图像。

deepfacedrawing模型是什么样的？

虽说是大道至简，但本论文效果很好，框架其实也不太复杂。 如图3所示，deepfacedrawing系统包括复制嵌入模块( component embedding )、特征映射模块( feature mapping )、图像合成模块( image synthesis )

图deepfacedrawing互联网体系结构。

ce模块采用自编码机制，把人脸草稿作为5个特征描述符分为5个部分(左眼、右眼、鼻子、嘴、其他部位)，局部投影到线性流形空间上。 每个部位的流形空间由数据库中许多样本代码的特征向量组成。 如图4所示，输入的手写草图样本特征矢量作为点样本投影到该空间上寻找近邻，通过线性组合重构进行最佳的草图输入。

图4 :流形空间中的投影图

fm和is模块构成了条件图像生成的另一个深度学习子互联网，并将组件特征矢量映射到现实图像。 fm模块与ce模块的解码部分类似，但fm模块将特征向量映射到32通道的特征映射空间不是1通道的草图。 因为草图只有一个通道，所以通过草图将internet连接到图像很难处理重叠区域中相邻组件的不兼容性问题。 fm模块中的映射方法改善了新闻流，提供了更高的灵活性来融合各个面部部位，得到了更好的合成结果。

制作了整体的框架后，为了训练良好的生成结果，当然需要大量的脸和素描图像的对。 为了能够用稀疏的线抽象地表现人脸，本论文基于celebamask-hq[6]的脸图像数据库，筛选出未隐藏的脸图像后，利用photoshop和草图的简化提取草图，提取17k对脸图像

数据集构建完成后，将开始互联网培训。 在这里，训练分为两个阶段，如图3所示，阶段1训练复制嵌入模块，将重构编码草图的mse loss作为损失函数进行训练。 阶段2是在固定拷贝嵌入模块的参数后，用端到端的方法训练特征映射模块和图像合成模块的互联网。

客户是如何画的

为了便于客户绘制，deepfacedrawing提供了以数据为主导的预测草图供客户参考。 如图5所示，每当客户绘制下一支笔时，系统都会根据更新的草图将最接近“实际脸”的草图作为背景阴影进行匹配，供客户参考。

为了帮助客户调整细节，deepfacedrawing也提供了细节调整。 如下图6所示，包含比较脸的5个部分的5个参数( eyel、eyer、nose、mouth、others )的控制滑块。 每个滑块的值表示原始草图特征和系统优化特征的混合权重，滑块的值越高表示混合特征越接近原始草图特征。

图6 :显示界面

除了画画，还使用了越来越多的应用程序。

deepfacedrawing将草图的各个部位编码为对应的特征空间中的特征向量，投影到流形空间，因此对对应分量的源特征向量和目标特征向量进行线性插值，将插值后的特征向量发送到互联网模块进行中间

同样，为了使用特征向量分析，将来自不同人不同部位的图像提取草图编码为特征向量，将其综合后视为一张脸发送到互联网，生成脸图像，实现脸的拼接( face copy-paste )

结语

deepfacedrawing使用从本地到全球的方法，将客户输入的草图块投影到特征空间上进行重建优化，可以在不产生不合理的草图影响的情况下生成完美美丽的脸部图像，行比较有效，

有关论文的详细信息，以及下载论文、视频和代码，请访问项目主页。

赶紧画你心中的他/她！

智能面部画板系统和论文在项目主页: geometry learning/deepfacedrawing /

jittor实现代码: github/igl ICT/deepfacedrawing-JIT tor

论文: deepfacedrawing:deepgenerationoffaceimagesfromsketches

现在智能脸画板的开源代码既提供pytorch版本也提供jittor版本。 设计图( jittor )是清华大学计算机系胡事民教授带领团队开发的新的国产深度学习框架。 相对于jittor版本和pytorch版本的执行时间，网络模型在模型训练中jittor相对于pytorch的平均加速比为168%，在图像生成中平均加速比为300%。

jittor网站: cg.cs.tsinghua.edu/jittor/

参考复印件:

[1] tao chen，ming-ming cheng，ping tan，ariel shamir

[2] shuyang gu，贱民Bao，Hao Yang Chen，fang wen，And Luyuan.Maskguidedportraiteditingwithcondition

[3] tiziano portenier，qiyang hu，attila szabo，siavash arjomand bigdeli，paolo favaro

[4] lin gao，jie yang，tong wu，YU-Jeyuan FU，yu-kun lai

ting-chun Wang，ming-yu liu，jun-yan zhu，andrew tao，jan kautz，andbryancatanzaro.high-。

[6] cheng-han lee，ziwei liu，lingyun wu，AndPingluo.Mask Gan:towardsperseandinteractiveFacialimagemanage

原标题:“从素描到人脸:这篇siggraph论文有助于简单地描绘心中的“林妹”、开源的“计划”实现代码”

阅读原文。