Part 3 效果展示

如图 5 所示，给定手绘线稿，基于该方法可以生成高质量的人脸神经辐射场。通过选择不同的外观参考图像，可以指定生成人脸的外观。用户可以自由变换视角，都能得到高质量的渲染结果。

图 5 基于线稿生成的三维人脸。

如图 6 所示，给定三维人脸，用户可以选择任意的视角，对渲染出的线稿进行修改，从而编辑人脸 NeRF。左侧展示了对随机生成的人脸进行编辑的效果。右侧则展示给定人脸图像后，使用人脸生成模型进行反投影，并进一步添加编辑的结果。

图 6 基于线稿的三维人脸编辑结果。

如图 7 所示，针对一个人脸 NeRF，用户可以在不同视角对人脸添加连续的编辑操作，使用该方法都能得到较好的编辑结果，同时，非编辑的立体区域的特征也被完美保持。

图 7 基于线稿对人脸进行连续的编辑操作。

如图 8 所示，得益于生成模型隐空间的良好性质，对特定人添加的编辑操作后，计算前后的隐码差异得到编辑向量，一些情况下可以直接作用于其他人，得到类似的编辑效果。

图 8 编辑传播结果，左侧的编辑操作的效果，可以传播至右侧人脸。

Part 4 结语

随着人工智能的迅速发展，AI 绘画也涌现出许多的新的方法。与生成二维图像不同，如何生成三维数字内容是更具挑战性的问题。SketchFaceNeRF 提供了一种可行的解决方案，基于手绘线稿，用户可以生成高质量的人脸模型，并支持任意视角的精细化的编辑。

基于该系统，我们无需安装繁杂的三维建模软件并学习复杂的技能，也不需要花费数个小时时间精力，仅仅通过勾勒简单的线条，普通用户也能轻松构建心中完美的人脸模型，并得到高质量的渲染结果。

SketchFaceNeRF 已经被 ACM SIGGRAPH 2023 接收，并将刊登在期刊 ACM Transactions on Graphics 上。

目前，SketchFaceNeRF 已经提供在线服务供大家使用。在线系统由中科院计算所信息高铁训练推理平台 MLOps 提供智算算力支持，由中科南京信息高铁研究院提供上线工程服务保障。

在线服务链接：http://geometrylearning.com/SketchFaceNeRF/interface

有关论文的更多细节，及论文、视频、代码的下载，请浏览项目主页：

http://www.geometrylearning.com/SketchFaceNeRF/

开源代码见：

https://github.com/IGLICT/SketchFaceNeRF

参考文献：

[1] Lin Gao, Feng-Lin Liu, Shu-Yu Chen, Kaiwen Jiang, Chunpeng Li, Yu-Kun Lai, Hongbo Fu. SketchFaceNeRF: Sketch-based Facial Generation and Editing in Neural Radiance Fields. ACM TOG. 2023

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, High-Resolution Image Synthesis with Latent Diffusion Models, CVPR, 2022

[3] Adding Conditional Control to Text-to-Image Diffusion Models, Lvmin Zhang and Maneesh Agrawala, ArXiv, 2023

[4] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. 2021. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Commun. ACM 65, 1 (dec 2021), 99–106.

[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative Adversarial Nets. In Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger (Eds.), Vol. 27. Curran Associates, Inc.

[6] Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini de Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein. 2022. Efficient Geometry-aware 3D Generative Adversarial Networks. CVPR, 2022

[7] Jingxiang Sun, Xuan Wang, Yichun Shi, Lizhen Wang, Jue Wang, and Yebin Liu. 2022. IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-Aware Portrait Synthesis. ACM TOG, 2022,

[8] Kaiwen Jiang, Shu-Yu Chen, Feng-Lin Liu, Hongbo Fu, and Lin Gao. 2022. NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields. In SIGGRAPH Asia 2022

[9] Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia, and Hongbo Fu. 2020. DeepFaceDrawing: Deep generation of face images from sketches. ACM TOG, 2020

[10] Shu-Yu Chen, Feng-Lin Liu, Yu-Kun Lai, Paul L. Rosin, Chunpeng Li, Hongbo Fu, and Lin Gao. 2021. DeepFaceEditing: deep face generation and editing with disentangled geometry and appearance control. ACM TOG, 2021

[11] Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In CVPR, 2017

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们