揭秘线稿自动上色，喵图科技突破GPU模型压缩技术

来自喵图科技的算法研发团队给出了深度学习在动漫领域的研究进展，开发了一套在压缩GPU显存的情况下，通过人工智能给漫画线稿优化线条、自动上色的技术。

训练机器自动上色，生成效果“以假乱真”!

研究团队使用生成对抗网络(GAN)完成上色任务，达到与人工作画相近的效果。GAN 使用了两个以博弈论的方式协同工作的网络，以相互竞赛的方式来训练彼此。构成 GAN 的两个网络分别是鉴别器和生成器，神经网络自行从输入图片中学习到上色的方法，由生成器创建伪造的样本，同时鉴别器接收[input, training data]和[input, fake output]对来鉴别哪些样本是真实的，哪些样本是伪造的。网络G的目标就是尽量生成真实的图片去欺骗判别网络D，随着其中一个网络变得更强大，另一个网络也必须适应和提升。最后博弈的结果是什么?在最理想的状态下，G可以生成足以“以假乱真”的图片。基于GAN 的生成器，研发团队还针对不同的业务场景设计了解耦模型，通过校正输出、输入图片之间的关系，减弱甚至消除这种相互关联，将不同场景区别开来。如此训练后得到的模型，能够找到最接近输入图片画面风格的参数，实现自动上色。

​喵图科技自动上色多种渲染，一键完成只需0.5秒

攻克技术难题，GPU模型压缩技术很优秀

传统的自动上色算法对GPU的资源消耗极大，很难做到大规模的对应上色处理请求。举个例子来讲，具有50个卷积层的ResNet-50需要超过95MB的存储器以及38亿次浮点运算。喵图科技研发团队基于通道减枝，试图去除冗余和不重要的项来降低存储和计算复杂度，训练一个更紧凑的神经网络来重现一个更大的网络的输出。此外，他们还将神经网络二值化，让计算主要在正1或负1间进行，几十倍地降低了网络大小和计算量，保证预测准确率。经过他们的努力，AI自动上色仍能照常工作，但GPU 显存占用降低至原模型的5%，速度提升为10倍。

此项研究的成功，代表着自动上色技术不仅可以用于娱乐面向用户，也可以形成低成本工业规模服务于整个动漫行业，可以为动漫行业提供“工业级”画面输出，大大压缩动漫制作的生产时间，节约生产成本。在未来，动漫制作组只需要几个人为作品制作剧情方向、绘制部分分镜，剩下的可以都交给AI自动上色来搞定。