AIで全身のアニメキャラを無限に作る技術を開発

新しいアニメキャラの生成

これまで、鮮明な画像生成が可能なのは顔等一部のパーツに限られていましたが、全身のアニメキャラを生成する技術開発をすることができた点が大きな進歩になります。

新しいアニメキャラでの動きの生成

動かしたい動作の姿勢パターンを指定して、動画を生成します。

深層学習を用いた画像生成は、近年急速に進展している技術領域であり、鮮明な画像生成においても、本物と見間違うほどの質での生成が可能となってきておりますが、現在は、顔の写真等に限られておりました。
(参考文献: [Karras+2018], [Zhang+2018], [Ma+2017a], [Ma+2017b], [Qiao+2018])

DeNAとしてその課題を解決することでゲーム領域・アニメ領域の制作業務に応用できると考え、深層学習を活用した全身のアニメーション生成にチャレンジし、今回、開発することができました。

今後、DeNA では、これらの技術をさらに発展させ、ゲームやアバター等のコンテンツ事業でのイラスト・アニメ制作に活用し、より楽しんで頂けるようなコンテンツを提供していきたいと思います。

より詳しい内容はこちら(英語)から

関連文献 :
[Karras+2018] Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive Growing of GANs for Improved Quality, Stability, and Variation. In ICLR, 2018.
[Zhang+2018] Zizhao Zhang, Yuanpu Xie, and Lin Yang. Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network. In CVPR, 2018.
[Zhang+2017] Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, and Dimitris Metaxas. StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks. CoRR, abs/1710.10916, 2017.
[Ma+2017a] Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, and Luc Van Gool. Pose Guided Person Image Generation. In NIPS, 2017.
[Ma+2017b] Liqian Ma, Qianru Sun, Stamatios Georgoulis, Luc Van Gool, Bernt Schiele, and Mario Fritz. Disentangled Person Image Generation. CoRR, abs/1712.02621, 2017.
[Qiao+2018] Fengchun Qiao, Naiming Yao, Zirui Jiao, Zhihao Li, Hui Chen, and Hongan Wang. Geometry-Contrastive Generative Adversarial Network for Facial Expression Synthesis. CoRR, abs/1802.01822, 2018.
[Goodfellow2017] Ian Goodfellow. NIPS 2016 Tutorial: Generative Adversarial Networks. CoRR, abs/1701.00160, 2017.