高科技!新模型赋能动画人物:说话时表情更加逼真

Sue Xiao

1

近年来,人们制作的动物和人物动画已经越来越逼真。尽管如此,由于需要将音频和视频相结合,角色说话时的动作仍然不够自然。

过去的研究发现,人们说话时的头部运动与其声音的音调和振幅之间有很强的关联性。这些发现启发了印度的一个计算机科学家团队。因此,他们基于一种机器学习算法——生成对抗网络(GAN)——的架构,创建了一个新模型,可以有效地为动画人物的脸部生成逼真的动画。

该模型可以识别说话者正在谈论的内容,以及他/她在特定时间的语音语调,随后使用这些信息来产生匹配的脸部运动。

研究人员补充说:“我们的工作离实现更逼真的动画迈进了一步。此外,该方法可以转化为多种现实应用,如数字助理、视频配音或远程呈现。”

该研究论文题为"Speech-driven facial animation using cascaded GANs for learning of motion and texture",已发表在European Conference on Computer Vision期刊上。

前瞻经济学人APP资讯组

论文原文:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123750409.pdf

从学术到产业,更多相关数据请参考前瞻产业研究院《2021-2026年中国动漫产业发展前景预测与投资战略规划分析报告》。同时前瞻产业研究院还提供产业大数据、产业研究、产业链咨询、产业图谱、产业规划、园区规划、产业招商引资、IPO募投可研、IPO业务与技术撰写、IPO工作底稿咨询等解决方案。

可行性研究报告

广告、内容合作请点这里:寻求合作

咨询·服务

相关阅读

精彩推荐