(CWW)2022年北京冬奥会期间,咪咕公司将中国移动5G冰雪推广大使谷爱凌的数智分身Meet Gu通过一系列的创新技术加持再次带到观众眼前,与广大冰雪爱好者实现了更加沉浸的虚实互动。
Meet Gu基于咪咕自研的表情迁移、人脸重建、语音合成、光照一致性虚实合成、数字分身人脸拟合以及云渲染等技术,不仅通过3D人脸关键点位置精确修正、眼眶眼球自动适配、任意姿态人脸配准等核心技术,让3D人脸拟合精度达亚毫米量级,从而完美复刻真人,更是实现了全自动化表情与动作的个性化迁移,做到与真人表情“神同步”。通过视频彩铃等应用,“数智达人”能实现与用户的隔空互动,带来沉浸式实时互动体验。
在虚拟人动作制作中,为了完美地呈现出运动员的挺拔气质,咪咕研发团队精益求精多次修改了骨骼控制点,仅一只手就复刻了近百个骨骼控制点,全身骨骼控制点多达近七百个,从而得到最佳效果。在表情上,研发团队参考了100多张不同时期不同角度的照片,画了20多稿贴图,渲染了10多遍效果图,制作出的真实又相似度超高的渲染图,为了追求真实复刻,头发的发丝数更是从5万根增加到10万根。同时,配合自研的虚拟灯光效果,从灯光方向、灯光亮度以及柔和度进行调节,达到MeetGu渲染的最佳视觉效果。为了能够更好地对谷爱凌的音色进行建模,咪咕研发团队通过语音信号增强技术、音色建模技术进行复刻及数字化,采用自研的语音声学模型及声码器合成语音,克服了可利用数据少、模型训练困难等问题,最终得到了具有真实感的谷爱凌音色模型,实现对谷爱凌原声的复刻。相关成果应用于咪咕冬奥赛事演播室、北京交通广播冬奥《荣耀时刻》节目等场景。
为实现Meet Gu在冬奥会期间与赞助商的互动。研发团队为Meet Gu制作了一套冬奥会全身颁奖服, 该形象目前已在冬奥演播室成功亮相。在制作超写实颁奖服资产上,咪咕研发团队根据赞助商提供的实拍图片,从整体视觉造型、人体贴合度、宽松率、视觉比例等方面1:1还原了冬奥会颁奖虚拟服装。
未来,中国移动咪咕公司将持续推进“数智达人计划”,这些体育数智达人将不断走进全球顶级赛事演播室,参与赛事解说、播报及电商场景虚实互动等,加速元宇宙与体育产业的融合,实现从前沿技术研究到应用示范的真正破圈。