华体会新闻

　　LipDub研究团队由MARZ首席科学家、特拉维夫大学计算机科学系世界知名教授Danny Cohen-Or领导，他是ACM研究员和Isaias Nizri视觉计算主席。他与长期合作者、西蒙弗雷泽大学助理教授Ali Mahdavi-Amiri一起领导了MARZ的AI研究团队。他们共同成功开展了Vanity AI的研究，这是MARZ开发的第一个AI解决方案。比如，针对人物面部皱纹进行AI美妆，使其达到年轻效果。Vanity AI于2023年1月推出，已在45多个好莱坞作品中使用。

　　LipDub开发的口形同步技术（Lip Sync）实际上用到三种方案：一是直接对视频翻译，比如给出一段英文演讲视频，然后用中文演示，就好像演讲者在讲中文；二是通过定制虚拟形象进行对话调整，比如在广告场景，许多品牌在全球各地都有不同的产品名称表达，但希望使用同一支商业广告，就需要对广告中特定的产品名称进行更改；三是通过一段语料实现角色的量身定制，即针对同一件事物，针对不同的受众群体生成不同的个性化表达。

　　视频内容生成的挑战是什么？慢且贵。视频是娱乐、教育和打动观众的最佳途径。随着视频内容生成效率的提升，用户完全可以在几分钟内就生成一段视频，同时，同一段视频素材也可以反复使用。LipDub开发的口形同步技术（Lip Sync）实际上用到三种方案：一是直接对视频翻译，比如给出一段英文演讲视频，然后用中文演示，就好像演讲者在讲中文；二是通过定制虚拟形象进行对话调整，比如在广告场景，许多品牌在全球各地都有不同的产品名称表达，但希望使用同一支商业广告，就需要对广告中特定的产品名称进行更改；三是通过一段语料实现角色的量身定制，即针对同一件事物，针对不同的受众群体生成不同的个性化表达。