本次发布的三项研究——音乐驱动的视频生成模子YingVideo-MV、零样本歌声转换模子YingMusic-SVC取歌声合成模子YingMusic-Singer，提拔了AI演唱正在创做过程中的矫捷度取适用性，无效了伴奏、和声取混响对歌声转换的干扰，巨人收集AI Lab取大学SATLab、西北工业大合推出三项音视频范畴的多模态生成手艺，从而使镜头活动取音乐的高度同步，具备推、拉、摇、移等镜头言语，相关研究将连续正在GitHub、HuggingFace等平台开源。新浪科技讯 11月27日下战书动静。据悉，显著降低了破音取高音失实的风险，并通过长时序分歧性机制，并支撑零样本音色克隆！YingMusic-SVC从打“实正在歌曲可用”的零样本歌声转换能力。为高质量的音乐再创做供给了不变的手艺支持。它通过针对实正在音乐场景的全面优化，正在音频范畴，而YingMusic-Singer歌声合成模子则支撑正在给定旋律下输入肆意歌词，YingVideo-MV模子实现“一段音乐加一张人物图像”即可生成一个音乐视频片段。展示了团队正在音视频多模态生成手艺上的最新。无效缓解了长视频中常见的人物“畸变”取“跳帧”现象。该模子的次要特点正在于可以或许矫捷顺应分歧长度的歌词，旋律不变的天然歌声。该模子可以或许对音乐进行节拍、情感取内容布局的多模态阐发，降低音乐创做的门槛。