[免扣·经验] 「VideoReTalking:基于音频的唇形同步数字人」项目/ 可以根据输入音频编辑现实世界中头部说话视频的面孔,即使具有不同的情绪,也能生成高质量且口型同步的输出视频

[复制链接]
查看256 | 回复14 | 2023-8-27 13:03:06 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x

「VideoReTalking:基于音频的唇形同步数字人」项目/


可以根据输入音频编辑现实世界中头部说话视频的面孔,即使具有不同的情绪,也能生成高质量且口型同步的输出视频。

系统将这一目标分解为三个连续的任务:

1)具有规范表达的人脸视频生成;

2)音频驱动的口型同步;

3)面部增强以提高照片真实感。

给定一个头部说话的视频,首先使用表情编辑网络根据相同的表情模板修改每一帧的表情,从而产生具有规范表情的视频。然后将该视频与给定的音频一起输入到口型同步网络以生成口型同步视频。

最后,通过身份感知面部增强网络和后处理来提高合成面部的照片真实感。

对所有三个步骤都使用基于学习的方法,并且我们的所有模块都可以在连续的管道中处理,而无需任何用户干预。

「VideoReTalking:基于音频的唇形同步数字人」项目/  可以根据输入音频编辑现实世界中头部说话视频的面孔,即使具有不同的情绪,也能生成高质量且口型同步的输出视频 【来源:赤道365论坛】 帖子ID:17887 可以根据,音频编辑,现实世界,不同的,数字人
「VideoReTalking:基于音频的唇形同步数字人」项目/  可以根据输入音频编辑现实世界中头部说话视频的面孔,即使具有不同的情绪,也能生成高质量且口型同步的输出视频 【来源:赤道365论坛】 帖子ID:17887 可以根据,音频编辑,现实世界,不同的,数字人

项目地址
游客,本帖【资源链接】或【提取码】在此,已被隐藏需回帖才能显示,请☞点此回复后,刷新页面再回此处查看即见

项目代码
游客,本帖【资源链接】或【提取码】在此,已被隐藏需回帖才能显示,请☞点此回复后,刷新页面再回此处查看即见

项目论文
游客,本帖【资源链接】或【提取码】在此,已被隐藏需回帖才能显示,请☞点此回复后,刷新页面再回此处查看即见


dtcloud | 2023-8-27 14:02:38 | 显示全部楼层
多谢分享
回复

使用道具 举报

ZHOUSTEVE | 2023-8-28 10:07:17 | 显示全部楼层
多谢分享多谢分享
天涯无声 | 2023-8-28 19:41:53 | 显示全部楼层
xxl







回复

使用道具 举报

Aime | 2023-8-28 21:42:31 | 显示全部楼层
不错,谢谢!
回复

使用道具 举报

viper666 | 2023-8-28 23:13:38 | 显示全部楼层
66666666666666666
saima | 2023-8-28 23:28:58 | 显示全部楼层
谢谢楼主!!!
回复

使用道具 举报

KuBaobaos | 2023-8-29 15:39:07 来自手机 | 显示全部楼层
谢谢分享谢谢分享
KuBaobaos | 2023-8-29 15:40:00 来自手机 | 显示全部楼层
谢谢分享谢谢分享
13504192666 | 2023-9-8 14:38:48 | 显示全部楼层
666666666666
yatoni | 2023-9-9 18:24:05 | 显示全部楼层

参与/回复主题
关闭
RE: 「VideoReTalking:基于音频的唇形同步数字人」项
Aime | 2023-9-9 23:44:42 | 显示全部楼层
不错,谢谢!
回复

使用道具 举报

mywangan | 2023-10-4 18:42:39 来自手机 | 显示全部楼层
谢谢分享
回复

使用道具 举报

fcmdssps | 2023-11-7 20:21:34 | 显示全部楼层
这个不错,看看
dawn430 | 2023-11-9 13:44:12 | 显示全部楼层
学习学习
回复

使用道具 举报

3

主题

0

回帖

1

积分

新手上路

Rank: 1

积分
1
全站新帖排行