国庆假期除了加班以外,总归是要找点有意思的事来给自己做一做的,碰巧4号看到了一个比较有意思的视频号,有一个元宇宙虚拟人的短视频,秉着一切技术一定有人分享,所有代码必然开源的想法,我果然找到了网上开源的资料和代码,还是MIT实验室开源的。
麻省理工学院媒体实验室(MIT Media Lab)的研究人员开源了一个虚拟角色生成工具。该工具结合了面部、手势、语音和动作领域的人工智能模型,可用于创建各种音频和视频输出,一举登上《Nature Machine Intelligence》。
该项目主要用于音频或视频驱动视频,暂不支持文本驱动视频。主要用于医疗视频或其他视频通话时保护个人隐私视频驱动视频,使著名的历史或现代人栩栩如生。
项目地址:https://github.com/mitmedialab/AI-generated-characters
大概分为如下的几个环节:
数据准备
函数定义,
人物选择,
驱动上传:支持的方式有,录音,音频,视频
数据准备:
https://github.com/AliaksandrSiarohin/first-order-model
https://github.com/Rudrabha/Wav2Lip
这里有一个实现,请大家玩:
https://colab.research.google.com/drive/1y0YigI1RiTVd2Qr6HHpesAwYoovcvZaE?usp=sharing#scrollTo=9M320pz78nl7文章来源:https://www.toymoban.com/news/detail-440813.html
参考资料:
https://www.johngo689.com/75188/
ttps://news.mit.edu/2021/ai-generated-characters-for-good-1216
https://www.nature.com/articles/s42256-021-00417-9
https://www.media.mit.edu/articles/characters-for-good-created-by-artificial-intelligence/文章来源地址https://www.toymoban.com/news/detail-440813.html
到了这里,关于人工智能学习——一起来做一个虚拟数字人吧的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!