Skip to content

JiehangXie/PaddleBoBo

Repository files navigation

PaddleBoBo - 元宇宙时代,你也可以动手做一个虚拟主播。

python version GitHub Repo stars 支持系统

PaddleBoBo是基于飞桨PaddlePaddle深度学习框架和PaddleSpeech、PaddleGAN等开发套件的虚拟主播快速生成项目。PaddleBoBo致力于简单高效、可复用性强,只需要一张带人像的图片和一段文字,就能快速生成一个虚拟主播的视频;并能通过简单的二次开发更改文字输入,实现视频实时生成和实时直播功能。

应用案例

运行环境

  • 飞桨AIStudio在线运行 (强烈推荐,Tesla V100冲!!!)
  • 自建本地环境
    • Windows 10
    • Python 3.7+
    • PaddlePaddle >= 2.2.1
    • Nvidia显卡 显存16G+(没测试过,希望有显卡的土豪大佬们反馈下)

更新日志

  • 2021.12.29 加入PaddleSpeech TTS的特性,支持修改语速、音高和发音能级。

快速开始

1.安装依赖包

pip install ppgan paddlespeech

2.配置文件(default.yaml)

GANDRIVING:
  FOM_INPUT_IMAGE: './file/input/test.png' #带人脸的静态图
  FOM_DRIVING_VIDEO: './file/input/zimeng.mp4' #用作表情迁移的参考视频
  FOM_OUTPUT_VIDEO: './file/input/test.mp4' #表情迁移后的视频输出路径

TTS:
  SPEED: 1.0 #语速
  PITCH: 1.0 #音高
  ENERGY: 1.0 #发音能级

SAVEPATH:
  VIDEO_SAVE_PATH: './file/output/video/' #保存音频的路径
  AUDIO_SAVE_PATH: './file/output/audio/' #保存生成虚拟主播视频的路径

3.让静态人脸动起来

python create_virtual_human.py --config default.yaml

4.通用版本生成

python general_demo.py \
    --human ./file/input/test.mp4 \
    --output output.mp4 \
    --text 各位开发者大家好,欢迎使用飞桨。
参数 参数说明
human 第3步生成的人脸视频路径
output 生成虚拟主播视频的输出路径
text 虚拟主播语音文本

案例库

AI财经新闻主播

* 运行news_app.py 持续采集同花顺新闻数据并生成视频
* 运行play.py 实时和循环播放生成的视频

更多应用案例正在开发中,欢迎开发者投稿

TODO LIST

参考资料

About

基于飞桨开发的虚拟主播

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages