一个基于 ChatGPT 的视频神器,开源了!

这篇具有很好参考价值的文章主要介绍了一个基于 ChatGPT 的视频神器,开源了!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能

自今年开始,AIGC 行业爆火,直接带动了不少产业的发展,这其中自然也包括电商直播、新媒体营销等等。

虽说现在可以利用不少工具,快速基于文案生成视频。但是,目前大部分应用还都是闭源的,可扩展性差,产品技术封闭,不太适合技术生态的构建与发展。

有鉴于此,我们的星球嘉宾,重新打造了一套完整的视频自动生成与剪辑工具:Open Chat Video Editor

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能

该工具项目代码,目前已正式开源至 GitHub:

https://github.com/SCUTlihaoyu/open-chat-video-editor

作为一款新鲜出炉的短视频生成和编辑工具,它可以帮你完成以下工作:

  • 1)一键生成可用的短视频,包括:配音、背景音乐、字幕等。

  • 2)算法和数据均基于开源项目,方便技术交流和学习

  • 3)支持多种输入数据,方便对各种各样的数据,一键转短视频,目前支持:

    • 短句转短视频(Text2Video): 根据一句话介绍,生成文案和视频;

    • 网页链接转短视频(Url2Video): 自动提取网页内容,生成文案和视频;

    • 长视频转短视频(Long Video to Short Video): 对输入的长视频进行分析和摘要,并生成短视频。

  • 4)涵盖生成模型多模态检索模型等多种主流算法和模型,如: ChatGPT、Stable Diffusion、CLIP 等。

项目示例

下面给大家看下几个项目示例。

短句转短视频(Text2Video)

你只需输入一句话短文,该工具便能帮你自动补充文案,并生成短视频。

视频风格可根据你的个人喜好,选择现实风或卡通风。

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能

图片中生成的图像,可以让 Stable Diffusion 直接生成,非常方便。

2、网页转短视频(Url2Video)

你只需要提供一个网址,该工具便会自动抓取网站内容,然后基于网站上面的内容,批量生成字幕文案和视频。

你可以通过这个功能为网站提供更为丰富的产品交互,或为企业产品生成视频演示。

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能

对于像百科这种一些偏文档介绍和科普型产品,通过该工具生成的视频质量会非常高。

可作用网站文档速读、一分钟科普介绍等场景。

下面跟大家讲下怎么用。

安装 & 使用

项目是基于 Python 构建,整个安装过程也比较简单,直接使用 pip 即可在命令行中快速安装。

1)安装 Pytorch

该项目可以使用 GPU 或 CPU 来运行,为了更好的操作体验,这里我们直接采用 GPU 的安装方式。

 
 
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

2)安装其他依赖环境

 
 
pip install -r requirements.txt

3)安装 CLIP

CLIP 是 OpenAI 在 GitHub 开源的一个神经网络,可用于对比「语言-图像」预训练,预测给定图像最相关的文本片段。

你可以用自然语言让它根据图像,自动寻找文本片段,无需直接针对任务进行优化,类似于 GPT-2 和 3 的零样本功能。

在此项目中,我们可以通过 CLIP 来实现跨模态检索。

运行下面这条命令,即可快速安装。

 
 
pip install git+https://github.com/openai/CLIP.git

4)安装 FAISS

 
 
conda install -c pytorch faiss-cpu

代码执行

需要你需要使用 ChatGPT 来辅助生成文案,你需要在项目的 configs 文件夹中,提前配置好 OpenAI 的 API Key 和 organization ID。

比如,你想使用项目的文本生成视频(图像基于本地检索)功能,则可以进入项目的 configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml 路径,进行配置。

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能

2)下载数据索引和 meta 信息 data.tar,并解压到 data/index 目录下。

Meta 信息:https://pan.quark.cn/s/19fa46ceb2cb

3)执行脚本

 
 
# Text to video
python  app/app.py --func Text2VideoEditor  --cfg ${cfg_file}
# URL to video
python  app/app.py --func URL2VideoEditor  --cfg ${cfg_file}

自此,整个项目便能正常运行。

写在最后

常言道,一图胜千言,而一个视频,则可以按帧切分成数万张图片,其中所包含的信息量更为庞大。

自 4G 时代以来,短视频开始普及,进入千家万户,各类短视频平台如雨后春笋般层出不穷。

一个短短几分钟的视频,便能让人们感受世界各地不同地方的风俗人情,领略人间百态,拓展自己视野。

随着当下 AIGC 技术的飞速进步,各个行业的 AI 应用也将越来越多,凡是接触到互联网的行业,其传统方式都将被颠覆。基于不同场景所构建的 AI 应用,也将会面临新的技术挑战。

就视频剪辑而言,身边便有不少朋友,开始采用 AI 来逐步替代传统人工,这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域。

让 AI 实现复杂枯燥的剪辑流程,将一切自动化,给剪辑师腾出更多精力,用于挖掘更为丰富视频呈现场景,打造更好的内容,为用户提供绝佳的观看体验,这就是当下 AI 要做的事情。

我之前在星球也分享过,随着各类 AI 工具的成熟,一个人顶一整支团队,将成为现实。

善用工具的人,将在新时代的竞争中,将比普通人具有更大的优势。

如果你想了解更多实用的 AI 技术与应用,以及 ChatGPT 新进展,可以点击下方链接,加入我们社群进一步交流探讨。

👇 每个进群的人,都会收到我们赠送的一枚 ChatGPT 账号。

社群入口:ChatGPT 社群,正式上线!

不想错过文章推送?可以给 GitHubDaily 公众号加个星标。

一个基于 ChatGPT 的视频神器,开源了!,chatgpt,音视频,人工智能文章来源地址https://www.toymoban.com/news/detail-629809.html

到了这里,关于一个基于 ChatGPT 的视频神器,开源了!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于ChatGPT的新一代辅助编程神器——Cursor

    Cursor 编辑器 Cursor 这是一款与 OpenAI合作并且基于GPT3的新一代辅助编程神器 。它支持多种文件类型,支持格式化文本,支持多种主题,支持多语言语法高亮,支持快捷键设置,支持代码折叠、括号匹配、自动缩进等功能等功能。最关键的是, 不用科学上网,它能帮助我们生成

    2024年02月06日
    浏览(48)
  • 基于ChatGPT的代码解释神器:GPT Academic、GitHub Copilot

    (个人推荐使用第二个GitHub Copilot) GPT Academic是什么 为ChatGPT/GLM提供实用化交互界面 ,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮函数插件,支持Python和C++等项目剖析自译解功能,PDF/LaTex论文翻译总结功能,支持并行问询多种LLM模型,支持chatglm2等

    2024年01月17日
    浏览(41)
  • Vicuna- 一个类 ChatGPT开源 模型

    Meta 开源 LLaMA(大羊驼)系列模型为起点,研究人员逐渐研发出基于LLaMA的Alpaca(羊驼)、Alpaca-Lora、Luotuo(骆驼)等轻量级类 ChatGPT 模型并开源。 google提出了一个新的模型:Vicuna(小羊驼)。该模型基于LLaMA,参数量13B。Vicuna-13B 通过微调 LLaMA 实现了高性能的对话生成 Vicun

    2024年02月04日
    浏览(80)
  • 一个令人惊艳的ChatGPT项目,开源了!

    最近在GitHub上发现了一个爆火的开源项目。 好家伙,凑近一看,居然还是 由微软开源 ,并且和最近炙手可热的 ChatGPT息息相关 。 项目的名字叫做: Visual ChatGPT 。 https://github.com/microsoft/visual-chatgpt 这个项目最早是3月上旬微软开源的,项目宣布开源后仅用了短短一周,就斩获

    2023年04月08日
    浏览(27)
  • 通过 ChatGPT 制作一个短视频

    当通过 ChatGPT 生成连贯的 prompt 时,除了连环画,我们理所当然还可能畅想更激进的场景——生成动画视频。目前 AIGC 社区确实在生成视频方面有一定的尝试。比如 Deforum 可以通过多条 prompt,配合具体的切换时间点,镜头切换角度设置,生成一些简单的动画视频:https://repl

    2024年02月07日
    浏览(33)
  • 一个开源免费功能强大的Chatgpt Web程序 搭建自己的Chatgpt机器人

    ChatGPT Web Midjourney Proxy 是我用过的几款ChatGPT Web程序当中我觉得最好用的一款,还支持midjourney的图片生成 ai换脸和很多的ChatGPT store。 ✅ 原chatgpt web 所有功能 ✅ chatgpt web 支持自定义api key、base_url ✅ midjourney 文生图 ✅ midjourney 垫图+文生图 ✅ midjourney 图变 U1到U4 、 V1到V4、重绘

    2024年03月23日
    浏览(38)
  • GPT4All 一个开源 ChatGPT

    ChatGPT 正在迅速发展与传播,新的大型语言模型 (LLM) 正在以越来越快的速度开发。就在过去几个月,有了颠覆性的 ChatGPT 和现在的 GPT-4。明确定义,GPT 代表(Generative Pre-trained Transformer),是底层语言模型,而 ChatGPT是为会话设计的具体实现。比尔·盖茨 (Bill Gates) 回顾 OpenAI

    2023年04月17日
    浏览(34)
  • 本地部署 Chatbot UI,一个开源的 ChatGPT UI

    Chatbot UI 是一个用于 AI 模型的开源聊天 UI。适用于 OpenChat 模型。 画面效果展示如下, https://github.com/imoneoi/openchat-ui 安装 nvm, 激活 nvm, 安装 node, 克隆代码, 安装依赖项, 创建配置文件, 启动应用, 访问应用,使用浏览器打开 http://localhost:3000/, Environment Variable Default

    2024年02月16日
    浏览(41)
  • 微软重磅开源 Visual ChatGPT! 一个月内斩获30K star

    点击上方“Github中文社区”,关注 大家好,我是Huber。 今年由于大环境恶化,为了生活本人这一年在某外企从事某个秘密项目(正经的那种)的研发,所以没有时间(动力)和精力(钱)更新推文,最近项目已经交付完成,这里向大家说声对不起,很开心再一次和大家相见(

    2023年04月22日
    浏览(45)
  • 我发布了自己第一个由ChatGPT辅助开发的开源项目goattribute

    前两天在工作过程中又遇到了一直以来困惑我的一个问题,就是Go配置项的管理问题。 在开发一个新项目的时候,往往涉及到配置项的管理。个人小项目可能会通过配置文件来传入、环境变量来传入,也可能通过命令行参数来传入,公司级别的项目还可能用到各种各样的con

    2024年02月03日
    浏览(22)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包