一个以ChatGPT为基础开发的视频工具现在已经开源!

时间:1年前   阅读:3881

自今年开始,AIGC 行业爆火,直接带动了不少产业的发展,这其中自然也包括电商直播、新媒体营销等等。

虽说现在可以利用不少工具,快速基于文案生成视频。但是,目前大部分应用还都是闭源的,可扩展性差,产品技术封闭,不太适合技术生态的构建与发展。

有鉴于此,我们的星球嘉宾,重新打造了一套完整的视频自动生成与剪辑工具:Open Chat Video Editor

图片

该工具项目代码,目前已正式开源至 GitHub

https://github.com/SCUTlihaoyu/open-chat-video-editor

作为一款新鲜出炉的短视频生成和编辑工具,它可以帮你完成以下工作:

  • 1)一键生成可用的短视频,包括:配音、背景音乐、字幕等。

  • 2)算法和数据均基于开源项目,方便技术交流和学习

  • 3)支持多种输入数据,方便对各种各样的数据,一键转短视频,目前支持:

    • 短句转短视频(Text2Video): 根据一句话介绍,生成文案和视频;

    • 网页链接转短视频(Url2Video): 自动提取网页内容,生成文案和视频;

    • 长视频转短视频(Long Video to Short Video): 对输入的长视频进行分析和摘要,并生成短视频。

  • 4)涵盖生成模型多模态检索模型等多种主流算法和模型,如: ChatGPTstable diffusion、CLIP 等。

项目示例

下面给大家看下几个项目示例。

短句转短视频(Text2Video)

你只需输入一句话短文,该工具便能帮你自动补充文案,并生成短视频。

视频风格可根据你的个人喜好,选择现实风或卡通风。

图片

图片中生成的图像,可以让 Stable Diffusion 直接生成,非常方便。

2、网页转短视频(Url2Video)

你只需要提供一个网址,该工具便会自动抓取网站内容,然后基于网站上面的内容,批量生成字幕文案和视频。

你可以通过这个功能为网站提供更为丰富的产品交互,或为企业产品生成视频演示。

图片

对于像百科这种一些偏文档介绍和科普型产品,通过该工具生成的视频质量会非常高。

可作用网站文档速读、一分钟科普介绍等场景。

下面跟大家讲下怎么用。

安装 & 使用

项目是基于 Python 构建,整个安装过程也比较简单,直接使用 pip 即可在命令行中快速安装。

1)安装 Pytorch

该项目可以使用 GPU 或 CPU 来运行,为了更好的操作体验,这里我们直接采用 GPU 的安装方式。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

2)安装其他依赖环境

pip install -r requirements.txt

3)安装 CLIP

CLIP 是 OpenAI 在 GitHub 开源的一个神经网络,可用于对比「语言-图像」预训练,预测给定图像最相关的文本片段。

你可以用自然语言让它根据图像,自动寻找文本片段,无需直接针对任务进行优化,类似于 GPT-2 和 3 的零样本功能。

在此项目中,我们可以通过 CLIP 来实现跨模态检索。

运行下面这条命令,即可快速安装。

pip install git+https://github.com/openai/CLIP.git

4)安装 FAISS

conda install -c pytorch faiss-cpu

代码执行

需要你需要使用 chatgpt 来辅助生成文案,你需要在项目的 configs 文件夹中,提前配置好 OpenAI 的 API Key 和 organization ID。

比如,你想使用项目的文本生成视频(图像基于本地检索)功能,则可以进入项目的 configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml 路径,进行配置。

图片

2)下载数据索引和 meta 信息 data.tar,并解压到 data/index 目录下。

Meta 信息:https://pan.quark.cn/s/19fa46ceb2cb

3)执行脚本

# Text to videopython  app/app.py --func Text2VideoEditor  --cfg ${cfg_file}# URL to videopython  app/app.py --func URL2VideoEditor  --cfg ${cfg_file}

自此,整个项目便能正常运行。

写在最后

常言道,一图胜千言,而一个视频,则可以按帧切分成数万张图片,其中所包含的信息量更为庞大。

自 4G 时代以来,短视频开始普及,进入千家万户,各类短视频平台如雨后春笋般层出不穷。

一个短短几分钟的视频,便能让人们感受世界各地不同地方的风俗人情,领略人间百态,拓展自己视野。

随着当下 AIGC 技术的飞速进步,各个行业的 AI 应用也将越来越多,凡是接触到互联网的行业,其传统方式都将被颠覆。基于不同场景所构建的 AI 应用,也将会面临新的技术挑战。

就视频剪辑而言,身边便有不少朋友,开始采用 AI 来逐步替代传统人工,这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域

AI 实现复杂枯燥的剪辑流程,将一切自动化,给剪辑师腾出更多精力,用于挖掘更为丰富视频呈现场景,打造更好的内容,为用户提供绝佳的观看体验,这就是当下 AI 要做的事情。


善用工具的人,将在新时代的竞争中,将比普通人具有更大的优势。

如果你想了解更多实用的 AI 技术与应用,以及 ChatGPT 新进展,可以扫下方,加入我们社群进一步交流探讨。

mmexport1683617298444.jpg

当前关注AI提升生产力。回复【国内版】每天可以免费领取兑换卡密先到先得。


qrcode_for_gh_a14440132891_258.jpg



上一篇:ChatGPT等生成式AI兴起 扎克伯格曾痴迷的元宇宙走向灭亡

下一篇:ChatGPT 的API有哪些?怎么收费?如何购买GPT3.5和GPT4的API