最新超长AI视频模型!一句话即可生成120秒视频,免费开源!

图片[1]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

近日,由Picsart AI Research团队联合发布的StreamingT2V模型可生成长达2分钟(1200帧)的高质量视频,超越了之前的Sora模型。这一开源模型不仅可以生成更长时长的视频,还能与SVD、animatediff等其他模型无缝兼容,为开源视频生成领域带来新的突破。

亮点总结:

  1. 生成时长达2分钟(1200帧),超越以往模型
  2. 视频质量优秀
  3. 与业内其他主流模型实现无缝衔接
  4. 开源免费,便于开发者使用和二次开发

图片[2]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

 

免费在线试玩:【点击进入】 目测在线人太多需要排队

自己本地搭建教程:

1.安装并安装 Python 3.10 and CUDA >= 11.6 环境 【Python 3.10 】、【Cuda 下载

2.克隆开源项目至本地:

git clone https://github.com/Picsart-AI-Research/StreamingT2V.git
cd StreamingT2V/

StreamingT2V 最新版打包下载:网盘下载

3.安装必备的环境:

conda create -n st2v python=3.10
conda activate st2v
pip install -r requirements.txt

4.(可选)如果您的系统上缺少 FFmpeg,请安装 FFmpeg

 

conda install conda-forge::ffmpeg

5. 从HF 下载模型权重并将它放在 t2v_enhanced/checkpoints目录下

 

6.文本转视频

cd t2v_enhanced
python inference.py --prompt="A cat running on the street"

如要使用其他基本模型,请添加--base_model=AnimateDiff参数。用于python inference.py --help更多选项

7.图片转视频

cd t2v_enhanced
python inference.py --image=../__assets__/demo/fish.jpg --base_model=SVD

推理时间

 

ModelscopeT2V作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 40秒 165秒
56帧 75秒 360秒
80帧 110秒 525秒
240帧 340秒 1610 秒(约 27 分钟)
600帧 860秒 5128 秒(约 85 分钟)
1200帧 1710 秒(约 28 分钟) 10225 秒(约 170 分钟)
AnimateDiff作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 50秒 180秒
56帧 85秒 370秒
80帧 120秒 535秒
240帧 350秒 1620 秒(约 27 分钟)
600帧 870秒 5138 秒(~85 分钟)
1200帧 1720 秒(约 28 分钟) 10235 秒(约 170 分钟)
SVD作为基本模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 80秒 210秒
56帧 115秒 400秒
80帧 150秒 565秒
240帧 380秒 1650 秒(约 27 分钟)
600帧 900秒 5168 秒(~86 分钟)
1200帧 1750 秒(约 29 分钟) 10265 秒(~171 分钟)

所有测量均使用 NVIDIA A100 (80 GB) GPU 进行。当帧数超过 80 时,采用随机混合。对于随机混合,chunk_size和 的值overlap_size分别设置为 112 和 32。

更多的文生视频在线使用:【点击前往】 支持多模型自由切换!

THE END
喜欢就支持一下吧
点赞2177 分享
Canonical 宣布 Ubuntu 22.04 LTS 内核升级至 Linux 6.2,提供更强硬件支持-零度博客

Canonical 宣布 Ubuntu 22.04 LTS 内核升级至 Linux 6.2,提供更强硬件支持

  Canonical 今天发布了一项重要预告,宣布即将到来的 Ubuntu 22.04.3 LTS 维护版本更新将会升级 Linux Kernel 内核,从当前版本的 5.19 版本迎来全新的 6.2 版本。此举旨在为用户提供更流...
admin的头像-零度博客admin
1.7W+1682
10款超级好用的谷歌浏览器插件!-零度博客

10款超级好用的谷歌浏览器插件!

https://youtu.be/2sr8SkecQmY   IE Tab: https://chrome.google.com/webstore/detail/ie-tab/hehijbfgiekmjfkfjpbkbammjbdenadd?utm_source=chrome-ntp-icon The Great Suspender: https:...
Windows 11 是否真的值得升级? 这9个原因看完再做决定!| 零度解说-零度博客
Anvi Folder Locker 文件夹加密软件! 免费好用,值得推荐-零度博客

Anvi Folder Locker 文件夹加密软件! 免费好用,值得推荐

    1.Anvi Folder Locker:【点击下载】,【备用下载】 2.EFS 微软自带的文件夹加密 ⬇ 使用教程:https://www.lingdu80.com/2750.html  
Windows 11 的屏幕截图工具新增屏幕录像功能-零度博客

Windows 11 的屏幕截图工具新增屏幕录像功能

微软的截图工具现在可以做的不仅仅是截图。     微软正在美化其屏幕截图功能 Snipping Tool,其中包含一项允许用户录制屏幕会话的新功能。 新的屏幕录制功能正在 Dev Channel 中向一...
admin的头像-零度博客admin
1.7W+1091
永久免费使用正版Office!微软官方 LTSC 2024 长期服务版安装教程 ,简单易懂!| 零度解说-零度博客

永久免费使用正版Office!微软官方 LTSC 2024 长期服务版安装教程 ,简单易懂!| 零度解说

https://www.youtube.com/watch?v=vRCV38wrl9s Office 软件下载:https://www.lingdu80.com/16532.html
谁才是最强 AI !谷歌Bard、ChatGPT、Copilot 谁更胜一筹 ?PK下就知道答案.... | 零度解说-零度博客

谁才是最强 AI !谷歌Bard、ChatGPT、Copilot 谁更胜一筹 ?PK下就知道答案…. | 零度解说

https://youtu.be/OJFhu0_L6KA =============== 注册链接:https://www.lingdu80.com/11088.html
admin的头像-零度博客admin
1.7W+1682
Windows 11 新手?您需要尝试的 8 个惊人功能-零度博客

Windows 11 新手?您需要尝试的 8 个惊人功能

Windows 11 终于来了。如果您不熟悉最新的操作系统,这里有一些您需要尝试的最令人惊叹的功能。 经过漫长的开发和 beta 测试阶段,微软向公众发布了 Windows 11 的稳定版本。您可能已更新到 Win...
admin的头像-零度博客admin
1.5W+2251
Kreemo开发出全球首个显示屏内置型透明天线-零度博客

Kreemo开发出全球首个显示屏内置型透明天线

据韩媒报道,近日,韩国公司Kreemo开发出全球首个显示屏内置型透明天线。据悉,Kreemo正在与四大北美客户密切讨论以将该技术商业化。作为全球领先的5G毫米波天线解决方案提供商,Kreemo开发的透...
admin的头像-零度博客admin
1.5W+2251