最新超长AI视频模型!一句话即可生成120秒视频,免费开源!
- 2024-05-07 10:10:00
- admin 原创
- 91
近日,由Picsart AI Research团队联合发布的StreamingT2V模型可生成长达2分钟(1200帧)的高质量视频,超越了之前的Sora模型。这一开源模型不仅可以生成更长时长的视频,还能与SVD、animatediff等其他模型无缝兼容,为开源视频生成领域带来新的突破。
亮点总结:
- 生成时长达2分钟(1200帧),超越以往模型
- 视频质量优秀
- 与业内其他主流模型实现无缝衔接
- 开源免费,便于开发者使用和二次开发
免费在线试玩:【 点击进入】 目测在线人太多需要排队
自己本地搭建教程:
1.安装并安装 Python 3.10 and CUDA >= 11.6 环境 【 Python 3.10 】、【 Cuda 下载】
2.克隆开源项目至本地:
StreamingT2V 压缩包:【 网盘下载】
3.安装必备的环境:
4.(可选)如果您的系统上缺少 FFmpeg,请安装 FFmpeg
5. 从HF 下载模型权重并将它放在 t2v_enhanced/checkpoints目录下
6.文本转视频
如要使用其他基本模型,请添加--base_model=AnimateDiff参数。用于python inference.py --help更多选项
7.图片转视频
推理时间
ModelscopeT2V作为基础模型
帧数 | 更快预览的推理时间 (256×256) | 最终结果的推理时间 (720×720) |
---|---|---|
24帧 | 40秒 | 165秒 |
56帧 | 75秒 | 360秒 |
80帧 | 110秒 | 525秒 |
240帧 | 340秒 | 1610 秒(约 27 分钟) |
600帧 | 860秒 | 5128 秒(约 85 分钟) |
1200帧 | 1710 秒(约 28 分钟) | 10225 秒(约 170 分钟) |
AnimateDiff作为基础模型
帧数 | 更快预览的推理时间 (256×256) | 最终结果的推理时间 (720×720) |
---|---|---|
24帧 | 50秒 | 180秒 |
56帧 | 85秒 | 370秒 |
80帧 | 120秒 | 535秒 |
240帧 | 350秒 | 1620 秒(约 27 分钟) |
600帧 | 870秒 | 5138 秒(~85 分钟) |
1200帧 | 1720 秒(约 28 分钟) | 10235 秒(约 170 分钟) |
SVD作为基本模型
帧数 | 更快预览的推理时间 (256×256) | 最终结果的推理时间 (720×720) |
---|---|---|
24帧 | 80秒 | 210秒 |
56帧 | 115秒 | 400秒 |
80帧 | 150秒 | 565秒 |
240帧 | 380秒 | 1650 秒(约 27 分钟) |
600帧 | 900秒 | 5168 秒(~86 分钟) |
1200帧 | 1750 秒(约 29 分钟) | 10265 秒(~171 分钟) |
所有测量均使用 NVIDIA A100 (80 GB) GPU 进行。当帧数超过 80 时,采用随机混合。对于随机混合,chunk_size和 的值overlap_size分别设置为 112 和 32。
更多的文生视频在线使用:【 点击前往】 支持多模型自由切换!
联系人: | 羊毛君 |
---|---|
Email: | soft850207@gmail.com |
网址: | ai.weoknow.com |