淺談人工智能之基于容器云進行圖生視頻大模型搭建

根據(jù)之前我們所講過的內(nèi)容：
文生圖
文生視頻
我們繼續(xù)講解圖生視頻大模型搭建。

引言

隨著深度學習技術(shù)的不斷發(fā)展，圖生視頻（image-to-video）大模型成為了計算機視覺和自然語言處理領(lǐng)域的一個研究熱點。圖生視頻模型可以根據(jù)輸入的文本描述生成高質(zhì)量的視頻，廣泛應(yīng)用于藝術(shù)創(chuàng)作、廣告設(shè)計、虛擬現(xiàn)實等領(lǐng)域。本文將介紹如何搭建一個基于iic/Image-to-Video的文生視頻大模型。

模型效果展示

我們首先看一下我們對搭建好的模型的效果進行展示，我們輸入的圖片如下：
## 環(huán)境搭建
基于上一篇文生圖的模型搭建，我們進行文生視頻的搭建。
第一步：依賴安裝

pip install modelscope==1.8.4
pip install xformers==0.0.20
pip install torch==2.0.1
pip install open_clip_torch>=2.0.2
pip install opencv-python-headless
pip install opencv-python 
pip install einops>=0.4
pip install rotary-embedding-torch
pip install fairscale 
pip install scipy
pip install imageio
pip install pytorch-lightning
pip install torchsde

第二步：模型下載調(diào)用

from modelscope.pipelines import pipeline
from modelscope.outputs import OutputKeyspipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0', device='cuda:0')# IMG_PATH: your image path (url or local file)
output_video_path = pipe("/root/image.jpg", output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)

第三步：大概率情況下會提示沒有安裝ffmpeg提示

2024-11-26 17:10:12,990 - modelscope - ERROR - Save Video Error with /bin/sh: 1: ffmpeg: not found
2024-11-26 17:10:12,996 - modelscope - WARNING - task image-to-video output keys are missing

第四步：安裝ffmpeg

sudo apt update
sudo apt install ffmpeg

第五步：再次跑py腳本，我就可以獲得對應(yīng)的輸出視頻了，如果上述跑腳本的時候提示缺少對應(yīng)依賴，根據(jù)提示信息再對對應(yīng)依賴進行安裝部署。