LivePortrait

LivePortrait 由快手可靈大模型團(tuán)隊(duì)開(kāi)源，只需 1 張?jiān)瓐D就能生成動(dòng)態(tài)視頻。

LivePortrait 的核心優(yōu)勢(shì)在于其卓越的表情"遷移"技術(shù)，能夠令靜態(tài)圖像中的人物瞬間煥發(fā)活力，無(wú)論是眨眼、微笑還是轉(zhuǎn)頭，皆栩栩如生。

更令人驚嘆的是，它能精準(zhǔn)捕捉并復(fù)現(xiàn)一個(gè)人的表情動(dòng)態(tài)至另一人身上，跨越風(fēng)格界限，無(wú)論是追求寫(xiě)實(shí)的細(xì)膩、油畫(huà)的韻味、雕塑的立體感，還是 3D 渲染的逼真效果，均能實(shí)現(xiàn)無(wú)縫融合，展現(xiàn)無(wú)限創(chuàng)意與可能。

• LivePortrait體驗(yàn)地址：https://huggingface.co/spaces/KwaiVGI/LivePortrait

• 論文：https://arxiv.org/abs/2407.03168

• Github：https://github.com/KwaiVGI/LivePortrait

• 項(xiàng)目主頁(yè)：https://liveportrait.github.io/

LivePortrait 現(xiàn)已入駐趨動(dòng)云『社區(qū)項(xiàng)目』，歡迎前來(lái)體驗(yàn)。

• 項(xiàng)目入口：https://open.virtaicloud.com/web/project/detail/471225500640112640

一鍵激活，人臉靈動(dòng)魔法秀

進(jìn)入【LivePortrait】讓人臉動(dòng)起來(lái)的魔法秀項(xiàng)目主頁(yè)中，下滑可以瀏覽該項(xiàng)目的詳細(xì)介紹。

運(yùn)行一下，將項(xiàng)目一鍵克隆到工作空間，『社區(qū)項(xiàng)目』推薦適用的算力規(guī)格，可以直接立即運(yùn)行。省去個(gè)人下載數(shù)據(jù)、模型和計(jì)算算例的大量準(zhǔn)備時(shí)間。

配置完成，點(diǎn)擊進(jìn)入開(kāi)放環(huán)境，根據(jù)項(xiàng)目主頁(yè)介紹進(jìn)行部署?！荷鐓^(qū)項(xiàng)目』給出兩種方案，我們一一進(jìn)行實(shí)操。

使用命令行

演示一：原始輸入為圖片

運(yùn)行代碼：

!cd?LivePortrait?&&?\
python?inference.py?-s?assets/examples/source/7252.jpg?-d?assets/examples/driving/d18.mp4

你可以根據(jù)上圖標(biāo)注提示更換原始輸入圖片和所要使用的驅(qū)動(dòng)視頻，圖片和驅(qū)動(dòng)視頻在相應(yīng)的文件夾中都有提供案例，方便使用。

運(yùn)行結(jié)果，可以執(zhí)行以下代碼查看，也可以在文件夾中找到輸出視頻下載到本地查看。

import?base64
from?IPython.display?import?HTML,?display
video_path?=?'/gemini/code/LivePortrait/animations/7252--d18_concat.mp4'
with?open(video_path,?'rb')?as?f:video_data?=?f.read()
video_base64?=?base64.b64encode(video_data).decode('utf-8')
video_html?=?f"""
<video?width="640"?height="480"?controls><source?src="data:video/mp4;base64,{video_base64}"?type="video/mp4">Your?browser?does?not?support?the?video?tag.
</video>
"""
display(HTML(video_html))

演示二：原始輸入為視頻

操作和上面一致，只是比上一步要多花一些時(shí)間。需要將圖片更換成source文件夾有的視頻即可。

例如，這里演示原始輸入視頻用s18.mp4，驅(qū)動(dòng)視頻用d18.mp4。

演示三：使用個(gè)人的驅(qū)動(dòng)視頻

使用自己的驅(qū)動(dòng)視頻時(shí)，官方推薦：

1. 將視頻裁剪為1:1的長(zhǎng)寬比（例如，512x512或256x256像素），或通過(guò) --flag_crop_driving_video 參數(shù)啟用自動(dòng)裁剪功能

2. 專注于頭部區(qū)域，與示例視頻類似

3. 減少肩部的運(yùn)動(dòng)

4. 確保驅(qū)動(dòng)視頻的第一幀是面部正對(duì)鏡頭的且表情中立的

執(zhí)行代碼：

!cd?LivePortrait?&&?\
python?inference.py?-s?assets/examples/source/s725.jpg?-d?assets/myexamples/myvideo.mp4?--flag_crop_driving_video

使用WebUI

運(yùn)行代碼

#?如果出現(xiàn)public?URL無(wú)法生成的情況，可以運(yùn)行注釋掉的這兩條指令試試
#?!cp?./frpc_linux_amd64_v0.2?/root/miniconda3/lib/python3.11/site-packages/gradio?&&?\
#?chmod?+x?/root/miniconda3/lib/python3.11/site-packages/gradio/frpc_linux_amd64_v0.2!cd?LivePortrait?&&?\
python?app.py?--server_port?6006?--server_name?0.0.0.0?--share

根據(jù)下圖提示添加端口，獲取外部訪問(wèn)鏈接，可在瀏覽器中打開(kāi)。

添加端口

根據(jù)頁(yè)面提示，上傳原始圖片或視頻（也可以直接使用官方提供的案例圖像視頻）、驅(qū)動(dòng)視頻（也有官方提供的）。如圖所示：

第三步生成。

?溫馨提示：?完成項(xiàng)目后，記得及時(shí)關(guān)閉開(kāi)發(fā)環(huán)境，以免繼續(xù)產(chǎn)生費(fèi)用！

智匯全球，趨動(dòng)未來(lái)

『社區(qū)項(xiàng)目』匯聚全球智慧，促進(jìn)技術(shù)交流的寶貴平臺(tái)?，F(xiàn)已上線多款一鍵克隆、秒速部署的精品項(xiàng)目，誠(chéng)邀您來(lái)體驗(yàn)。

同時(shí)，我們熱切盼望每一位碼友加入，分享您的杰作，共筑這個(gè)充滿活力與創(chuàng)新的技術(shù)樂(lè)園。讓我們并肩同行，在技術(shù)的浩瀚宇宙中持續(xù)探索，共同成長(zhǎng)！

教程系列1 | 趨動(dòng)云『社區(qū)項(xiàng)目』極速部署 SD WebUI
教程系列2 | 趨動(dòng)云『社區(qū)項(xiàng)目』一步實(shí)現(xiàn)與 AI 對(duì)話
教程系列3 | 趨動(dòng)云『社區(qū)項(xiàng)目』一鍵極速部署 PhotoMaker，解鎖 AI 繪畫(huà)奇妙之旅

趨動(dòng)云