aspnet動(dòng)態(tài)網(wǎng)站開發(fā)題目建網(wǎng)站有哪些步驟
ControlNet和LORA的定位都是對大模型做微調(diào)的額外網(wǎng)絡(luò)。作為入門SD的最后一塊拼圖是必須要去了解和開發(fā)的。為什么ControlNet的影響力如此的大？在它之前，基于擴(kuò)散模型的AIGC是非常難以控制的，擴(kuò)散整張圖像的過程充滿了隨機(jī)性。這種隨機(jī)性并不會(huì)影響到日常的自娛自樂，但一些真正面對具體需求的崗位則無法忍受這種抽卡式的嘗試。ControlNet的核心是基于一些額外輸入的信息來給擴(kuò)散模型的生成提供明確的指引，整個(gè)過程分為Annotator和Diffusion。Annotator（預(yù)處理器/注釋器）：從圖片中提取對ControlNet有用的額外信息。Diffusion：根據(jù)這些額外信息控制擴(kuò)散生成的走向，在ControlNet的指導(dǎo)下生成圖像作品。
單個(gè)ControlNet的大小在1.4G左右，上面為五個(gè)應(yīng)用最為廣泛的控制模型。模型的名命規(guī)則：v11代表版本為1.1?，p代表在生產(chǎn)環(huán)境下可以直接使用，sd15代表底模Stable Diffusion的版本：
模型的下載路徑為：lllyasviel/ControlNet-v1-1 at main (huggingface.co)?。這里可以下載我們想用的所有模型，但是切記要把yaml文件也下載下來，其用來定義模型的配置。將成對的模型文件放在目錄stable_diffusion\sd-webui-aki-v4.2-XXEY\extensions\sd-webui-controlnet\models下。注意：老版本沒有yaml文件，新版本的模型有yaml文件，如果不下載就用不了這個(gè)模型。
需要注意的是：?ControINet之于整個(gè)AI繪畫過程，其實(shí)也就是諸多環(huán)節(jié)里面的“一環(huán)"而已。AI還是會(huì)綜合參考提示詞、圖生圖、Embeddings、LoRA等各個(gè)方面的東西來綜合的實(shí)現(xiàn)AIGC。