本文運行環境為colab + stable-diffusion-webui
1.選擇一個ipynb文件去運行
我這里使用的是dreamshaper版本.
https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/stable/dreamshaper_3_32_webui_colab.ipynb#scrollTo=SaAJk33ppFw1
這個是自帶的ControlNet功能的.
如果沒有,可以通過在Extensions中,輸入github鏈接去下載擴展,然后再下載對應的模型.
URL:
https://github.com/Mikubill/sd-webui-controlnet
我使用的這個版本是自帶擴展和模型的.
2.簡單測試
可以隨便找個C站上的圖片來進行測試.
例如這張
進入txt2img,找到ControlNet所在位置,上傳圖.
然后勾選Enable,并選擇所需的Model和Preprocessor.
點擊Preview annotator result后,就會發現,剛剛上傳圖片的位置旁邊,生成了一張新的圖片.
然后在prompt中,隨便輸入 一些單詞,例如mountain,就可以生成這個輪廓的圖片了.
以上就是ControlNet簡單使用.
注意:這個很耗GPU,我跑一次就被google斷掉了,說我用盡了資源.
3.使用漫畫風lora + ControlNet + img2img,生成漫畫風圖片
3.1 下載并配置lora.
進入Civitai擴展,搜索Anime Lineart,下載這個:https://civitai.com/models/16014/anime-lineart-manga-like-style
會被下載到這個位置.
extensions/sd-webui-additional-networks/models/lora/Anime_Lineart_/_Manga-like_線稿/線畫/マンガ風/漫畫風_Style/animeLineartMangaLike_v30MangaLike.safetensors successfully downloaded.
進入Additional Networks,點擊Refresh models,然后就可以選擇對應的Lora模型了.
然后選擇并啟用lora.
Trigger Words可以加到prompt中,也可以不加.
3.2 準備底稿
使用畫圖工具,保存一張白色圖像,或在網上搜索,作為畫布.
進入 img2img,上傳白色底圖.
3.3 上傳需要使用的圖到ControlNet中,并配置ControlNet
3.4 輸入 prompt:girl,并生成.最后生成的結果如下所示.
這里插一句,生成的結果質量,很大程度取決于,你在ControlNet中使用的原圖質量.
參考鏈接:
ControlNet正在補完AIGC工業化的最后一塊拼圖
【B站首發】AI繪畫新插件效果逆天，見證第四次工業革命！
【AI繪畫】AI隨心畫的時代來了嗎？SD插件ControlNet使用教程
https://github.com/lllyasviel/ControlNet
https://github.com/Mikubill/sd-webui-controlnet
【AI繪畫】最火爆的美女AI制作圖模型！ 圖像轉換為描線圖，含提示詞，搭配Stable-diffusion技術Lora _ ControlNet Canny
