ControlNetの使い方生成の制御導入と構図指定

ControlNetの使い方

ContorolNetは、StableDiffusionでのAI生成イラストを、指示画像を与えることでポーズや輪郭、奥行き情報などを指定できるテクノロジーだ。

StableDiffusionのデフォルトで使える「Img2Img」とも違って、渡した画像をAIが参考にするのではなく、ポーズや奥行き情報、輪郭を「まんま使う」という技術である。

上の例では、ポーズが完全再現しているほか、指の曲げ方向もちゃんと合っている。（Img2Imgだと、指が反対側に曲がるホラー絵が生成されることがあるのだ）

ControlNetの種類

私はControlNet=openposeの棒人間での指定だと思っていたが、ControlNetには種類がある。

私個人としては、指定通りのポーズになるのはもちろん嬉しいけどもそれよりも「手がマトモに描画される」のが一番メリットだと思った。

ControlNetは、Automatic1111（ユーザインタフェース）のExtension（拡張機能）としてインストールする。Automatic1111の基本的なとこは以下の記事で。

Automatic1111の画面のtxt2imgの下の方に「ControlNet」っていうのが出てれば、ControlNetはすでにインストールされてる。

「ControlNet」が出てないぞ…というあなたは、Exteionsions→Available→Load fromをクリックして、一覧の中から「sd-webui-controlnet」を探し出し、右側のInstallボタンをクリックしよう。

さらに、各ControlNetのモデルをダウンロードする必要がある。

モデルっていうとピンとこないけど、モジュールとかパーツみたいなもんだと考えておくといいんじゃないだろうか。フツーに画像生成用のbasil mixモデルにcontrolnetのdepthモデルを組み合わせるみたいなことができる。

まあ全部入れてもいいんだけど、そこそこサイズが大きいので、まずは使いたいものを1つだけ入れるのがいいだろう。

＞webui/ControlNet-modules-safetensors at main （ControlNet用のモデルのダウンロードページ）

ファイルは、以下のフォルダにそのまま入れておけばOK。

Automatic1111のインストールフォルダの、sd.webui\webui\extensions\sd-webui-controlnet\models

controlnetをインストールしたら、Automatic1111を再起動しよう。（UIのリロードではなく、Automatic1111自体の再起動）

以下の画像をControlNetのdepthに渡してみよう。StableDiffusionが苦手な、手足が複雑に絡んだポーズだ。

結果はこちら。ところどころ変だけど、だいぶいいセン行っているんじゃないだろうか。

使い方は、こんな感じ。

上の画像では「Control model-0」と「Control model-1」というタブが出現しているが、設定によってControlnetを複数組み合わせることができるのだ。（ContronetのExtensionを最新版にする必要あり）

設定は、Settings→ControlNetをクリックして、「Multi ControlNet:Max models amount」を2以上にする。

「Apply settings」（設定を保存）をクリックして、Automatic1111を再起動する（Reload UIではダメ）

これで、ControlNetの「canny」と「depth」あたりを組み合わせると、輪郭と奥行き情報が正確に伝わるというわけだ。

何個も組み合わせるとその分メモリを食うので、せいぜい２つ程度にしておくのが無難かも。

scribbleは「落書き」の意味。フリーハンドで描いたテキトー画像が、AIの手によって超絶イラストや実写画像に転生してしまうという恐ろしい技術である。

これがこうなる。

モデルは、イラストに強いAbyss Orange Mix2を使用。

Automatic1111のControlnetの設定箇所で、以下のように設定する。落書き画像は、ウェブ上でも描けるけど、私はペイントソフトで描いたものをドラッグ＆ドロップでアップロードした。

手直しの試行錯誤が楽だから。

Weightは、落書き画像をどのくらい尊重するか…というパラメータ。デフォの1だと「落書きが落書きのまま清書されてしまう」感じ。0.5くらいにするといい具合に描きなおしてくれるのだ。

なお、絵が上手い人は、1のままにしておくと、「絵柄が残る」

別の例。

棒人間レベルだと、人物の位置関係くらいしか指定できないかも。

プロンプトは以下の通り。

2girls,manga,sketch drawing, view from side,black and white,fight,line art

なんか効いてないワードとか入ってるけど、「view from side」なんかは「横から見た構図」の指定ができてると思う。