SDXL用のwebuiの使い方
StableDiffusionの新モデルSDXL用のwebuiについて覚書してみたい。
StableDiffusionに新モデルSDXLが登場。こいつは、従来のStableDiffusion2.0までが512×512画像を学習していたのに対し、倍の1024×1024画像を対象に学習したというもの。
その結果、よりクォリティの高い画像が生成できるようになったのだ。これが、SDXLで出力した画像。
ああ、きれい。でも1.5系と比べて全然違うかというと、どうかな。そこは使いながらおいおい見ていくとしよう。
きれいな反面、メモリをめっちゃ食い、私が愛用するAutomatic1111では、メモリ16G、グラボのメモリ8Gの環境では動かなかった。
「SDXL専用のwebui、foocus使えばメモリ少なくても動くっぽいぞ！」という情報を得た私は、早速試してみたのだった。
SDXL専用webui、fooocusをインストール
まず、githubのfooocusのページを開く。
＞GitHub – lllyasviel/Fooocus: Focus on prompting and generating
で、DownloadのとこにあるWindows→Click here to downloadのリンクをクリック
※Mac版はないみたい。
インストールしたい場所に、ファイルを保存する。（適当なフォルダを作って入れたほうがいいかも）
私は、d:\stablediffusion\fooocusというフォルダを作って、その下に解凍した。
7-zipという形式で圧縮されているので、解凍。デフォだと、ファイルのある場所にそのまま解凍になる。
7-zipがパソコンに入ってないという人は、こちらから。
解凍したら、run.batというファイルがあるのでダブクリで実行。
モデルのダウンロードも自動的におこなう。6G超のファイルを2つダウンロードするので、ハードディスクにそれなりの空き容量は必要。（30Gくらいは必要っぽい）
あとは待っていれば、勝手にブラウザが立ち上がって使えるようになる。
具体的に言うと、
とかで立ち上がる。パソコンのバックグラウンドでウェブサービスが起動する感じだ。
fooocusの使い方
fooocusのコンセプトは、「プロンプト以外は全部やっときます」というもので、デフォだとプロンプト欄と生成ボタンしかない。
Advancedにチェック入れると、右側にオプションが表示される。
input imageにチェック入れるとimg2imgが使えるっぽいけど、まだ試してない。
で、japanese girlとか入れて生成ボタンをクリックするとメッチャ時間かかるけど画像が生成される。デフォで2画像生成されるようになってて、5分とかかかる。
あと、japanese girlだとほぼ着物姿になるので、「girl,tokyo」とかの指定がよさそう。
実は、SDXL画像生成が2段階になってて、まず画像を作るプロセスがあり、その後Refinerという仕上げプロセスが起動する。このRefinerをナシにするとまあ1枚20秒くらいで出るようになった。
感覚的には、Refiner使わなくても十分キレイじゃね？と思ったので、Refinerをオフにした。
Advancedにチェックをいれたあと、画面右に出現するAdvancedタブをクリックして、SDXL RefinerをNoneにすればOKだ。
※LoRAｓのとこにあるモデルもNoneしたけど、ここはデフォルトのままのほうが生成画像の出力品質があがるっぽい。
右のStyleにチェックを入れると、内部的にプロンプトが追加されて、作風が変わる。ブラウザ上で右クリック→日本語に翻訳しても動いたので、そのほうがいいかも。
ただ、モデル指定（とかRefiner指定）のときは、「日本語に翻訳」を解除しないと動かなかった。
↓キュビズム
↓ポップアート
↓色鉛筆アート
↓アナログ写真
ためしてわかったのは、実写系以外はいまいちかも…という点。厳密に実写系じゃなくても、色鉛筆アートなどはきれいに出てた。SDXLの学習対象として実写系が圧倒的に多いか、もしくはアニメ・イラスト系の学習は難しいか…どちらにして、イラスト系は苦手っぽい。そのうち、アニメ系特化のモデルが出てくるのかな。
複数のStyleにチェック入れるときは「Fooocus V2」にもチェック入れておくと、「スタイルをいい感じにブレンド」してくれるらしい。
逆にチェック入れないと、意図しない出力結果になるみたいだけど、正直効いてるのか効いてないんだかわからなかったな…。
シード固定して比較した例。Styleの組み合わせによっては、もっと劇的に効果でるのかも。
※シード固定は、Advanced→SettingでRandomのチェック外す
まあ、そんな感じ。作者によると、Automatic1111はモデルの読み込みの効率？が悪いせいでSDXLが動かないらしく、fooocusの仕組みの一部をAutomatic1111側で取り込む予定らしい。
関連）Stable DiffusionのWEBUI Automatic1111の使い方
なので、あせってfooocusをインストールしなくても、近いうちにAutomatic1111でフツーにSDXLが動くようになるかも。
そんな感じ。あとでおいおい追記していこうと思う。