概要
「LoRA」 (Low-Rank Adaptation) は、事前学習済みモデルを特定の用途に合わせてファインチューニングした際に、重み行列の変化をランクを制限した行列積によって表す手法である。ファインチューニングの用途 (タスク) に応じて適切なランク数を選択する必要がある。LoRA を使用することで、大規模な事前学習済みモデルのファインチューニングを小さなデータで表現することができる。
ある一定の描画スタイルやキャラクターを多数出力したい場合、LoRA を用いると容易に行える。オープンソースのモデルや生成システムは LoRA を作成する機能が整っている場合が多い。プロンプトや参照画像のみで描画スタイルやキャラクターを固定することは現状困難であり、同じスタイルを多用する場合、オープンソースのモデルや生成システムをワークフローに取り入れることは必然的に検討される。
動画:
Explaining the Key Concepts Behind LoRA (Chris Alexiuk)
参考:
LoRA の使い方!おすすめもご紹介します | EdgeHUB
LoRA とは?チェックポイントとの違いは?概要/使い方/作成方法を徹底解説! | AI Market
導入
参考:
使い方
参考:
LoRA – 表現をもっと自由に!スタイルを使いこなそう | AICU Japan
LoRA – 使い方/おすすめ LoRA 紹介 | 画像生成ドットコム
作り方
動画:
LoRA を一緒に作ろう!効率的な LoRA 学習や、学習の設定を見ていこう (Ai is in wonderland)
参考:
LoRA の作成 (PixAI / Tensor.Art / Civitai) | cocoat
LoRA – 作り方完全解説/データセットの作成と LoRA 学習 | 画像生成ドットコム
高速化
- DMD2
- LCM
- Turbo
- Lightning
- Hyper
動画:
LCM LoRA – 1000% Faster in One Step! (Sebastian Kamph)
参考:
LCM / Lightning / Turbo – 高速化 LoRA を比較してみた | アイドリ
Turbo / Lightning / LCM / Hyper – 高速化 LoRA 使用ガイド | Otama’s Playground
LCM / Turbo / Lightning / Hyper – 画像生成高速化技術まとめ | AI 愛 create
DMD2 – 最近出た高速化技術/ComfyUI で試してみた | shiba2
DMD2 4step LoRA で好きなモデルを高速化する | shiba2
I work a lot with FLUX, but DMD2 keeps amazing me – reddit
変換
入手:
Use SD LoRA’s with SDXL Models (Snoodler) | Civitai
参考:
Is it currently possible to convert a SD1.5 LoRA model to a SDXL LoRA model? – reddit
Block Weight
動画:
Lora Block Weight – Inspire Pack / ComfyUI (Dr.Lt.Data)
参考:
Face Layer / LoRA Block Weight for FLUX – reddit
Tips
FLUX.1 時代のローカル AI 画像生成/SD1.5 LoRA | Catapp-Art3D
チュートリアル
LoRA 徹底検証!ステップ数や画像枚数/Dim、Alpha による学習の違い (AI is in wonderland)