PEFT documentation
LyCORIS
LyCORIS
LyCORIS(Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion)は、UNet の cross-attention 層を変更する LoRA 類似の行列分解アダプターです。LoHa と LoKr の手法は、ここでの Lycoris クラスを継承しています。
LycorisConfig
クラス peft.tuners.lycoris_utils.LycorisConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )
LyCORISのようなアダプター用のベース設定
LycorisLayer
LyCORISのようなアダプター用のベースレイヤー
merge
< source >( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
アクティブなアダプター重みをベース重みにマージします
このメソッドは、ベースの重みからマージされたすべてのアダプタ層をアンマージします。
LycorisTuner
クラス peft.tuners.lycoris_utils.LycorisTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
パラメータ
- model (
torch.nn.Module) — 適応させる対象のモデル。 - config (LoraConfig) — Loraモデルの設定です。
- adapter_name (
str) — アダプターの名前。デフォルトは"default"です。 - low_cpu_mem_usage (
bool、optional、デフォルトはFalse) — メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。
LyCORISのようなアダプター用のベースチューナー