PEFT documentation

LyCORIS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS(Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion)は、UNet の cross-attention 層を変更する LoRA 類似の行列分解アダプターです。LoHa と LoKr の手法は、ここでの Lycoris クラスを継承しています。

LycorisConfig

クラス peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

LyCORISのようなアダプター用のベース設定

LycorisLayer

クラス peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

LyCORISのようなアダプター用のベースレイヤー

merge

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

パラメータ

  • safe_merge (bool, 省略可) — True の場合、元の重みのコピー上でマージ操作を実行し、重みをマージする前に NaN のチェックを行います。マージ操作が NaN を生成するかどうかを確認したい場合に便利です。デフォルトは False です。
  • adapter_names (List[str], 省略可) — マージするアダプター名のリストです。None の場合、すべてのアクティブなアダプターがマージされます。 デフォルトは None です。

アクティブなアダプター重みをベース重みにマージします

unmerge

< >

( )

このメソッドは、ベースの重みからマージされたすべてのアダプタ層をアンマージします。

LycorisTuner

クラス peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

パラメータ

  • model (torch.nn.Module) — 適応させる対象のモデル。
  • config (LoraConfig) — Loraモデルの設定です。
  • adapter_name (str) — アダプターの名前。デフォルトは"default"です。
  • low_cpu_mem_usage (bool、optional、デフォルトはFalse) — メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。

LyCORISのようなアダプター用のベースチューナー

Update on GitHub