PEFT documentation
LyCORIS
LyCORIS
LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) son adaptadores de descomposición de matrices similares a LoRA que modifican la capa de atención cruzada del UNet. Los métodos LoHa y LoKr heredan de las clases Lycoris aquí.
LycorisConfig
clase peft.tuners.lycoris_utils.LycorisConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )
Una configuración base para adaptadores tipo LyCORIS
LycorisLayer
Una capa base para adaptadores como LyCORIS
merge
< source >( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
Parámetros
- safe_merge (
bool, opcional) — Si esTrue, la operación de fusión se realizará en una copia de los pesos originales y se comprobarán los NaN antes de fusionar los pesos. Esto es útil si deseas comprobar si la operación de fusión producirá NaN. El valor predeterminado esFalse. - adapter_names (
List[str], opcional) — La lista de nombres de adaptadores que deben fusionarse. Si esNone, se fusionarán todos los adaptadores activos. El valor predeterminado esNone.
Fusiona los pesos del adaptador activo en los pesos base
Este método desune todas las capas de adaptador fusionadas de los pesos base.
LycorisTuner
clase peft.tuners.lycoris_utils.LycorisTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Parámetros
- model (
torch.nn.Module) — El modelo que se va a adaptar. - config (LoraConfig) — La configuración del modelo Lora.
- adapter_name (
str) — El nombre del adaptador, por defecto es"default". - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Crea pesos de adaptador vacíos en el dispositivo meta. Útil para acelerar el proceso de carga.
Un afinador base para adaptadores tipo LyCORIS