PEFT documentation

DEFT: Fine-Tuning Efisien Dekomposisional untuk Model Teks-ke-Gambar

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DEFT: Fine-Tuning Efisien Dekomposisional untuk Model Teks-ke-Gambar

DEFT (Decompositional Efficient Fine-Tuning) adalah metode fine-tuning yang efisien secara parameter untuk model teks-ke-gambar. Metode ini mendekomposisi pembaruan matriks bobot beku W menjadi dua komponen yang dapat dilatih: proyeksi yang menghilangkan subruang ber-rank rendah dari W, dan pembaruan ber-rank rendah yang menyuntikkan konten baru ke dalam subruang tersebut. Formulasi ini dirancang untuk menyeimbangkan keselarasan dengan distribusi target, pembelajaran konsep baru dari beberapa gambar (personalisasi), dan pelestarian kemampuan mengikuti instruksi serta ketereditan model yang telah dilatih sebelumnya.

Secara konkret, DEFT menggabungkan dua komponen low-rank yang dapat dilatih: (1) proyeksi ke komplemen dari subruang low-rank yang direntangkan oleh matriks low-rank, dan (2) pembaruan low-rank. Matriks low-rank pertama mendefinisikan subruang, sedangkan yang kedua memungkinkan adaptasi parameter yang fleksibel di dalam subruang tersebut.

Kapan menggunakan DEFT: paling cocok untuk menyesuaikan model ke data atau konsep baru sambil mempertahankan dan bahkan meningkatkan kemampuan mengikuti instruksi dari model dasar serta menjaga lupa terhadap kemampuannya sebelumnya seminimal mungkin.

Per lapisan target, DEFT mempelajari arah proyeksi P (bentuk out_features x r) dan matriks injeksi R (bentuk r x in_features). Bobot efektif adalah proyeksi residual

W' = (I - P_proj) @ W + Q_P @ R

Proyektor P_proj diturunkan dari P sesuai dengan decomposition_method:

  • "relu" (default): Q_P = P, P_proj = P @ relu(P).T β€” proyeksi non-ortogonal.
  • "qr": Q_P = qr(P), P_proj = Q_P @ Q_P.T β€” proyeksi ortogonal.

Istilah (I - P_proj) @ W menghapus sub-ruang dari bobot pralatih, sementara Q_P @ R menyuntikkan konten baru ke dalamnya. Secara default (init_weights=True), R diinisialisasi sedemikian rupa sehingga pembaruan merupakan identitas yang tepat pada saat inisialisasi (W' == W), sehingga pelatihan dimulai dari bobot pralatih dan mempelajari penyuntikan tersebut. Pembaruan ini ekuivalen dengan delta aditif ber-rank rendah Q_P @ (R - right.T @ W), yang dihitung tanpa pernah membentuk matriks proyeksi out x out dan dapat digabungkan ke dalam bobot dasar untuk deployment tanpa inferensi.

Menetapkan para=True memilih varian PaRa (Parameter Rank Reduction): pembaruan penghapusan saja W' = (I - P_proj) @ W yang hanya mempertahankan istilah penghapusan subruang dan membuang injeksi. Hanya proyeksi P yang dilatih (tanpa matriks injeksi R), sehingga adapter bukan identitas pada inisialisasi. PaRa diperkenalkan untuk personalisasi model difusi teks-ke-gambar dan tersedia di sini sebagai kasus khusus dari DEFT.

DEFT saat ini diimplementasikan untuk lapisan torch.nn.Linear dan Conv1D (misalnya gpt-2, melalui fan_in_fan_out). Implementasi asli dan eksperimen dari makalah (Dreambooth, Dreambench Plus, InsDet, VisualCloze, pada Stable Diffusion dan model terpadu) tersedia di github.com/MAXNORM8650/DEFT.

Jika Anda menggunakan DEFT dalam pekerjaan Anda, silakan kutip makalahnya:

@article{kumar2026deft,
  title={DEFT: Decompositional Efficient Fine-Tuning for Text-to-Image Models},
  author={Kumar, Komal and Anwer, Rao and Shahbaz Khan, Fahad and Khan, Salman and Laptev, Ivan and Cholakkal, Hisham},
  journal={Advances in Neural Information Processing Systems},
  volume={38},
  pages={102009--102035},
  year={2026}
}

Jika Anda menggunakan varian PaRa (para=True), silakan kutip juga:

@inproceedings{chen2025personalizing,
  title={Para: Personalizing text-to-image diffusion via parameter rank reduction},
  author={Chen, Shangyu and Pan, Zizheng and Cai, Jianfei and Phung, Dinh},
  booktitle={International Conference on Learning Representations},
  year={2025}
}

DeftConfig

kelas peft.DeftConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonedecomposition_method: Literal['relu', 'qr'] = 'relu'init_scale: float = 1.0alpha: Optional[int] = Nonepara: bool = Falsefan_in_fan_out: bool = Falsedeft_dropout: float = 0.0init_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = None )

Parameter

  • r (int) β€” Rank dari proyeksi/injeksi DEFT di seluruh lapisan.
  • target_modules (Optional[Union[List[str], str]]) β€” Nama-nama modul yang akan diterapkan adapter-nya. Jika ini ditentukan, hanya modul dengan nama yang ditentukan yang akan diganti. Saat meneruskan string, pencocokan regex akan dilakukan. Saat meneruskan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul diakhiri dengan salah satu string yang diteruskan. Jika ini ditentukan sebagai β€˜all-linear’, maka semua modul linear dipilih, kecuali lapisan output. Jika ini tidak ditentukan, modul akan dipilih sesuai dengan arsitektur model. Jika arsitekturnya tidak diketahui, error akan dilempar β€” dalam hal ini, Anda harus menentukan modul target secara manual.
  • exclude_modules (Optional[Union[List[str], str]]) β€” Nama-nama modul yang tidak akan diterapkan adapter. Saat melewatkan string, pencocokan regex akan dilakukan. Saat melewatkan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul berakhiran dengan salah satu string yang dilewatkan.
  • decomposition_method (str) β€” Bagaimana projector P_proj diturunkan dari P. Bisa berupa "relu" (default, P @ relu(P).T non-ortogonal) atau "qr" (Q_P @ Q_P.T ortogonal).
  • init_scale (float) β€” Skala yang diterapkan pada deviasi standar yang digunakan untuk menginisialisasi matriks injeksi R (hanya digunakan ketika init_weights=False). Nilai yang lebih kecil menjaga pembaruan yang diinjeksikan tetap lebih dekat ke nol saat inisialisasi. Nilai default adalah 1.0.
  • alpha (Optional[int]) β€” Faktor penskalaan untuk istilah injeksi, yang diskalakan oleh alpha / r (sebanding dengan alpha LoRA). Jika None, tidak ada penskalaan yang diterapkan (faktor 1.0). Istilah penghapusan subruang tidak terpengaruh.
  • para (bool) β€” Apakah akan menggunakan metode PaRa: penghapusan subruang murni (delta = -P_proj @ W) tanpa istilah injeksi. Ketika True, R tidak dibuat, P adalah satu-satunya matriks yang dapat dilatih, dan adapter tidak dapat menjadi identitas pada inisialisasi. Bawaan adalah False (DEFT penuh).
  • fan_in_fan_out (bool) β€” Atur ini ke True jika layer yang akan diganti menyimpan bobot seperti (fan_in, fan_out). Misalnya, gpt-2 menggunakan Conv1D yang menyimpan bobot seperti (fan_in, fan_out) sehingga ini harus diatur ke True.
  • deft_dropout (float) β€” Probabilitas dropout yang diterapkan pada input lapisan. Defaultnya adalah 0.0.
  • init_weights (bool) β€” Apakah akan menggunakan inisialisasi default (identitas) DEFT untuk bobot adapter, sehingga adapter menjadi no-op di awal pelatihan. Jangan ubah pengaturan ini, kecuali Anda tahu persis apa yang Anda lakukan. Default adalah True.
  • layers_to_transform (Union[List[int], int]) β€” Indeks layer yang akan ditransformasi. Jika daftar int yang dilewatkan, adapter akan diterapkan pada indeks layer yang ditentukan dalam daftar ini. Jika satu integer yang dilewatkan, transformasi akan diterapkan pada layer di indeks ini.
  • layers_pattern (Optional[Union[List[str], str]]) β€” Nama pola layer, hanya digunakan jika layers_to_transform berbeda dari None. Ini harus menargetkan nn.ModuleList dari model, yang sering disebut 'layers' atau 'h'.
  • bias (str) — Bias type for DEFT. Can be 'none', 'all' or 'deft_only'.
  • modules_to_save (List[str]) β€” Daftar modul selain lapisan adapter yang akan diatur sebagai dapat dilatih dan disimpan dalam checkpoint akhir.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari DeftModel.

DEFT (Decompositional Efficient Fine-Tuning) melakukan injeksi pengetahuan melalui pembaruan residual-projection. Untuk bobot dasar beku W, arah proyeksi rank-rendah P (bentuk out_features x r) dan matriks injeksi R (bentuk r x in_features) dipelajari. Bobot yang diadaptasi adalah W' = (I - P_proj) @ W + Q_P @ R, di mana proyektor P_proj diturunkan dari P sesuai dengan decomposition_method:

  • "relu" (default): Q_P = P, P_proj = P @ relu(P).T (proyeksi non-ortogonal)
  • "qr": Q_P = qr(P), P_proj = Q_P @ Q_P.T (proyeksi ortogonal)

Secara default (init_weights=True) R diinisialisasi sehingga pembaruan merupakan identitas yang tepat saat inisialisasi (bobot yang diadaptasi sama dengan W), sehingga pelatihan dimulai dari bobot pra-terlatih dan mempelajari injeksinya.

DeftModel

kelas peft.DeftModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) β†’ torch.nn.Module

Parameter

  • model (torch.nn.Module) β€” Model tempat lapisan tuner adapter akan dilampirkan.
  • config (DeftConfig) β€” Konfigurasi dari model DEFT.
  • adapter_name (str) β€” Nama adapter, secara default "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) β€” Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.

Mengembalikan

torch.nn.Module

Model DEFT.

Membuat model DEFT (Decompositional Efficient Fine-Tuning) dari model pretrained.

DEFT membekukan bobot dasar dan mempelajari, untuk setiap modul target, arah proyeksi ber-rank rendah P dan matriks injeksi R. Bobot efektif menjadi (I - P_proj) @ W + Q_P @ R, menggantikan sub-ruang dari W dengan konten yang baru diinjeksikan (lihat DeftConfig untuk varian decomposition_method yang tersedia).

Atribut:

  • model (~torch.nn.Module) β€” Model yang akan diadaptasi.
  • peft_config (DeftConfig): Konfigurasi model DEFT.
Update on GitHub