PEFT documentation

WaveFT: Penyesuaian Halus Wavelet

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

WaveFT: Penyesuaian Halus Wavelet

WaveFT adalah metode fine-tuning yang efisien secara parameter (PEFT) baru yang memperkenalkan pembaruan spars di domain wavelet dari matriks residual. Berbeda dengan LoRA, yang dibatasi oleh pilihan low-rank diskrit, WaveFT memungkinkan kontrol yang lebih rinci atas jumlah parameter yang dapat dilatih dengan mempelajari langsung himpunan koefisien spars di ruang yang ditransformasi. Koefisien-koefisien ini kemudian dipetakan kembali ke domain bobot melalui Inverse Discrete Wavelet Transform (IDWT), menghasilkan pembaruan high-rank tanpa menimbulkan overhead inferensi.

WaveFT saat ini memiliki batasan berikut:

  • Hanya lapisan nn.Linear yang didukung.

Abstrak dari makalah tersebut adalah:

Adaptasi model fondasi besar secara efisien sangat krusial, terutama dengan anggaran komputasi dan memori yang ketat. Metode Parameter-Efficient Fine-Tuning (PEFT) seperti LoRA menawarkan granularitas dan efektivitas yang terbatas dalam rezim parameter sedikit. Kami mengusulkan Wavelet Fine-Tuning (WaveFT), sebuah metode PEFT baru yang mempelajari pembaruan yang sangat jarang (sparse) dalam domain wavelet dari matriks residual. WaveFT memungkinkan kontrol yang presisi atas parameter yang dapat dilatih, menawarkan penyesuaian kapasitas yang halus (fine-grained) dan unggul dengan jumlah parameter yang sangat rendah, berpotensi jauh lebih sedikit dari minimum LoRA—ideal untuk skenario parameter-efisien yang ekstrem. Dievaluasi pada generasi teks-ke-gambar yang dipersonalisasi menggunakan Stable Diffusion XL sebagai baseline, WaveFT secara signifikan melampaui LoRA dan metode PEFT lainnya, terutama pada jumlah parameter rendah; mencapai kesetiaan subjek, keselarasan prompt, dan keragaman gambar yang lebih superior.

Ikhtisar benchmark

API

WaveFTConfig

kelas peft.WaveFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 2592scaling: float = 25.0wavelet_family: str = 'db1'use_idwt: bool = Truerandom_loc_seed: int = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>proportional_parameters: bool = Falseinit_weights: bool = True )

Parameter

  • n_frequency (int) — Jumlah koefisien wavelet yang dapat dipelajari untuk Discrete Wavelet Transform (DWT). ‘n_frequency’ adalah bilangan bulat yang lebih besar dari 0 dan kurang dari atau sama dengan jumlah total elemen dalam matriks bobot asli (d_out * d_in). Parameter ini secara langsung mengontrol jumlah parameter yang dapat dilatih untuk setiap layer yang diadaptasi. Nilai ‘n_frequency’ yang lebih tinggi umumnya menghasilkan kinerja yang lebih baik, namun juga meningkatkan penggunaan memori GPU, dengan dampak kecil pada kecepatan pelatihan.
  • scaling (float) — Faktor scaling yang diterapkan pada matriks delta W yang direkonstruksi. Ini adalah hiperparameter yang krusial, analog dengan lora_alpha di LoRA. Nilainya dapat disetel selama pencarian hiperparameter. Nilai default kami untuk personalisasi SDXL adalah 25.
  • wavelet_family (str) — Keluarga wavelet (misalnya, ‘db1’, ‘sym2’, ‘coif1’) yang digunakan untuk DWT dan Inverse DWT (IDWT). Defaultnya adalah ‘db1’ (wavelet Haar). Keluarga wavelet yang berbeda memiliki panjang filter yang bervariasi, yang secara substansial memengaruhi waktu pelatihan
  • use_idwt (bool) — Atur ke False untuk adaptasi yang efisien. Menentukan apakah akan menggunakan Inverse Discrete Wavelet Transform (IDWT) untuk merekonstruksi bobot delta dari koefisien wavelet yang dipelajari. Jika True (default), IDWT diterapkan. Jika False, koefisien yang dipelajari digunakan secara langsung untuk membentuk matriks bobot delta yang jarang, yang lebih cepat tetapi kinerjanya lebih buruk untuk tugas personalisasi SDXL.
  • random_loc_seed (int) — Seed untuk menentukan lokasi acak dari n_frequency koefisien wavelet yang dapat dipelajari di dalam matriks koefisien wavelet penuh.
  • target_modules (Union[list[str],str]) — Daftar nama modul atau ekspresi regex yang mengidentifikasi modul yang akan diadaptasi dengan WaveFT. Misalnya, ['q_proj', 'v_proj'] atau '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'. Saat ini, hanya lapisan linear (torch.nn.Linear) yang didukung.
  • exclude_modules (Optional[Union[List[str], str]]) — Daftar nama modul atau ekspresi regex untuk modul yang akan dikecualikan dari adaptasi WaveFT.
  • fan_in_fan_out (bool) — Atur ke True jika bobot dari lapisan yang akan diganti disimpan dalam format (fan_in, fan_out). Nilai default adalah False.
  • bias (str) — Bias type for WaveFT. Can be ‘none’, ‘all’, or ‘waveft_only’. (‘fourier_only’ was likely a typo and has been corrected to ‘waveft_only’ if it implies bias only on adapted parameters) If ‘waveft_only’, biases are added only to the WaveFT components. If ‘all’, biases are added to both base and WaveFT components. If ‘none’, no new biases are added.
  • modules_to_save (list[str]) — Daftar modul, di samping lapisan WaveFT, yang harus ditandai sebagai dapat dilatih dan disimpan dalam checkpoint akhir. Berguna untuk lapisan seperti classifier dalam tugas klasifikasi urutan atau token yang diinisialisasi secara acak dan perlu dilatih.
  • layers_to_transform (Union[list[int],int]) — Indeks layer spesifik yang akan ditransformasi. Jika diberikan, PEFT hanya akan mengadaptasi layer pada indeks tersebut. Jika satu bilangan bulat diberikan, hanya layer itu yang ditransformasi.
  • layers_pattern (Optional[Union[List[str], str]]) — Pola untuk nama layer, digunakan jika layers_to_transform ditentukan dan pola layer tidak standar (misalnya, bukan ‘layers’ atau ‘h’). Ini harus menargetkan atribut nn.ModuleList dalam model.
  • n_frequency_pattern (dict) — Kamus yang memetakan nama layer (atau regex) ke nilai n_frequency tertentu, menggantikan n_frequency global. Contoh: {"model.decoder.layers.0.encoder_attn.k_proj": 1000}.
  • init_weights (bool) — Strategi inisialisasi untuk koefisien wavelet yang dapat dipelajari (spektrum). Jika True (default), koefisien diinisialisasi ke nol. Jika False, koefisien diinisialisasi dari distribusi normal standar yang diskalakan oleh faktor kecil.
  • proportional_parameters (bool) — Jika True, n_frequency dialokasikan secara proporsional terhadap input_dim * output_dim dari setiap layer. Default adalah False. Catatan: Opsi ini disertakan untuk kelengkapan eksperimental agar peneliti dapat mereproduksi hasil paper, bukan untuk kegunaan praktis, karena tidak ada skenario menguntungkan yang telah diidentifikasi.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari WaveFTModel. Kelas ini digunakan untuk mendefinisikan parameter untuk Wavelet-based Fine-Tuning (WaveFT), sebuah pendekatan yang memanfaatkan sparsity dari transformasi wavelet untuk fine-tuning model pretrained yang efisien dalam hal parameter.

WaveFTModel

kelas peft.WaveFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub