PEFT documentation

C3A: Penyesuaian Halus yang Efisien Parameter melalui Konvolusi Sirkular

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

C3A: Penyesuaian Halus yang Efisien Parameter melalui Konvolusi Sirkular

C3A adalah teknik fine-tuning yang efisien dalam hal parameter, yang memanfaatkan Circular Convolution untuk mencapai adaptasi rank tinggi dalam batas sumber daya yang wajar.

Perhatikan bahwa Anda harus menggunakan learning rate (LR) yang jauh lebih besar untuk C3A dibandingkan metode lain. Misalnya, LR 1e-1 untuk C3A adalah titik awal yang baik. Selain itu, weight decay yang jauh lebih kecil harus digunakan. Anda dapat merujuk ke folder method_comparison untuk detail lebih lanjut.

Untuk block_size, hal ini memengaruhi parameter yang dapat disetel dan kinerja. Untuk memulai, Anda dapat memilih gcd(d1,d2)\mathrm{gcd}(d_1,d_2) yang mendekati $\frac{\sqrt{d_1 \times d_2}}{r}$, di mana rr adalah rank untuk LoRA yang akan Anda gunakan untuk tugas ini.

C3A saat ini memiliki batasan berikut:

  • Hanya lapisan nn.Linear yang didukung.
  • Lapisan terkuantisasi tidak didukung.
  • Ukuran blok harus menjadi pembagi bersama dari ukuran input dan output dari lapisan target.

Jika batasan-batasan ini tidak sesuai dengan kasus penggunaan Anda, pertimbangkan metode lain sebagai gantinya.

Abstrak dari makalah tersebut adalah:

Low-Rank Adaptation (LoRA) telah populer untuk fine-tuning model fondasi besar, dengan memanfaatkan matriks ber-rank rendah A\mathbf{A} dan B\mathbf{B} untuk merepresentasikan perubahan bobot (yaitu, $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Metode ini mengurangi jumlah parameter yang dapat dilatih dan memitigasi konsumsi memori yang berat yang terkait dengan matriks delta penuh dengan mengalikan secara berurutan A\mathbf{A} dan B\mathbf{B} dengan aktivasi. Meskipun berhasil, karakteristik ber-rank rendah bawaannya dapat membatasi kinerjanya. Meskipun beberapa varian telah diusulkan untuk mengatasi masalah ini, mereka sering mengabaikan efisiensi komputasi dan memori yang penting yang dibawa oleh LoRA. Dalam makalah ini, kami mengusulkan Circular Convolution Adaptation (C3A), yang tidak hanya mencapai adaptasi ber-rank tinggi dengan kinerja yang ditingkatkan, tetapi juga unggul dalam kekuatan komputasi dan pemanfaatan memori. Eksperimen ekstensif menunjukkan bahwa C3A secara konsisten melampaui LoRA dan variannya di berbagai tugas fine-tuning.

Ikhtisar benchmark

API

C3AConfig

kelas peft.C3AConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falseblock_size: int = 256target_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneblock_size_pattern: Optional[dict] = <factory>init_weights: Optional[Union[bool, Literal['gaussian', 'kaiming_uniform', 'xavier_uniform']]] = 'xavier_uniform' )

Parameter

  • block_size (int) — ukuran blok untuk C3A, harus dapat dibagi habis oleh ukuran input dan ukuran output dari lapisan target. Jika Anda tidak tahu ukuran block_size apa yang harus digunakan, atur ke pembagi bersama terbesar dari semua ukuran input & output lapisan target Anda. Meningkatkan nilai ini akan menghasilkan lebih sedikit parameter.
  • target_modules (Union[list[str],str]) — Nama-nama modul yang akan diterapkan C3A.
  • bias (str) — Jenis bias untuk C3A. Bisa berupa ‘none’, ‘all’, atau ‘c3a_only’. Jika ‘all’ atau ‘c3a_only’, bias yang sesuai akan diperbarui selama pelatihan. Perhatikan bahwa ini berarti, bahkan saat adapter dinonaktifkan, model tidak akan menghasilkan output yang sama seperti model dasar tanpa adaptasi.
  • modules_to_save (list[str]) — daftar modul selain lapisan C3A yang akan diatur sebagai dapat dilatih dan disimpan dalam checkpoint akhir.
  • layers_to_transform (Union[list[int],int]) — Indeks layer yang akan ditransformasi. Jika argumen ini ditentukan, C3A akan diterapkan pada indeks layer yang tercantum dalam daftar ini. Jika satu bilangan bulat tunggal diberikan, C3A akan diterapkan pada layer di indeks tersebut.
  • layers_pattern (str) — Nama pola layer, hanya digunakan jika layers_to_transform berbeda dari None dan jika pola layer tersebut tidak termasuk dalam pola layer umum.
  • block_size_pattern (dict) — Pemetaan dari nama layer atau ekspresi regexp ke block_size yang berbeda dari default yang ditentukan. Sebagai contoh, {"model.decoder.layers.0.encoder_attn.k_proj": 1280}
  • init_weights (Union[bool, Literal["gaussian", "kaiming_uniform", "xavier_uniform"]]) — Bawaan adalah ‘xavier_uniform’. Mengatur ini ke False juga menggunakan ‘xavier_uniform’. Untuk mengatur bobot ke nol (sehingga membuat C3A menjadi no-op), atur nilainya ke True.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari C3AModel.

C3AModel

kelas peft.C3AModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Parameter

  • model (torch.nn.Module) — Model yang akan diadaptasi.
  • config (C3AConfig) — Konfigurasi model C3A.
  • adapter_name (str) — Nama adapter, secara default "default".

Mengembalikan

torch.nn.Module

Model C3A.

Membuat model C3A dari model transformers yang sudah dilatih sebelumnya.

Metode ini dijelaskan secara rinci di https://huggingface.co/papers/2407.19342.

Atribut:

Update on GitHub