PEFT documentation
C3A: Penyesuaian Halus yang Efisien Parameter melalui Konvolusi Sirkular
C3A: Penyesuaian Halus yang Efisien Parameter melalui Konvolusi Sirkular
C3A adalah teknik fine-tuning yang efisien dalam hal parameter, yang memanfaatkan Circular Convolution untuk mencapai adaptasi rank tinggi dalam batas sumber daya yang wajar.
Perhatikan bahwa Anda harus menggunakan learning rate (LR) yang jauh lebih besar untuk C3A dibandingkan metode lain. Misalnya, LR 1e-1 untuk C3A adalah titik awal yang baik. Selain itu, weight decay yang jauh lebih kecil harus digunakan. Anda dapat merujuk ke folder method_comparison untuk detail lebih lanjut.
Untuk block_size, hal ini memengaruhi parameter yang dapat disetel dan kinerja. Untuk memulai, Anda dapat memilih yang mendekati $\frac{\sqrt{d_1 \times d_2}}{r}$, di mana adalah rank untuk LoRA yang akan Anda gunakan untuk tugas ini.
C3A saat ini memiliki batasan berikut:
- Hanya lapisan
nn.Linearyang didukung. - Lapisan terkuantisasi tidak didukung.
- Ukuran blok harus menjadi pembagi bersama dari ukuran input dan output dari lapisan target.
Jika batasan-batasan ini tidak sesuai dengan kasus penggunaan Anda, pertimbangkan metode lain sebagai gantinya.
Abstrak dari makalah tersebut adalah:
Low-Rank Adaptation (LoRA) telah populer untuk fine-tuning model fondasi besar, dengan memanfaatkan matriks ber-rank rendah dan untuk merepresentasikan perubahan bobot (yaitu, $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Metode ini mengurangi jumlah parameter yang dapat dilatih dan memitigasi konsumsi memori yang berat yang terkait dengan matriks delta penuh dengan mengalikan secara berurutan dan dengan aktivasi. Meskipun berhasil, karakteristik ber-rank rendah bawaannya dapat membatasi kinerjanya. Meskipun beberapa varian telah diusulkan untuk mengatasi masalah ini, mereka sering mengabaikan efisiensi komputasi dan memori yang penting yang dibawa oleh LoRA. Dalam makalah ini, kami mengusulkan Circular Convolution Adaptation (C3A), yang tidak hanya mencapai adaptasi ber-rank tinggi dengan kinerja yang ditingkatkan, tetapi juga unggul dalam kekuatan komputasi dan pemanfaatan memori. Eksperimen ekstensif menunjukkan bahwa C3A secara konsisten melampaui LoRA dan variannya di berbagai tugas fine-tuning.
Ikhtisar benchmark
API
C3AConfig
kelas peft.C3AConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falseblock_size: int = 256target_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneblock_size_pattern: Optional[dict] = <factory>init_weights: Optional[Union[bool, Literal['gaussian', 'kaiming_uniform', 'xavier_uniform']]] = 'xavier_uniform' )
Parameter
- block_size (
int) — ukuran blok untuk C3A, harus dapat dibagi habis oleh ukuran input dan ukuran output dari lapisan target. Jika Anda tidak tahu ukuran block_size apa yang harus digunakan, atur ke pembagi bersama terbesar dari semua ukuran input & output lapisan target Anda. Meningkatkan nilai ini akan menghasilkan lebih sedikit parameter. - target_modules (
Union[list[str],str]) — Nama-nama modul yang akan diterapkan C3A. - bias (
str) — Jenis bias untuk C3A. Bisa berupa ‘none’, ‘all’, atau ‘c3a_only’. Jika ‘all’ atau ‘c3a_only’, bias yang sesuai akan diperbarui selama pelatihan. Perhatikan bahwa ini berarti, bahkan saat adapter dinonaktifkan, model tidak akan menghasilkan output yang sama seperti model dasar tanpa adaptasi. - modules_to_save (
list[str]) — daftar modul selain lapisan C3A yang akan diatur sebagai dapat dilatih dan disimpan dalam checkpoint akhir. - layers_to_transform (
Union[list[int],int]) — Indeks layer yang akan ditransformasi. Jika argumen ini ditentukan, C3A akan diterapkan pada indeks layer yang tercantum dalam daftar ini. Jika satu bilangan bulat tunggal diberikan, C3A akan diterapkan pada layer di indeks tersebut. - layers_pattern (
str) — Nama pola layer, hanya digunakan jikalayers_to_transformberbeda dariNonedan jika pola layer tersebut tidak termasuk dalam pola layer umum. - block_size_pattern (
dict) — Pemetaan dari nama layer atau ekspresi regexp ke block_size yang berbeda dari default yang ditentukan. Sebagai contoh,{"model.decoder.layers.0.encoder_attn.k_proj": 1280} - init_weights (
Union[bool, Literal["gaussian", "kaiming_uniform", "xavier_uniform"]]) — Bawaan adalah ‘xavier_uniform’. Mengatur ini keFalsejuga menggunakan ‘xavier_uniform’. Untuk mengatur bobot ke nol (sehingga membuat C3A menjadi no-op), atur nilainya keTrue.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari C3AModel.
C3AModel
kelas peft.C3AModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parameter
- model (
torch.nn.Module) — Model yang akan diadaptasi. - config (C3AConfig) — Konfigurasi model C3A.
- adapter_name (
str) — Nama adapter, secara default"default".
Mengembalikan
torch.nn.Module
Model C3A.
Membuat model C3A dari model transformers yang sudah dilatih sebelumnya.
Metode ini dijelaskan secara rinci di https://huggingface.co/papers/2407.19342.
Atribut:
- model (PreTrainedModel) — Model yang akan diadaptasi.
- peft_config (C3AConfig): Konfigurasi model C3A.