PEFT documentation

VeLoRA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VeLoRA

Ini adalah varian dari LoRA, sehingga semua yang mungkin dilakukan dengan LoRA berlaku untuk metode ini kecuali dinyatakan lain di halaman ini.

VeLoRA adalah varian LoRA yang mengurangi memori pelatihan dengan mengompresi aktivasi yang disimpan untuk LoRA pada forward pass, lalu merekonstruksinya pada backwards pass untuk menerapkan aturan pembaruan. Di PEFT, VeLoRA dikonfigurasi sebagai varian LoRA melalui argumen velora_config pada LoraConfig.

from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)

VeLoRA diterapkan pada setiap lapisan LoRA yang dipilih oleh target_modules. num_groups mengontrol bagaimana kedalaman aktivasi input dipecah sebelum kompresi. Jika kedalaman aktivasi tidak dapat dibagi rata oleh num_groups, VeLoRA menambahkan padding pada representasi grup secara internal dan menghapus padding tersebut setelah rekonstruksi. scale melakukan penskalaan ulang aktivasi yang direkonstruksi selama langkah mundur (backward pass), dan init_type memilih cara inisialisasi proyeksi dilakukan.

Gunakan batch_average_once untuk menginisialisasi proyeksi dari batch pelatihan pertama, batch_average untuk memperbaruinya dari setiap forward pass pelatihan, atau random untuk menginisialisasinya segera dari vektor acak yang dinormalisasi.

Berikut adalah beberapa hasil dengan benchmark MetaMathQA.

VarianLoss PelatihanMemori Maksimum (GiB)Token/detik
LoRA0.542727.692366.2
LoRA + GC0.542613.171671.8
LoRA+VeLoRA0.542719.942057.6

Catatan

  • VeLoRA saat ini hanya didukung pada lapisan linear LoRA standar.
Update on GitHub