### VeLoRA

> [!NOTE]
> Ini adalah varian dari LoRA, sehingga semua yang mungkin dilakukan dengan LoRA berlaku untuk metode ini kecuali dinyatakan lain di halaman ini.

[VeLoRA](https://huggingface.co/papers/2405.17991) adalah varian LoRA yang mengurangi memori pelatihan dengan mengompresi aktivasi yang disimpan untuk LoRA pada forward pass, lalu merekonstruksinya pada backwards pass untuk menerapkan aturan pembaruan. Di PEFT, VeLoRA dikonfigurasi sebagai varian LoRA melalui argumen `velora_config` pada [LoraConfig](/docs/peft/v0.22.0/id/package_reference/lora#peft.LoraConfig).

```py
from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)
```

VeLoRA diterapkan pada setiap lapisan LoRA yang dipilih oleh `target_modules`. `num_groups` mengontrol bagaimana kedalaman aktivasi input dipecah sebelum kompresi. Jika kedalaman aktivasi tidak dapat dibagi rata oleh `num_groups`, VeLoRA menambahkan padding pada representasi grup secara internal dan menghapus padding tersebut setelah rekonstruksi. `scale` melakukan penskalaan ulang aktivasi yang direkonstruksi selama langkah mundur (backward pass), dan `init_type` memilih cara inisialisasi proyeksi dilakukan.

Gunakan `batch_average_once` untuk menginisialisasi proyeksi dari batch pelatihan pertama, `batch_average` untuk memperbaruinya dari setiap forward pass pelatihan, atau `random` untuk menginisialisasinya segera dari vektor acak yang dinormalisasi.

Berikut adalah beberapa hasil dengan [benchmark MetaMathQA](https://github.com/huggingface/peft/tree/main/method_comparison/MetaMathQA).

| Varian | Loss Pelatihan | Memori Maksimum (GiB) | Token/detik |
|---|---:|---:|---:|
| LoRA | 0.5427 | 27.69 | 2366.2 |
| LoRA + GC | 0.5426 | 13.17 | 1671.8 |
| LoRA+VeLoRA | 0.5427 | 19.94 | 2057.6 |

#### Catatan

- VeLoRA saat ini hanya didukung pada lapisan linear LoRA standar.

