### VeLoRA

> [!NOTE]
> Bu, LoRA'nın bir varyantıdır ve bu nedenle LoRA ile yapılabilen her şey, aksi bu sayfada belirtilmedikçe bu yöntem için de geçerlidir.

[VeLoRA](https://huggingface.co/papers/2405.17991), ileri geçişte LoRA için kaydedilen aktivasyonları sıkıştırarak ve güncelleme kurallarını uygulamak için geriye doğru geçişte bunları yeniden oluşturarak eğitim belleğini azaltan bir LoRA varyantıdır. PEFT’de VeLoRA, [LoraConfig](/docs/peft/v0.22.0/tr/package_reference/lora#peft.LoraConfig) üzerindeki `velora_config` argümanı aracılığıyla bir LoRA varyantı olarak yapılandırılır.

```py
from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)
```

VeLoRA, `target_modules` tarafından seçilen her LoRA katmanına uygulanır. `num_groups`, sıkıştırma öncesinde girdi aktivasyon derinliğinin nasıl bölündüğünü kontrol eder. Aktivasyon derinliği `num_groups` ile tam bölünemiyorsa, VeLoRA gruplanmış temsilin iç dolgusunu (padding) içsel olarak ekler ve yeniden yapılandırmadan sonra dolguyu kaldırır. `scale`, geri yayılım sırasında yeniden yapılandırılan aktivasyonları yeniden ölçekler ve `init_type`, projeksiyonun nasıl başlatılacağını seçer.

Projeksiyonu ilk eğitim batch'inden başlatmak için `batch_average_once`, her eğitim ileri geçişinden güncellemek için `batch_average` veya hemen rastgele normalize edilmiş bir vektörden başlatmak için `random` kullanın.

Aşağıda [MetaMathQA benchmark](https://github.com/huggingface/peft/tree/main/method_comparison/MetaMathQA) ile ilgili bazı sonuçlar yer almaktadır.

| Varyant | Eğitim Kaybı | Maksimum Bellek (GiB) | Token/sn |
|---|---:|---:|---:|
| LoRA | 0.5427 | 27.69 | 2366.2 |
| LoRA + GC | 0.5426 | 13.17 | 1671.8 |
| LoRA+VeLoRA | 0.5427 | 19.94 | 2057.6 |

#### Dikkat Edilmesi Gerekenler

- VeLoRA şu anda yalnızca standart LoRA doğrusal katmanlarında desteklenmektedir.

