### VeLoRA

> [!NOTE]
> 이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.

[VeLoRA](https://huggingface.co/papers/2405.17991)는 forward pass에서 LoRA를 위해 저장되는 activations을 압축하여 학습 메모리를 줄이고, backwards pass에서 이를 재구성하여 업데이트 규칙을 구현하는 LoRA 변형입니다. PEFT에서 VeLoRA는 [LoraConfig](/docs/peft/v0.22.0/ko/package_reference/lora#peft.LoraConfig)의 `velora_config` 인수를 통해 LoRA 변형으로 설정됩니다.

```py
from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)
```

VeLoRA는 `target_modules`로 선택된 모든 LoRA 레이어에 적용됩니다. `num_groups`은 압축 전에 입력 활성화 깊이를 어떻게 분할할지를 제어합니다. 활성화 깊이가 `num_groups`로 균등하게 나누어지지 않는 경우, VeLoRA는 내부적으로 그룹화된 표현에 패딩을 추가하고 재구성 후 패딩을 제거합니다. `scale`은 역전파 과정에서 재구성된 활성화를 다시 스케일링하고, `init_type`은 투영의 초기화 방식을 선택합니다.

`batch_average_once`를 사용하여 첫 번째 학습 배치에서 투영을 초기화하거나, `batch_average`를 사용하여 모든 학습 전방 전달에서 이를 업데이트하거나, `random`를 사용하여 즉시 무작위 정규화 벡터에서 초기화할 수 있습니다.

다음은 [MetaMathQA 벤치마크](https://github.com/huggingface/peft/tree/main/method_comparison/MetaMathQA)에 대한 일부 결과입니다.

| 변형 | 학습 손실 | 최대 메모리 (GiB) | 초당 토큰 |
|---|---:|---:|---:|
| LoRA | 0.5427 | 27.69 | 2366.2 |
| LoRA + GC | 0.5426 | 13.17 | 1671.8 |
| LoRA+VeLoRA | 0.5427 | 19.94 | 2057.6 |

#### 주의 사항

- VeLoRA는 현재 표준 LoRA 선형 레이어에서만 지원됩니다.

