PEFT documentation

VeLoRA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VeLoRA

이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.

VeLoRA는 forward pass에서 LoRA를 위해 저장되는 activations을 압축하여 학습 메모리를 줄이고, backwards pass에서 이를 재구성하여 업데이트 규칙을 구현하는 LoRA 변형입니다. PEFT에서 VeLoRA는 LoraConfig의 velora_config 인수를 통해 LoRA 변형으로 설정됩니다.

from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)

VeLoRA는 target_modules로 선택된 모든 LoRA 레이어에 적용됩니다. num_groups은 압축 전에 입력 활성화 깊이를 어떻게 분할할지를 제어합니다. 활성화 깊이가 num_groups로 균등하게 나누어지지 않는 경우, VeLoRA는 내부적으로 그룹화된 표현에 패딩을 추가하고 재구성 후 패딩을 제거합니다. scale은 역전파 과정에서 재구성된 활성화를 다시 스케일링하고, init_type은 투영의 초기화 방식을 선택합니다.

batch_average_once를 사용하여 첫 번째 학습 배치에서 투영을 초기화하거나, batch_average를 사용하여 모든 학습 전방 전달에서 이를 업데이트하거나, random를 사용하여 즉시 무작위 정규화 벡터에서 초기화할 수 있습니다.

다음은 MetaMathQA 벤치마크에 대한 일부 결과입니다.

변형학습 손실최대 메모리 (GiB)초당 토큰
LoRA0.542727.692366.2
LoRA + GC0.542613.171671.8
LoRA+VeLoRA0.542719.942057.6

주의 사항

  • VeLoRA는 현재 표준 LoRA 선형 레이어에서만 지원됩니다.
Update on GitHub