PEFT documentation
VeLoRA
시작하기
가이드
구성 및 모델통합 메모리 효율적인 학습모델 병합양자화커스텀 모델Adapter 주입PEFT 방법 혼합torch.compilePEFT에 기여하기문제 해결PEPT 체크포인트 형식
분산 학습
메서드
API 참조
VeLoRA
이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.
VeLoRA는 forward pass에서 LoRA를 위해 저장되는 activations을 압축하여 학습 메모리를 줄이고, backwards pass에서 이를 재구성하여 업데이트 규칙을 구현하는 LoRA 변형입니다. PEFT에서 VeLoRA는 LoraConfig의 velora_config 인수를 통해 LoRA 변형으로 설정됩니다.
from peft import LoraConfig, VeloraConfig
config = LoraConfig(
target_modules=["q_proj", "v_proj"],
velora_config=VeloraConfig(
num_groups=64,
scale=0.2,
init_type="batch_average",
),
)VeLoRA는 target_modules로 선택된 모든 LoRA 레이어에 적용됩니다. num_groups은 압축 전에 입력 활성화 깊이를 어떻게 분할할지를 제어합니다. 활성화 깊이가 num_groups로 균등하게 나누어지지 않는 경우, VeLoRA는 내부적으로 그룹화된 표현에 패딩을 추가하고 재구성 후 패딩을 제거합니다. scale은 역전파 과정에서 재구성된 활성화를 다시 스케일링하고, init_type은 투영의 초기화 방식을 선택합니다.
batch_average_once를 사용하여 첫 번째 학습 배치에서 투영을 초기화하거나, batch_average를 사용하여 모든 학습 전방 전달에서 이를 업데이트하거나, random를 사용하여 즉시 무작위 정규화 벡터에서 초기화할 수 있습니다.
다음은 MetaMathQA 벤치마크에 대한 일부 결과입니다.
| 변형 | 학습 손실 | 최대 메모리 (GiB) | 초당 토큰 |
|---|---|---|---|
| LoRA | 0.5427 | 27.69 | 2366.2 |
| LoRA + GC | 0.5426 | 13.17 | 1671.8 |
| LoRA+VeLoRA | 0.5427 | 19.94 | 2057.6 |
주의 사항
- VeLoRA는 현재 표준 LoRA 선형 레이어에서만 지원됩니다.