PEFT documentation

KaSA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

KaSA

이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.

KaSA(Knowledge-aware Singular-value Adaptation)는 기본 가중치의 특이값 분해를 사용하여 작업과 무관한 지식을 필터링하고, 학습 가능한 특이값으로 업데이트를 매개변수화하는 LoRA 변형입니다. KaSA는 일반 LoRA를 두 가지 방식으로 변경합니다:

  1. 동결된 기본 가중치의 지식 기반 SVD 절단 초기화 시, 기본 가중치 W에 SVD 분해를 적용하고 가장 작은 r개의 (“노이즈”/롱테일) 특이 성분은 제거합니다. 그러면 랭크 (k - r) 근사가 새로운 동결된 기본 가중치(k = min(in_features, out_features))가 됩니다. 이후 학습 가능한 분기는 제거된 잔차 부분공간에서 다시 학습합니다.
  2. 지식 인식 특이값 적응. 학습 가능한 업데이트는 LoRA 인자 사이에 학습 가능한 특이값 대각 성분을 삽입한 SVD 형태로 매개변수화됩니다: ΔW = scaling * B @ diag(ΔΣ) @ A. 여기서 ΔΣ (lora_diag)는 학습 가능한 r차원 벡터이며, 레이어당 유일한 새로운 매개변수입니다.

PEFT에서 KaSA는 LoraConfig의 kasa_config 인수를 통해 LoRA 변형으로 구성됩니다:

from peft import KasaConfig, LoraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)

이 논문에서는 두 가지 보조 정규화자를 추가로 학습합니다: 학습 가능한 고유값에 대한 L2 페널티(beta로 가중)와 어댑터 인자에 대한 직교 정규화(gamma로 가중)입니다. 후자는 SVD 매개변수화가 가정하는 반직교성을 부드럽게 강제합니다. PEFT가 이를 자동으로 주입할 수 없으므로, 학습 중에 기반이 되는 LoraModel에서 LoraModel._get_kasa_loss()를 호출하여 작업 손실에 추가해야 합니다:

task_loss = ...  # standard loss returned by your model
kasa_loss = model._get_kasa_loss()  # 0.0 if KaSA is not used
total_loss = task_loss + kasa_loss

상세 사용법은 이 지침을 참조하세요.

주의 사항

  • KaSA는 현재 표준 LoRA 선형 레이어에서만 지원되며, fan_in_fan_out=True 레이어(예: transformers Conv1D)에서는 지원되지 않습니다.
  • KaSA 어댑터는 다른 어댑터의 기반 가중치 아래에 있는 가중치를 변경하기 때문에, 동일한 모델에서 비-KaSA 어댑터와 함께 사용할 수 없습니다. 여러 KaSA 어댑터의 사용은 허용됩니다.
  • convert_to_lora는 지원되지 않습니다. KaSA 업데이트는 lora_diag과 잘린 베이스 가중에 의존하는데, 이 둘은 모두 일반 LoRA 어댑터로 표현할 수 없습니다.
  • 기본 가중치의 SVD 절단은 파괴적입니다: KaSA 어댑터를 추가하면 해당 레이어의 동결된 가중치가 영구적으로 변경됩니다. 어댑터를 비활성화하거나 언로드해도 원래의 기본 가중치는 복원되지 않으며, merge 후 unmerge를 수행해도 원래 가중치가 아닌 절단된 가중치로 되돌아갑니다. 이는 해당 방법론의 본질적인 특성입니다. 수정되지 않은 기본 모델을 복원해야 하는 경우 원래의 체크포인트를 보관해 두세요.
  • PeftModel.from_pretrained로 학습된 KaSA 어댑터를 로드하면 새로 로드된 기본 가중치에 동일한 절단이 다시 적용되므로, 저장 및 재로드가 일관됩니다.
Update on GitHub