PEFT documentation
MonteCLoRA (Monte Carlo Low-Rank Adaptation)
MonteCLoRA (Monte Carlo Low-Rank Adaptation)
이것은 LoRA의 변형이므로, 이 페이지에 별도로 명시된 경우를 제외하고 LoRA에서 가능한 모든 것이 이 방법에도 적용됩니다.
MonteCLoRA는 학습 중에 LoRA A 행렬 위에 확률적 섭동을 위한 Monte Carlo 샘플을 추출하는 작은 변분 모듈로 표준 LoRA 어댑터를 감쌉니다. 구체적으로, 변분 매개변수(Wishart 기반 공분산, 샘플별 다변량 정규 노이즈 항, 샘플에 대한 Dirichlet 가중치)를 학습하고 모든 forward pass에서 lora_A에 결과적으로 평균화된 섭동을 추가합니다. 이러한 변분 매개변수를 적절한 사전 분포에 고정시키기 위해 KL 발산 + 엔트로피 항을 학습 손실에 추가합니다. 추론 시에는 샘플러가 비활성화되어 MonteCLoRA는 일반 LoRA 어댑터와 정확히 동일하게 동작하므로 추가 추론 비용이나 병합할 추가 매개변수가 없습니다. 전체 방법은 https://huggingface.co/papers/2411.04358에서 확인하세요.
다음과 같은 경우 MonteCLoRA를 고려해 볼 수 있습니다:
- 소규모 또는 노이즈가 많은 데이터셋에서 fine-tuning을 수행하고 있으며, vanilla LoRA보다 더 강한 regularization이 필요한 경우입니다. Monte Carlo averaging과 KL term이 함께 작용하여 Bayesian 스타일의 regularizer 역할을 합니다.
- 추론 시점에 추가 비용(변분 메커니즘은 학습 전용)을 지불하지 않으면서 어댑터에서 더 나은 불확실성 보정/견고성을 원합니다.
- Vanilla LoRA가 과적합되고 있으며,
r을 줄이거나lora_dropout을 늘리는 것만으로는 충분하지 않습니다.
대규모의 깨끗한 데이터셋을 보유하고 있으며, 일반 LoRA만으로도 안정적으로 학습이 가능하다면 MonteCLoRA가 필요하지 않을 가능성이 높습니다. 이러한 환경에서는 추가적인 변분 매개변수가 큰 이점을 제공하지 않으면서도 학습 오버헤드만 증가시키는 경향이 있습니다.
MonteCLoRA를 활성화하려면 MontecloraConfig를 LoraConfig에 전달하세요:
from peft import LoraConfig, MontecloraConfig
monteclora_config = MontecloraConfig(
num_samples=8, # number of Monte Carlo samples per forward pass
sample_scaler=1e-4, # magnitude of the variational perturbation
kl_loss_weight=1e-5, # weight of the KL term added to the training loss
)
config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
monteclora_config=monteclora_config,
)학습 중에 변분 정규화 손실을 작업 손실에 추가해야 합니다. 가장 간단한 방법은 기반 LoraModel에서 LoraModel._get_monteclora_loss()를 호출하는 것입니다:
task_loss = ... # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss() # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()HF Trainer로 학습하는 경우, compute_loss에서 이를 수행하는 peft.helpers.MontecloraTrainerMixin을 단순히 혼합하면 됩니다:
from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin
class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
pass완전한 작동 예제는 examples/monteclora_finetuning에서 확인할 수 있습니다.
API
MonteCloraConfig
class peft.MontecloraConfig
< source >( num_samples: int = 8use_entropy: bool = Falsedirichlet_prior: float = 0.1sample_scaler: float = 0.0001kl_loss_weight: float = 1e-05buffer_size: int = 150 )
매개변수
- num_samples (
int) — 각 forward pass당 추출할 Monte Carlo 샘플 수. 값이 높을수록 일반적으로 더 매끄러운 학습과 더 나은 불확실성 추정치를 제공하지만, 계산 및 메모리 사용량이 증가합니다. 학습이 너무 느리거나 메모리 제약이 있는 경우 이 값을 낮추고, 학습이 안정적이며 더 강한 Monte Carlo 평균화를 원하는 경우 높입니다. - use_entropy (
bool) — Monte Carlo 가중치가 단일 샘플로 수렴하는 것을 방지하는 엔트로피 정규화 항을 추가할지 여부입니다. 샘플러가 매우 첨두(peaky)하게 변하는 것을 관찰했거나 더 강한 정규화가 필요하면 활성화하고, 표준 LoRA를 더 밀접하게 모방하려면 비활성화하세요. - dirichlet_prior (
float) — 샘플/전문가 가중치에 대한 Dirichlet 사전 분포의 농도 파라미터입니다. 값이 클수록 가중치가 더 균일해지도록 유도하며(더 강한 정규화, 더 적은 희소성), 작은 양의 값은 더 희소하고 첨두가 높은 가중치를 장려합니다. 샘플러가 과적합되면 값을 높이고, 너무 보수적이면 값을 낮추되 0보다 크게 유지하세요. - sample_scaler (
float) — LoRA 가중치에 적용되는 샘플링된 섭동의 전체 스케일링 계수입니다. 이 값을 증가시키면 Monte Carlo 노이즈가 강해지며(정규화 및 탐색은 증가하지만 학습 불안정성도 증가함), 감소시키면 동작이 표준 결정론적 LoRA에 가까워집니다. 0에 매우 가깝게 설정하면 Monteclora의 효과가 대부분 비활성화됩니다. - kl_loss_weight (
float) — 변분 분포와 그 사전 분포 사이의 KL 발산 항의 가중치입니다. 값이 클수록 사전 분포와의 일치에 더 많은 강조가 주어지며(더 강한 정규화, 과소적합의 가능성), 값이 작을수록 데이터 가능도에 더 의존하게 됩니다(더 약한 정규화, 과적합의 가능성). Monteclora가 어댑터를 과다 정규화하거나 과소 정규화하는 것을 발견했다면 이 값을 조정해 보세요. - buffer_size (
int) — Monte Carlo 샘플러가 사용하는 내부 버퍼의 크기(예: 최근 통계 저장). 값이 클수록 추가 메모리를 소모하는 대신 추정된 변분 매개변수가 안정화됩니다. 메모리가 제한적인 경우 이 값을 줄이세요.
이것은 Monteclora(Monte Carlo Low-Rank Adaptation)의 설정을 저장하기 위한 하위 구성 클래스입니다. Monteclora는 어댑터 가중치에 Monte Carlo 샘플링을 추가하여 LoRA에 변분 추론을 도입합니다.
실제로 Monteclora는 LoRA 가중치 위에 확률적 학습 섭동을 추가하여 더 잘 보정되고 더 잘 정규화된 어댑터를 얻는다고 생각할 수 있습니다. 아래 인자들은 안정성, 정규화 강도, 계산 비용 사이의 트레이드오프를 조정할 수 있게 합니다.