PEFT documentation
BEFT: 저데이터 환경에서 언어 모델의 편향 효율적 미세 조정
BEFT: 저데이터 환경에서 언어 모델의 편향 효율적 미세 조정
BEFT는 사전 학습된 transformer 모델의 value projection에 추가된 bias 항만 fine-tuning하는 parameter efficient fine-tuning 알고리즘(PEFT)입니다. BEFT는 사전 학습된 transformer의 value projection에 추가된 bias 항을 fine-tuning하는 것이 query/key projection에 추가된 bias 항을 fine-tuning하는 것보다 일반적으로 저데이터 환경에서 더 높은 downstream 성능을 이끌어낸다는 것을 보여줍니다.
BEFT에는 현재 다음과 같은 트레이드오프가 있습니다:
장점:
- BEFT는 LoRA보다 훨씬 적은 매개변수를 요구하면서도, 저데이터 환경에서 다양한 작업에 걸쳐 경쟁력 있거나 우수한 성능을 유지합니다.
단점:
- 데이터가 풍부한 환경에서는 BEFT가 LoRA 및 전체 파라미터 fine-tuning에 비해 효과가 제한적일 수 있습니다.
사용 사례가 고데이터(high-data) 영역에 해당한다면, LoRA와 같은 다른 PEFT 방법을 고려해 보세요.
해당 논문의 초록은 다음과 같습니다:
대형 언어 모델(LLM)의 편향(bias) 항을 미세 조정(fine-tuning)하는 것은, 특히 데이터가 적은 환경에서 경쟁력 있는 성능을 유지하면서 전례 없는 매개변수 효율성을 달성할 수 있는 잠재력을 지닙니다. 그러나 서로 다른 편향 항(즉, 쿼리, 키 또는 값 투영의 bq, bk, bv)을 미세 조정하는 것과 다운스트림 성능 사이의 연관성은 현재까지 대부분 불분명합니다. 본 논문에서는 bq, bk, bv의 미세 조정과 다운스트림 작업 성능 사이의 연관성을 조사합니다. 우리의 핵심 발견은, bq 및 bk와 비교할 때 bv를 직접 미세 조정하는 것이 일반적으로 데이터가 적은 환경에서 더 높은 다운스트림 성능을 이끌어낸다는 것입니다. 우리는 6.7B 매개변수에 이르는 인코더 전용 및 디코더 전용 아키텍처를 아우르는 다양한 LLM(편향이 없는 LLM 포함)에 걸쳐 이 고유한 특성을 광범위하게 평가했습니다. 우리의 결과는 다양한 다운스트림 작업 전반에서 bv를 직접 미세 조정하는 것의 효과성에 대한 강력한 증거를 제공합니다.
벤치마크 개요
API
BeftConfig
클래스 peft.BeftConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = True )
매개변수
- target_modules (
Optional[Union[List[str], str]]) — 어댑터를 적용할 모듈의 이름입니다. 이 값이 지정되면, 지정된 이름을 가진 모듈만 교체됩니다. 문자열을 전달하면 정규식 매칭이 수행됩니다. 문자열 목록을 전달하면 정확한 매칭이 수행되거나, 모듈 이름이 전달된 문자열 중 하나로 끝나는지 확인됩니다. 이 값이 지정되지 않으면 모델 아키텍처에 따라 모듈이 선택됩니다. 아키텍처가 알려지지 않은 경우 오류가 발생하며, 이 경우 대상 모듈을 수동으로 지정해야 합니다. - modules_to_save (
Optional[List[str]]) — BEFT 레이어를 제외한 최종 체크포인트에 저장할 학습 가능 모듈 목록. - init_weights (
bool) — BEFT 레이어의 벡터를 초기화할지 여부입니다. 기본값은True입니다. 이 값을False로 설정하는 것은 권장되지 않습니다.
이것은 BeftModel의 구성을 저장하기 위한 구성 클래스입니다.
BeftModel
클래스 peft.BeftModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
매개변수
- model (PreTrainedModel) — 적응할 모델.
- config (BeftConfig) — (BEFT) 모델의 구성입니다.
- adapter_name (
str) — 어댑터의 이름이며, 기본값은"default"입니다. - low_cpu_mem_usage (
bool,optional, 기본값False) — 메타 디바이스에 빈 어댑터 가중치를 생성합니다. 로딩 프로세스를 가속하는 데 유용합니다.
반환값
torch.nn.Module
(BEFT) 모델.
학습 데이터가 적은 환경(BEFT)에서 사전 학습된 transformers 모델의 value projection에 추가된 bias 항만 fine-tuning하여 Infused Adapter를 생성합니다. 해당 방법은 https://arxiv.org/abs/2509.15974에서 자세히 설명되어 있습니다.
예:
>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model
>>> config = BeftConfig(
... task_type="SEQ_2_SEQ_LM",
... target_modules=["v"],
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)속성:
- model (PreTrainedModel) — 적응할 모델.
- peft_config (BeftConfig): (BEFT) 모델의 구성입니다.