PEFT documentation

BEFT: 저데이터 환경에서 언어 모델의 편향 효율적 미세 조정

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BEFT: 저데이터 환경에서 언어 모델의 편향 효율적 미세 조정

BEFT는 사전 학습된 transformer 모델의 value projection에 추가된 bias 항만 fine-tuning하는 parameter efficient fine-tuning 알고리즘(PEFT)입니다. BEFT는 사전 학습된 transformer의 value projection에 추가된 bias 항을 fine-tuning하는 것이 query/key projection에 추가된 bias 항을 fine-tuning하는 것보다 일반적으로 저데이터 환경에서 더 높은 downstream 성능을 이끌어낸다는 것을 보여줍니다.

BEFT에는 현재 다음과 같은 트레이드오프가 있습니다:

장점:

  • BEFT는 LoRA보다 훨씬 적은 매개변수를 요구하면서도, 저데이터 환경에서 다양한 작업에 걸쳐 경쟁력 있거나 우수한 성능을 유지합니다.

단점:

  • 데이터가 풍부한 환경에서는 BEFT가 LoRA 및 전체 파라미터 fine-tuning에 비해 효과가 제한적일 수 있습니다.

사용 사례가 고데이터(high-data) 영역에 해당한다면, LoRA와 같은 다른 PEFT 방법을 고려해 보세요.

해당 논문의 초록은 다음과 같습니다:

대형 언어 모델(LLM)의 편향(bias) 항을 미세 조정(fine-tuning)하는 것은, 특히 데이터가 적은 환경에서 경쟁력 있는 성능을 유지하면서 전례 없는 매개변수 효율성을 달성할 수 있는 잠재력을 지닙니다. 그러나 서로 다른 편향 항(즉, 쿼리, 키 또는 값 투영의 bq, bk, bv)을 미세 조정하는 것과 다운스트림 성능 사이의 연관성은 현재까지 대부분 불분명합니다. 본 논문에서는 bq, bk, bv의 미세 조정과 다운스트림 작업 성능 사이의 연관성을 조사합니다. 우리의 핵심 발견은, bq 및 bk와 비교할 때 bv를 직접 미세 조정하는 것이 일반적으로 데이터가 적은 환경에서 더 높은 다운스트림 성능을 이끌어낸다는 것입니다. 우리는 6.7B 매개변수에 이르는 인코더 전용 및 디코더 전용 아키텍처를 아우르는 다양한 LLM(편향이 없는 LLM 포함)에 걸쳐 이 고유한 특성을 광범위하게 평가했습니다. 우리의 결과는 다양한 다운스트림 작업 전반에서 bv를 직접 미세 조정하는 것의 효과성에 대한 강력한 증거를 제공합니다.

벤치마크 개요

API

BeftConfig

클래스 peft.BeftConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = True )

매개변수

  • target_modules (Optional[Union[List[str], str]]) — 어댑터를 적용할 모듈의 이름입니다. 이 값이 지정되면, 지정된 이름을 가진 모듈만 교체됩니다. 문자열을 전달하면 정규식 매칭이 수행됩니다. 문자열 목록을 전달하면 정확한 매칭이 수행되거나, 모듈 이름이 전달된 문자열 중 하나로 끝나는지 확인됩니다. 이 값이 지정되지 않으면 모델 아키텍처에 따라 모듈이 선택됩니다. 아키텍처가 알려지지 않은 경우 오류가 발생하며, 이 경우 대상 모듈을 수동으로 지정해야 합니다.
  • modules_to_save (Optional[List[str]]) — BEFT 레이어를 제외한 최종 체크포인트에 저장할 학습 가능 모듈 목록.
  • init_weights (bool) — BEFT 레이어의 벡터를 초기화할지 여부입니다. 기본값은 True입니다. 이 값을 False로 설정하는 것은 권장되지 않습니다.

이것은 BeftModel의 구성을 저장하기 위한 구성 클래스입니다.

BeftModel

클래스 peft.BeftModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

매개변수

  • model (PreTrainedModel) — 적응할 모델.
  • config (BeftConfig) — (BEFT) 모델의 구성입니다.
  • adapter_name (str) — 어댑터의 이름이며, 기본값은 "default"입니다.
  • low_cpu_mem_usage (bool, optional, 기본값 False) — 메타 디바이스에 빈 어댑터 가중치를 생성합니다. 로딩 프로세스를 가속하는 데 유용합니다.

반환값

torch.nn.Module

(BEFT) 모델.

학습 데이터가 적은 환경(BEFT)에서 사전 학습된 transformers 모델의 value projection에 추가된 bias 항만 fine-tuning하여 Infused Adapter를 생성합니다. 해당 방법은 https://arxiv.org/abs/2509.15974에서 자세히 설명되어 있습니다.

예:

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model

>>> config = BeftConfig(
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["v"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)

속성:

Update on GitHub