PEFT documentation

Prefix tuning

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Prefix tuning

Optimize the prefix parameters for each task (image source).

Prefix tuning은 사전 학습된 모델을 고정 상태로 유지하면서 학습할 수 있는 작업별 벡터 시퀀스를 입력 시퀀스에 접두사로 붙입니다. 접두사 매개변수는 모델의 모든 레이어에 삽입됩니다.

해당 논문의 초록은 다음과 같습니다:

Fine-tuning은 사전 학습된 대규모 언어 모델을 활용하여 다운스트림 작업을 수행하는 사실상 표준 방식입니다. 그러나 이 방식은 언어 모델의 모든 매개변수를 수정하므로, 각 작업마다 전체 사본을 저장해야 합니다. 본 논문에서는 자연어 생성 작업을 위한 fine-tuning의 경량 대안인 prefix-tuning을 제안합니다. prefix-tuning은 언어 모델 매개변수를 고정 상태로 유지하면서, 작은 연속적인 작업별 벡터(즉, prefix)만 최적화합니다. Prefix-tuning은 prompting에서 영감을 받아, 후속 토큰이 prefix를 “가상 토큰”인 것처럼 attend하도록 합니다. 우리는 prefix-tuning을 GPT-2에 적용하여 테이블-투-텍스트 생성을 수행하고, BART에 적용하여 요약 작업을 수행했습니다. 그 결과, 매개변수의 0.1\%만 학습해도 prefix-tuning은 전체 데이터 설정에서 유사한 성능을 달성하며, 저데이터 설정에서는 fine-tuning보다 우수한 성능을 보이고, 학습 중에 보지 못한 주제를 가진 예제에 대해 더 잘 외삽(extrapolate)하는 것을 확인했습니다.

참고 인코더-디코더 모델(seq2seq)의 경우, 접두사는 디코더에만 적용되며 이는 논문 사양과 일치하지 않습니다(예: Figure 2 참고). Prefix tuning은 이러한 모델 아키텍처에서도 미세 조정할 수 있지만 성능이 낮을 수 있으므로, 인코더-디코더 모델에는 다른 PEFT 방법을 사용하는 것을 고려해 보세요.

Prefix tuning은 prompt tuning과 매우 유사합니다. 주요 차이점은 prefix 매개변수가 모델의 모든 레이어에 삽입되는 반면, prompt tuning은 모델 입력 임베딩에만 prompt 매개변수를 추가한다는 것입니다. soft prompt를 직접 학습하는 것은 불안정성을 유발하고 성능을 저하시키기 때문에, prefix 매개변수는 별도의 feed-forward network(FFN)를 통해 최적화됩니다. soft prompt가 업데이트된 후에는 FFN이 폐기됩니다.

그 결과, 저자들은 prefix tuning이 매개변수가 1000배 적음에도 불구하고 모델 전체를 finetuning하는 것과 비교할 만한 성능을 보이며, 데이터가 적은 환경에서는 오히려 더 나은 성능을 낸다는 것을 발견했습니다.

기본 사용법

작업 유형과 추가 및 학습할 가상 토큰 수를 지정하여 PrefixTuningConfig를 생성합니다.

from peft import PrefixTuningConfig, get_peft_model

peft_config = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

가능한 초기화

기본적으로 prefix tuning은 무작위로 초기화된 가상 토큰을 사용합니다. 벡터를 no-op에 가깝게 초기화하는 옵션도 있습니다(제로로 초기화하더라도 확률 질량이 약간은 이동합니다). 이는 KV-cache에 주입된 prefix가 처음부터 적은 영향을 미치도록 하고, 학습 성능의 분산을 줄여줍니다.

PEFT는 기존 KV 캐시 접두사(예: 프롬프트/코퍼스에서 첫 p 토큰)에서 prefix-tuning 어댑터를 초기화하는 유틸리티도 제공합니다. 이는 학습된 매개변수가 KV 접두사 자체이기 때문에 prefix_projection=False(기본값)인 경우에만 지원됩니다.

from transformers import AutoModelForCausalLM, AutoTokenizer

from peft import PrefixTuningConfig, get_peft_model, initialize_kv_prefix_from_text

base = AutoModelForCausalLM.from_pretrained("gpt2")
tok = AutoTokenizer.from_pretrained("gpt2")

peft_cfg = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, prefix_projection=False)
model = get_peft_model(base, peft_cfg)

initialize_kv_prefix_from_text(
    model,
    tok,
    text="...a long context with at least num_virtual_tokens tokens...",
    use_chat_template=False,
)m peft import PrefixTuningConfig, get_peft_model, initialize_kv_prefix_from_text

base = AutoModelForCausalLM.from_pretrained("gpt2")
tok = AutoTokenizer.from_pretrained("gpt2")

peft_cfg = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, prefix_projection=False)
model = get_peft_model(base, peft_cfg)

initialize_kv_prefix_from_text(
    model,
    tok,
    text="...a long context with at least num_virtual_tokens tokens...",
    use_chat_template=False,
)

num_virtual_tokens 토큰 이상을 생성할 수 있을 만큼 텍스트가 충분히 긴지 확인하세요. 그렇지 않으면 초기화에 실패합니다.

가이드라인으로:

  • initialize_kv_prefix_from_text를 사용하여 중립적인 시작 시퀀스로 시작합니다. “Question: ”과 같이 매우 짧은 문자열을 사용할 수 있습니다.
  • 그렇게 해도 도움이 되지 않으면, 작업 관련성이 있는 더 긴 시퀀스(즉, 설계된 프롬프트)를 사용하여 더 많은 가상 토큰을 배치할 수 있게 하되, 모델에 대한 스티어링도 더 많이 적용하게 됩니다
  • 초기화 텍스트를 사용할 수 없거나 prefix tuning이 아예 실행 가능한지 빠르게 확인하고 싶다면, projection 없이 zero init을 사용하세요

벤치마크 개요

API

PrefixTuningConfig

클래스 peft.PrefixTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: typing.Literal['zero'] | None = Noneencoder_hidden_size: int = Noneprefix_projection: bool = False )

매개변수

  • init_weights (Optional[str]) — 설정되지 않으면 가중치가 무작위로 초기화되고, “zero”로 설정되면 활성화가 no-op(0)이 되도록 가중치가 초기화됩니다.
  • encoder_hidden_size (int) — 프롬프트 인코더의 히든 크기입니다.
  • prefix_projection (bool) — prefix 임베딩을 투영할지 여부.

이것은 PrefixEncoder의 구성을 저장하기 위한 구성 클래스입니다.

PrefixEncoder

클래스 peft.PrefixEncoder

< >

( config )

매개변수

접두사를 인코딩하기 위한 torch.nn 모델.

예:

>>> from peft import PrefixEncoder, PrefixTuningConfig

>>> config = PrefixTuningConfig(
...     peft_type="PREFIX_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_hidden_size=768,
... )
>>> prefix_encoder = PrefixEncoder(config)

속성:

  • 임베딩 (torch.nn.Embedding) — 프리픽스 인코더의 임베딩 레이어입니다.
  • transform (torch.nn.Sequential) — prefix_projection이 True인 경우, prefix 임베딩을 변환하기 위한 2층 MLP입니다.
  • prefix_projection (bool) — prefix 임베딩을 투영할지 여부.

입력 형상: (batch_size, num_virtual_tokens)

출력 형상: (batch_size, num_virtual_tokens, 2*layers*hidden)

load_prompt_embeddings

< >

( prompt_embeddings: Tensor )

PEFT가 저장한 평탄화된 프롬프트 임베딩(prompt_embeddings)을 로드합니다.

Prefix tuning의 경우, 학습된 매개변수가 KV prefix 자체이기 때문에(embedding.weight의 shape가 [num_virtual_tokens, num_layers*2*token_dim]임) prefix_projection=False일 때만 지원됩니다.

prefix_projection=True인 경우, 매개변수는 (가상 토큰 임베딩 + MLP)이며, 평탄화된 KV prefix에서 해당 매개변수를 복원하기 위해 투영을 역변환하는 일반적인 방법은 없습니다.

Update on GitHub