PEFT documentation

P-tuning

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

P-tuning

Prompt tokens can be inserted anywhere in the input sequence, and they are optimized by a prompt encoder (image source).

P-tuning은 자연어 이해(NLU) 작업과 모든 언어 모델을 위해 설계되었습니다.

해당 논문의 초록은 다음과 같습니다:

전통적인 파인튜닝을 적용한 GPT는 자연어 이해(NLU)에서 강력한 결과를 달성하지 못하지만, 학습 가능한 연속 프롬프트 임베딩을 활용하는 새로운 방법인 P-tuning을 사용하면 GPT가 NLU 작업에서 유사한 크기의 BERT보다 우수하거나 동등한 성능을 낼 수 있음을 보여줍니다. 지식 탐지(LAMA) 벤치마크에서, 테스트 시점에 추가 텍스트를 제공하지 않는 조건에서 최상의 GPT는 세계 지식의 64\%(P@1)를 복원하여 이전 최고 기록을 20% 포인트 이상 개선했습니다. SuperGlue 벤치마크에서는 GPT가 지도 학습에서 유사한 크기의 BERT와 동등하거나 때로는 더 나은 성능을 달성합니다. 특히, P-tuning은 프롬프트 엔지니어링의 필요성을 크게 줄이면서 소수 샷 및 지도 학습 환경 모두에서 BERT의 성능을 향상시킵니다. 그 결과, P-tuning은 소수 샷 SuperGlue 벤치마크에서 최첨단 접근법을 능가합니다..

이 메서드는 입력에 학습 가능한 프롬프트 임베딩을 추가하며, 프롬프트 인코더를 통해 최적화하여 더 나은 프롬프트를 찾도록 하여 프롬프트를 수동으로 설계할 필요가 없도록 합니다. 프롬프트 토큰은 입력 시퀀스의 어디에나 추가할 수 있으며, p-tuning은 성능 향상을 위해 앵커 토큰도 도입합니다. 프롬프트 인코더(양방향 장기 단기 기억 네트워크 또는 LSTM)는 프롬프트 매개변수를 최적화하는 데 사용됩니다. prefix tuning과 달리:

  • the prompt tokens는 입력 시퀀스의 어디에나 삽입할 수 있으며, 반드시 시작 부분에 위치해야 하는 것은 아닙니다
  • 프롬프트 토큰은 모델의 모든 레이어에 추가하는 대신 입력에만 추가됩니다
  • anchor 토큰을 도입하면 입력 시퀀스의 구성 요소 특성을 나타내므로 성능을 향상시킬 수 있습니다

이 논문의 결과는 P-tuning이 수동으로 프롬프트를 작성하는 것보다 더 효율적이며, GPT 계열 모델이 NLU 작업에서 BERT 계열 모델과 경쟁할 수 있음을 보여줍니다.

사용

작업 유형, 추가하고 학습할 가상 토큰 수, 프롬프트 파라미터를 학습하기 위한 인코더의 hidden size를 사용하여 PromptEncoderConfig를 생성합니다.

from peft import PromptEncoderConfig, get_peft_model

peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

벤치마크 개요

API

PromptEncoderConfig

클래스 peft.PromptEncoderConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneencoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>encoder_hidden_size: int = Noneencoder_num_layers: int = 2encoder_dropout: float = 0.0 )

매개변수

  • encoder_reparameterization_type (Union[PromptEncoderReparameterizationType, str]) — 사용할 재매개변수화 유형입니다.
  • encoder_hidden_size (int) — 프롬프트 인코더의 히든 크기입니다.
  • encoder_num_layers (int) — 프롬프트 인코더의 레이어 수.
  • encoder_dropout (float) — 프롬프트 인코더의 드롭아웃 확률입니다.

이것은 PromptEncoder의 구성을 저장하기 위한 구성 클래스입니다.

PromptEncoder

클래스 peft.PromptEncoder

< >

( config )

매개변수

p-tuning에서 가상 토큰 임베딩을 생성하는 데 사용되는 프롬프트 인코더 네트워크입니다.

예:

>>> from peft import PromptEncoder, PromptEncoderConfig

>>> config = PromptEncoderConfig(
...     peft_type="P_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_reparameterization_type="MLP",
...     encoder_hidden_size=768,
... )

>>> prompt_encoder = PromptEncoder(config)

속성:

  • embedding (torch.nn.Embedding) — 프롬프트 인코더의 임베딩 레이어.
  • mlp_head (torch.nn.Sequential) — inference_mode=False인 경우 프롬프트 인코더의 MLP 헤드입니다.
  • lstm_head (torch.nn.LSTM) — inference_mode=False이고 encoder_reparameterization_type="LSTM"인 경우 프롬프트 인코더의 LSTM 헤드입니다.
  • token_dim (int) — 기본 transformer 모델의 숨겨진 임베딩 차원입니다.
  • input_size (int) — 프롬프트 인코더의 입력 크기입니다.
  • output_size (int) — 프롬프트 인코더의 출력 크기입니다.
  • hidden_size (int) — 프롬프트 인코더의 숨겨진 크기입니다.
  • total_virtual_tokens (int): 프롬프트 인코더의 가상 토큰 총 개수.
  • encoder_type (Union[PromptEncoderReparameterizationType, str]): 프롬프트 인코더의 인코더 유형.

입력 형상: (batch_size, total_virtual_tokens)

출력 형상: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub