PEFT documentation

P-tuning

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

P-tuning

Prompt tokens can be inserted anywhere in the input sequence, and they are optimized by a prompt encoder (image source).

P-tuning được thiết kế cho các tác vụ hiểu ngôn ngữ tự nhiên (NLU) và tất cả các mô hình ngôn ngữ.

Tóm tắt từ bài báo là:

Mặc dù các GPT được tinh chỉnh theo cách truyền thống không đạt được kết quả mạnh mẽ trong hiểu ngôn ngữ tự nhiên (NLU), chúng tôi cho thấy rằng với một phương pháp mới mang tên P-tuning — sử dụng các nhúng prompt liên tục có thể huấn luyện — các GPT có thể tốt hơn hoặc tương đương với các BERT có kích thước tương tự trên các tác vụ NLU. Trên bộ chuẩn kiểm tra tri thức (LAMA), GPT tốt nhất khôi phục được 64\% (P@1) tri thức thế giới mà không cần bất kỳ văn bản bổ sung nào trong thời gian kiểm tra, cải thiện đáng kể so với mức tốt nhất trước đó hơn 20 điểm phần trăm. Trên bộ chuẩn SuperGlue, các GPT đạt hiệu suất tương đương và đôi khi tốt hơn so với các BERT có kích thước tương tự trong học có giám sát. Quan trọng hơn, chúng tôi nhận thấy rằng P-tuning cũng cải thiện hiệu suất của BERT trong cả cài đặt ít mẫu (few-shot) và có giám sát, đồng thời giảm đáng kể nhu cầu kỹ thuật prompt. Do đó, P-tuning vượt trội hơn các phương pháp tiên tiến nhất trên bộ chuẩn SuperGlue ít mẫu..

Phương pháp này thêm các embedding prompt có thể huấn luyện vào đầu vào, được tối ưu hóa bởi một prompt encoder để tìm ra prompt tốt hơn, loại bỏ nhu cầu thiết kế prompt thủ công. Các token prompt có thể được thêm vào bất kỳ vị trí nào trong chuỗi đầu vào, và p-tuning cũng giới thiệu các token anchor để cải thiện hiệu suất. Một prompt encoder (một mạng long-short term memory hai chiều hoặc LSTM) được sử dụng để tối ưu hóa các tham số prompt. Khác với prefix tuning:

  • các token prompt có thể được chèn vào bất kỳ vị trí nào trong chuỗi đầu vào, và không bị giới hạn chỉ ở phần đầu
  • các token prompt chỉ được thêm vào đầu vào thay vì được thêm vào mọi lớp của mô hình
  • việc giới thiệu các token anchor có thể cải thiện hiệu suất vì chúng chỉ ra các đặc điểm của một thành phần trong chuỗi đầu vào

Kết quả của bài báo cho thấy P-tuning hiệu quả hơn so với việc tạo prompt thủ công, và nó cho phép các mô hình kiểu GPT cạnh tranh với các mô hình kiểu BERT trên các tác vụ NLU.

Cách sử dụng

Tạo một PromptEncoderConfig với loại tác vụ, số lượng token ảo cần thêm và học, cùng kích thước ẩn của encoder để học các tham số prompt.

from peft import PromptEncoderConfig, get_peft_model

peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Tổng quan về benchmark

API

PromptEncoderConfig

lớp peft.PromptEncoderConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneencoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>encoder_hidden_size: int = Noneencoder_num_layers: int = 2encoder_dropout: float = 0.0 )

Tham số

  • encoder_reparameterization_type (Union[PromptEncoderReparameterizationType, str]) — Loại reparameterization cần sử dụng.
  • encoder_hidden_size (int) — Kích thước ẩn của bộ mã hóa prompt.
  • encoder_num_layers (int) — Số lượng lớp của bộ mã hóa prompt.
  • encoder_dropout (float) — Xác suất dropout của bộ mã hóa prompt.

Đây là lớp cấu hình để lưu trữ cấu hình của một PromptEncoder.

PromptEncoder

lớp peft.PromptEncoder

< >

( config )

Tham số

Mạng mã hóa prompt được sử dụng để tạo ra các nhúng token ảo cho p-tuning.

Ví dụ:

>>> from peft import PromptEncoder, PromptEncoderConfig

>>> config = PromptEncoderConfig(
...     peft_type="P_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_reparameterization_type="MLP",
...     encoder_hidden_size=768,
... )

>>> prompt_encoder = PromptEncoder(config)

Thuộc tính:

  • embedding (torch.nn.Embedding) — Lớp embedding của bộ mã hóa prompt.
  • mlp_head (torch.nn.Sequential) — Đầu MLP của bộ mã hóa prompt nếu inference_mode=False.
  • lstm_head (torch.nn.LSTM) — Đầu LSTM của bộ mã hóa prompt nếu inference_mode=False và encoder_reparameterization_type="LSTM".
  • token_dim (int) — Kích thước nhúng ẩn của mô hình transformer cơ sở.
  • input_size (int) — Kích thước đầu vào của trình mã hóa prompt.
  • output_size (int) — Kích thước đầu ra của prompt encoder.
  • hidden_size (int) — Kích thước ẩn của bộ mã hóa prompt.
  • total_virtual_tokens (int): Tổng số lượng token ảo của bộ mã hóa prompt.
  • encoder_type (Union[PromptEncoderReparameterizationType, str]): Kiểu encoder của prompt encoder.

Hình dạng đầu vào: (batch_size, total_virtual_tokens)

Hình dạng đầu ra: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub