PEFT documentation

P-tuning

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

P-tuning

Prompt tokens can be inserted anywhere in the input sequence, and they are optimized by a prompt encoder (image source).

P-tuning 专为自然语言理解(NLU)任务和所有语言模型而设计。

该论文的摘要如下:

尽管采用传统微调的 GPT 在自然语言理解(NLU)任务上难以取得理想效果,但我们证明,通过一种名为 P-tuning 的新方法——即使用可训练的连续提示嵌入——GPT 在 NLU 任务上的表现可以优于或媲美同等规模的 BERT。在知识探测(LAMA)基准测试中,最佳 GPT 在测试时未提供任何额外文本的情况下,恢复了 64\%(P@1)的世界知识,较此前最佳结果提升了 20 多个百分点。在 SuperGlue 基准测试中,GPT 在监督学习中的表现与同等规模的 BERT 相当,有时甚至更优。重要的是,我们发现 P-tuning 在少样本和监督设置下均能提升 BERT 的性能,同时大幅降低了对提示工程的需求。因此,P-tuning 在少样本 SuperGlue 基准测试上超越了当前最先进的方法。

该方法在输入中添加可训练的提示嵌入,并通过提示编码器对其进行优化以找到更优的提示,从而无需手动设计提示。提示标记可以添加到输入序列中的任意位置,p-tuning 还引入了锚点标记以提升性能。提示编码器(双向长短期记忆网络或 LSTM)用于优化提示参数。与 prefix tuning 不同:

  • 提示词标记可以插入到输入序列中的任意位置,并不仅限于开头
  • 提示词标记仅被添加到输入中,而不是添加到模型的每一层
  • 引入 anchor 标记可以提升性能,因为它们指示了输入序列中某个组件的特征

该论文的结果表明,P-tuning 比手动设计提示词更高效,并且它使 GPT 类模型能够在 NLU 任务上与 BERT 类模型相竞争。

用法

创建一个 PromptEncoderConfig,其中包含任务类型、要添加并学习的虚拟 token 数量,以及用于学习提示参数的编码器的隐藏层大小。

from peft import PromptEncoderConfig, get_peft_model

peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

基准测试概览

API

PromptEncoderConfig

类 peft.PromptEncoderConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneencoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>encoder_hidden_size: int = Noneencoder_num_layers: int = 2encoder_dropout: float = 0.0 )

参数

  • encoder_reparameterization_type (Union[PromptEncoderReparameterizationType, str]) — 要使用的重参数化类型。
  • encoder_hidden_size (int) — 提示编码器的隐藏层大小。
  • encoder_num_layers (int) — 提示编码器的层数。
  • encoder_dropout (float) — 提示编码器的 dropout 概率。

这是用于存储 PromptEncoder 配置的类。

PromptEncoder

类 peft.PromptEncoder

< >

( config )

参数

用于生成 p-tuning 虚拟 token 嵌入的提示编码器网络。

示例:

>>> from peft import PromptEncoder, PromptEncoderConfig

>>> config = PromptEncoderConfig(
...     peft_type="P_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_reparameterization_type="MLP",
...     encoder_hidden_size=768,
... )

>>> prompt_encoder = PromptEncoder(config)

属性:

  • 嵌入 (torch.nn.Embedding) — 提示编码器的嵌入层。
  • mlp_head (torch.nn.Sequential) — 当 inference_mode=False 时,提示编码器的 MLP 头部。
  • lstm_head (torch.nn.LSTM) — 当 inference_mode=False 且 encoder_reparameterization_type="LSTM" 时,提示编码器的 LSTM 头部。
  • token_dim (int) — 基础 Transformer 模型的隐藏嵌入维度。
  • input_size (int) — 提示编码器的输入大小。
  • output_size (int) — 提示编码器的输出大小。
  • hidden_size (int) — 提示编码器的隐藏层大小。
  • total_virtual_tokens (int): 提示编码器的虚拟 token 总数。
  • encoder_type (Union[PromptEncoderReparameterizationType, str]): 提示编码器的编码器类型。

输入形状: (batch_size, total_virtual_tokens)

输出形状: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub