PEFT documentation
P-tuning
P-tuning

P-tuning 专为自然语言理解(NLU)任务和所有语言模型而设计。
该论文的摘要如下:
尽管采用传统微调的 GPT 在自然语言理解(NLU)任务上难以取得理想效果,但我们证明,通过一种名为 P-tuning 的新方法——即使用可训练的连续提示嵌入——GPT 在 NLU 任务上的表现可以优于或媲美同等规模的 BERT。在知识探测(LAMA)基准测试中,最佳 GPT 在测试时未提供任何额外文本的情况下,恢复了 64\%(P@1)的世界知识,较此前最佳结果提升了 20 多个百分点。在 SuperGlue 基准测试中,GPT 在监督学习中的表现与同等规模的 BERT 相当,有时甚至更优。重要的是,我们发现 P-tuning 在少样本和监督设置下均能提升 BERT 的性能,同时大幅降低了对提示工程的需求。因此,P-tuning 在少样本 SuperGlue 基准测试上超越了当前最先进的方法。
该方法在输入中添加可训练的提示嵌入,并通过提示编码器对其进行优化以找到更优的提示,从而无需手动设计提示。提示标记可以添加到输入序列中的任意位置,p-tuning 还引入了锚点标记以提升性能。提示编码器(双向长短期记忆网络或 LSTM)用于优化提示参数。与 prefix tuning 不同:
- 提示词标记可以插入到输入序列中的任意位置,并不仅限于开头
- 提示词标记仅被添加到输入中,而不是添加到模型的每一层
- 引入 anchor 标记可以提升性能,因为它们指示了输入序列中某个组件的特征
该论文的结果表明,P-tuning 比手动设计提示词更高效,并且它使 GPT 类模型能够在 NLU 任务上与 BERT 类模型相竞争。
用法
创建一个 PromptEncoderConfig,其中包含任务类型、要添加并学习的虚拟 token 数量,以及用于学习提示参数的编码器的隐藏层大小。
from peft import PromptEncoderConfig, get_peft_model
peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()基准测试概览
API
PromptEncoderConfig
类 peft.PromptEncoderConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneencoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>encoder_hidden_size: int = Noneencoder_num_layers: int = 2encoder_dropout: float = 0.0 )
这是用于存储 PromptEncoder 配置的类。
PromptEncoder
用于生成 p-tuning 虚拟 token 嵌入的提示编码器网络。
示例:
>>> from peft import PromptEncoder, PromptEncoderConfig
>>> config = PromptEncoderConfig(
... peft_type="P_TUNING",
... task_type="SEQ_2_SEQ_LM",
... num_virtual_tokens=20,
... token_dim=768,
... num_transformer_submodules=1,
... num_attention_heads=12,
... num_layers=12,
... encoder_reparameterization_type="MLP",
... encoder_hidden_size=768,
... )
>>> prompt_encoder = PromptEncoder(config)属性:
- 嵌入 (
torch.nn.Embedding) — 提示编码器的嵌入层。 - mlp_head (
torch.nn.Sequential) — 当inference_mode=False时,提示编码器的 MLP 头部。 - lstm_head (
torch.nn.LSTM) — 当inference_mode=False且encoder_reparameterization_type="LSTM"时,提示编码器的 LSTM 头部。 - token_dim (
int) — 基础 Transformer 模型的隐藏嵌入维度。 - input_size (
int) — 提示编码器的输入大小。 - output_size (
int) — 提示编码器的输出大小。 - hidden_size (
int) — 提示编码器的隐藏层大小。 - total_virtual_tokens (
int): 提示编码器的虚拟 token 总数。 - encoder_type (Union[
PromptEncoderReparameterizationType,str]): 提示编码器的编码器类型。
输入形状: (batch_size, total_virtual_tokens)
输出形状: (batch_size, total_virtual_tokens, token_dim)