PEFT documentation

上下文感知提示调优:利用对抗方法推进上下文学习

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

上下文感知提示调优:利用对抗方法推进上下文学习

CPT optimizing only specific token embeddings while keeping the rest of the model frozen (image source).

上下文感知提示调优(CPT)旨在通过仅优化上下文嵌入来增强少样本分类性能。 该方法结合了上下文学习(ICL)、提示调优(PT)以及对抗优化的思想,专注于使模型适配既参数高效又有效。 在 CPT 中,仅优化特定的上下文标记嵌入,而模型的其余部分保持冻结。 为防止过拟合并保持稳定性,CPT 使用受控扰动来限制上下文嵌入在定义范围内的允许变化。 此外,为了解决近因偏差现象——即上下文末尾附近的示例往往比前面的示例更受重视——CPT 应用了衰减损失因子。

该论文的摘要如下:

大型语言模型(LLMs)可以通过基于优化的方法或上下文学习(ICL)来执行少样本学习。基于优化的方法通常容易过拟合,因为它们需要用有限的数据更新大量参数。相比之下,ICL 避免了过拟合,但通常表现不如基于优化的方法,并且对示例的选择、顺序和格式高度敏感。为了克服这些挑战,我们引入了上下文感知提示调优(CPT),这是一种受 ICL、提示调优(PT)和对抗攻击启发的方法。CPT 建立在 ICL 将示例拼接在输入之前的策略之上,并通过引入类似 PT 的学习来扩展该策略,利用迭代优化来细化上下文嵌入,从而从训练示例中提取更深入的见解。我们的方法仔细修改特定的上下文标记,同时考虑上下文中示例的独特结构。除了使用类似 PT 的优化来更新上下文外,CPT 还从对抗攻击中汲取灵感,根据上下文中存在的标签调整输入,同时保留用户提供的数据的内在价值。为了确保优化过程中的鲁棒性和稳定性,我们采用投影梯度下降算法,将标记嵌入约束在接近其原始值的范围内,从而保护上下文的质量。我们的方法在使用多种 LLM 模型进行多个分类任务时展示了卓越的准确性,优于现有的基线,并有效解决了少样本学习中的过拟合挑战。

请查看 示例,了解使用 CPT 训练模型的逐步指南。

工作原理

上下文感知提示微调(Context-aware Prompt Tuning)与 Prompt Tuning 类似,您可以选择任意文本提示,并通过仅在提示词元上设置第二层词元嵌入,使该提示的词元(且仅该提示的词元)变得可训练。每当您查询 CPT 模型时,您的“软”提示将被前置到常规输入的嵌入之前。CPT 与 Prompt Tuning 的区别在于,您可以通过标记特定部分不进行训练,从而对软提示进行上下文感知。CPT 特有的词元嵌入矩阵由两部分组成:从基础模型的嵌入矩阵初始化的静态嵌入,以及可学习的词元特定增量值。

CPT 适用于提示词中同时包含指令和示例以及真实值/标签的场景。指令可能并非最优,因此在训练过程中对其进行优化(类似于提示词调优)会带来好处,但提示词中包含的示例/标签不应被更改。这可以通过明确定义提示词结束和示例开始的位置来强制实现。CPT 还会为提示词中的示例向模型的标准下一个词元预测损失添加词元损失,以充分利用给定的示例。

CPT 使用五种不同的 type id 来标记提示中的不同部分:

  • 0: separator: 将被完全忽略,适用于句子开始/结束标记
  • 1: 输入标记:描述提示词的标记,用于标记整个输入端模板,包括附加信息
  • 2: 输入查询:描述示例中用户输入的标记
  • 3: 输出标记:描述示例预期输出起始位置的标记
  • 4: label: 属于示例标签的 token

这非常抽象,因此下面给出一个 CPT 提示词及其对应的类型标识符示例。 为简化起见,我们假设每个单词 = 1 个 token:

prompt_text = "Example 1: Input: 1+1 Answer: 2 Example 2: 1+3 Answer: 4"

token_ids = [15,  2,      11, 9, 1,    9, 11, 3, 11, 8,     9, 4, 2,       4, 9, 11, 3, 6, 8,     9,  10]
#            BOS, Example 1   :  Input :  1   +  1   Answer :  2  Example  2  :  1   +  3  Answer :   4
type_ids  = [0,   1,      1,  1, 1,    1, 2,  2, 2,  3,     3, 4, 5,       5, 5, 6,  6, 6, 7,     7,  8]
                                                                # 1,       1, 1, 2,  2, 2, 3,     3,  4

token_ids 是由基础模型的 tokenizer 编码后的提示词,对应于 ~CPTConfig.cpt_token_ids。type_ids 是提示词的 token 类型 id,用于定义提示词的不同部分,对应于 ~CPTConfig.cpt_tokens_type_mask。

各个 id 对训练过程的影响各不相同:

  • 0: 将被完全忽略,不会贡献于损失,这些标记也不会被训练,适用于那些仅因技术原因而存在、否则会无用地扩大参数空间的标记(例如 EOS 标记)
  • 1 和 3:这些 token 会被纳入格式化处理,其嵌入差值的最大范数由 opt_projection_format_epsilon() 控制。该范数决定了此类学习到的差值嵌入所能指向的最大幅度。范数越高,意味着语义发生变化的潜在程度越大。
  • 2:这些标记被视为示例的输入,其嵌入差值的最大范数由 opt_projection_epsilon() 控制。该范数控制此类型学习到的差值嵌入所能指向的最大幅度。范数越高,意味着语义变化的潜在幅度越大。
  • 4: 提示的标签 token 会作为额外的下一个 token 预测目标,添加到训练数据上的标准损失中;其余所有软提示 token 均从损失中屏蔽。标签 token 的增量嵌入永远不会被修改,以保持标签语义的完整性。

您可能已经注意到,第二个示例中 type_ids 的数值偏移了 4。CPT 对您在提示中提供的示例的损失采用指数加权,最后一个示例的衰减最小,而第一个示例的损失衰减最大。这使得更接近实际输入查询的示例获得更高的权重,该行为由 opt_loss_decay_factor() 控制,前提是 opt_weighted_loss_type() 被设置为 "decay"。通过将示例偏移 4,我们可以为不同的示例进行枚举,从而使损失函数能够为每个示例分配不同的衰减权重。

请注意,cpt_tokens_type_mask 仅描述软提示本身。在训练时,还需为每个批次额外传入一个 input_type_mask 张量,为您的实际输入中的 token 分配类型 ID(如上所述使用 ID 0-4,并将填充或句末 token 标记为 0)。CPT 会自动将这些 ID 偏移提示中示例的数量,因此您无需自行进行偏移。这相当于将输入添加到提示中示例列表的末尾。请记住,这些 ID 是按模 4 解释的:偏移 4 的倍数是无害的,但任何其他偏移都会静默地改变哪些 token 对损失有贡献。如果未传入 input_type_mask,CPT 将回退到在整个输入序列上计算损失,即假设所有输入 token 的类型均为 4。

基准测试概览

目前尚无针对此方法的基准测试。欢迎贡献实验配置,但请先在此处创建 issue。

API

CPTConfig

类 peft.CPTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Nonecpt_token_ids: list[int] | None = Nonecpt_mask: list[int] | None = Nonecpt_tokens_type_mask: list[int] | None = Noneopt_weighted_loss_type: typing.Literal['none', 'decay'] | None = 'none'opt_loss_decay_factor: float | None = 1.0opt_projection_epsilon: float | None = 0.1opt_projection_format_epsilon: float | None = 0.1tokenizer_name_or_path: str | None = None )

CPT 配置类,继承自 PeftConfig,用于上下文感知提示调优(CPT)。

此类引入了 CPT 所需的额外参数,例如:

  • Token 类型掩码
  • 提示词调优初始化
  • 损失权重
  • 投影设置

有关更多详细信息,请参阅论文:https://huggingface.co/papers/2410.17222

CPTEmbedding

类 peft.CPTEmbedding

< >

( configword_embeddings )

CPTEmbedding 是专为 PEFT 中的上下文感知提示调优(CPT)设计的自定义嵌入层。它负责初始化嵌入、应用提示特定的投影,并使用标签掩码计算损失。

calculate_loss

< >

( base_model_outputlabelscpt_type_maskconfig ) → ModelOutput

参数

  • base_model_output (ModelOutput) — 基础模型的输出,包含 logits。
  • labels (torch.Tensor) — 输入 token 的真实标签。
  • cpt_type_mask (torch.Tensor) — 用于过滤有效损失项的 Token 类型掩码。
  • config (Namespace) — 包含与损失相关的超参数的配置对象。

返回值

ModelOutput

带有计算损失的基座模型输出。

计算 CPT 模型的损失,支持可选的指数衰减。

该函数不会计算整个序列上的均匀平均交叉熵损失,而是利用 cpt_type_mask 中编码的模 4 命名空间,为每个不同的演示隔离出标签 token。当 config.opt_weighted_loss_type="decay" 时,它会在各个演示之间应用指数衰减权重(config.opt_loss_decay_factor),从而优先关注后续的示例(以及最终的查询预测),而非较早的演示。

演示分组逻辑:

  • 满足 (cpt_type_mask > 0) & (cpt_type_mask % 4 == 0) 的 Token 表示真实标签。
  • 演示索引 k 是其标签类型 ID 在下一个 token 移位后存在的不同标签 ID 中的排名,按升序排列(从 0 开始索引)。
  • 交叉熵损失针对每个有效的标签 token 进行计算。
  • 给定 K 个不同的标签 ID 和衰减因子 gamma(opt_loss_decay_factor),演示 k(其中 0 <= k < K)的权重为:weight_k = gamma ** (K - 1 - k) 最终损失为加权 token 损失之和除以有效标签的数量。

示例: 假设一个序列包含 2 个提示演示,后跟 1 个用户查询(K = 3),每个在下一个 token 移位后都有一个有效标签:

  • 演示 1(前缀演示 1):标签 token 的类型为 4 -> 交叉熵 L_0 = 2.0
  • 演示 2(前缀演示 2):标签 token 的类型为 8 -> 交叉熵 L_1 = 1.6
  • 演示 3(目标查询):标签 token 的类型为 12 -> 交叉熵 L_2 = 1.0

当 opt_weighted_loss_type="decay" 且 opt_loss_decay_factor = 0.5 时:

  • 演示 1 权重:0.5 (3 - 1 - 0) = 0.5 2 = 0.25
  • Demo 2 权重: 0.5 (3 - 1 - 1) = 0.5 1 = 0.50
  • 演示 3 权重: 0.5 (3 - 1 - 2) = 0.5 0 = 1.00

加权损失: loss = (0.25 2.0 + 0.50 1.6 + 1.00 * 1.0) / 3 = (0.5 + 0.8 + 1.0) / 3 = 2.3 / 3 = 0.7666…

forward

< >

( indices ) → torch.Tensor

参数

  • indices (torch.Tensor) — 要嵌入的 token 的索引。

返回值

torch.Tensor

提示嵌入与增量嵌入之和。

计算提示嵌入并应用增量调整。

get_projection

< >

( )

对 delta 嵌入应用基于 epsilon 的投影,以控制其范数。

set_updated_tokens

< >

( )

设置一个反向传播钩子,根据 CPT token 类型掩码选择性地更新 token 梯度。

Update on GitHub