PEFT documentation
可训练 Token
可训练 Token
Trainable Tokens 方法提供了一种针对特定 token 嵌入进行微调的方式,而无需训练完整的嵌入矩阵或在嵌入矩阵上使用适配器。该方法基于 此处 的初始实现。
该方法仅针对特定标记,并选择性地训练您指定的标记索引。因此,所需的 RAM 会更低,磁盘内存也远低于存储完整微调嵌入矩阵所需的内存。
通过此脚本获取的一些初步基准测试表明,对于gemma-2-2b(其嵌入矩阵相当大),使用 Trainable Tokens 相比完全微调嵌入矩阵可以节省约 4 GiB 的 VRAM。虽然 LoRA 使用的 VRAM 量可能相当,但它也可能针对你不想更改的 token。请注意,这些只是指示性数据,不同大小的嵌入矩阵可能会使这些数字略有偏差。
请注意,此方法不会为您添加标记,您需要自行向分词器添加标记,并相应地调整模型的嵌入矩阵大小。此方法只会重新训练您指定的标记的嵌入。此方法也可以与 LoRA 层配合使用!请参阅 LoRA 文档。
在添加新标记时,使用 save_pretrained() 保存模型或使用 get_peft_model_state_dict() 获取状态字典,可能会出于谨慎考虑保存完整的嵌入矩阵,而不仅仅是差异,因为嵌入矩阵已被调整大小。为了节省空间,您可以在调用
save_pretrained时设置save_embedding_layers=False来禁用此行为。只要您不通过其他方式修改嵌入矩阵,这样做就是安全的,因为此类更改不会被可训练标记所跟踪。
基准测试概览
API
TrainableTokensConfig
类 peft.TrainableTokensConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetoken_indices: list[int] = <factory>target_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )
参数
- token_indices (
list[int]) — 整数列表,表示您希望可训练的 token 的索引。若要使用分词器查找某个 token 的索引,可以对字符串进行分词,然后查看返回的input_ids。索引数量越接近 token 总数,此方法的效率越低。 - target_modules (
Optional[Union[list[str], str]]) — 要替换为TrainableTokensLayer的模块名称列表或模块名称的正则表达式。如果未定义,当模型具有get_input_embeddings方法时(transformer 模型通常具有该方法),将尝试获取模型的输入嵌入层;如果失败,则默认为 ‘embed_tokens’。其他示例目标包括embedding、encoder.embeddings或decoder.embeddings。 - init_weights (
bool) — 默认情况下,新 token 的权重初始化为与对应的 token 嵌入相同。这使得 TrainableTokens 在未训练时成为无操作(no-op)。如果设置为False,权重将为随机值。除非您完全清楚自己在做什么,否则请勿更改此设置。
TrainableTokens 方法的配置。
允许在不训练完整嵌入矩阵的情况下训练新标记(以及重新训练现有标记)。通过标记少数几个选定标记(通过其索引识别)为可训练,而保持其余标记不变,该方法可用于添加新标记或更改现有标记的嵌入,同时节省内存。与完全训练嵌入矩阵相比,存储和工作内存的使用量均有所降低。
请注意,使用 FSDP/DeepSpeed 进行训练可能尚未获得完全支持。
TrainableTokensModel
类 peft.TrainableTokensModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )