PEFT documentation

可训练 Token

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

可训练 Token

Trainable Tokens 方法提供了一种针对特定 token 嵌入进行微调的方式,而无需训练完整的嵌入矩阵或在嵌入矩阵上使用适配器。该方法基于 此处 的初始实现。

该方法仅针对特定标记,并选择性地训练您指定的标记索引。因此,所需的 RAM 会更低,磁盘内存也远低于存储完整微调嵌入矩阵所需的内存。

通过此脚本获取的一些初步基准测试表明,对于gemma-2-2b(其嵌入矩阵相当大),使用 Trainable Tokens 相比完全微调嵌入矩阵可以节省约 4 GiB 的 VRAM。虽然 LoRA 使用的 VRAM 量可能相当,但它也可能针对你不想更改的 token。请注意,这些只是指示性数据,不同大小的嵌入矩阵可能会使这些数字略有偏差。

请注意,此方法不会为您添加标记,您需要自行向分词器添加标记,并相应地调整模型的嵌入矩阵大小。此方法只会重新训练您指定的标记的嵌入。此方法也可以与 LoRA 层配合使用!请参阅 LoRA 文档。

在添加新标记时,使用 save_pretrained() 保存模型或使用 get_peft_model_state_dict() 获取状态字典,可能会出于谨慎考虑保存完整的嵌入矩阵,而不仅仅是差异,因为嵌入矩阵已被调整大小。为了节省空间,您可以在调用 save_pretrained 时设置 save_embedding_layers=False 来禁用此行为。只要您不通过其他方式修改嵌入矩阵,这样做就是安全的,因为此类更改不会被可训练标记所跟踪。

基准测试概览

API

TrainableTokensConfig

类 peft.TrainableTokensConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetoken_indices: list[int] = <factory>target_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )

参数

  • token_indices (list[int]) — 整数列表,表示您希望可训练的 token 的索引。若要使用分词器查找某个 token 的索引,可以对字符串进行分词,然后查看返回的 input_ids。索引数量越接近 token 总数,此方法的效率越低。
  • target_modules (Optional[Union[list[str], str]]) — 要替换为 TrainableTokensLayer 的模块名称列表或模块名称的正则表达式。如果未定义,当模型具有 get_input_embeddings 方法时(transformer 模型通常具有该方法),将尝试获取模型的输入嵌入层;如果失败,则默认为 ‘embed_tokens’。其他示例目标包括 embedding、encoder.embeddings 或 decoder.embeddings。
  • init_weights (bool) — 默认情况下,新 token 的权重初始化为与对应的 token 嵌入相同。这使得 TrainableTokens 在未训练时成为无操作(no-op)。如果设置为 False,权重将为随机值。除非您完全清楚自己在做什么,否则请勿更改此设置。

TrainableTokens 方法的配置。

允许在不训练完整嵌入矩阵的情况下训练新标记(以及重新训练现有标记)。通过标记少数几个选定标记(通过其索引识别)为可训练,而保持其余标记不变,该方法可用于添加新标记或更改现有标记的嵌入,同时节省内存。与完全训练嵌入矩阵相比,存储和工作内存的使用量均有所降低。

请注意,使用 FSDP/DeepSpeed 进行训练可能尚未获得完全支持。

TrainableTokensModel

类 peft.TrainableTokensModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub