PEFT documentation

C3A:通过循环卷积实现参数高效微调

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

C3A:通过循环卷积实现参数高效微调

C3A 是一种参数高效微调技术,它利用循环卷积在合理的资源限制内实现高秩适配。

请注意,C3A 的学习率(LR)应远大于其他方法。例如,C3A 的学习率设为 1e-1 是一个不错的起点。此外,应使用小得多的权重衰减。更多细节请参阅 method_comparison 文件夹。

对于 block_size, ,它会影响可调参数和性能。首先,你可以选择一个 gcd(d1,d2)\mathrm{gcd}(d_1,d_2) 接近 $\frac{\sqrt{d_1 \times d_2}}{r}$ 的值,其中 rr 是你在该任务中为 LoRA 使用的秩。

C3A 目前存在以下限制:

  • 仅支持 nn.Linear 层。
  • 不支持量化层。
  • 块大小应为目标层输入和输出大小的公因数。

如果这些约束条件不适用于您的使用场景,请考虑采用其他方法。

该论文的摘要如下:

低秩适应(LoRA)在微调大型基础模型方面广受欢迎,它利用低秩矩阵 A\mathbf{A} 和 B\mathbf{B} 来表示权重变化(即 $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$)。该方法通过依次将 A\mathbf{A} 和 B\mathbf{B} 与激活值相乘,减少了可训练参数并缓解了与完整增量矩阵相关的巨大内存消耗。尽管 LoRA 取得了成功,但其固有的低秩特性可能会限制其性能。虽然已提出多种变体来解决这一问题,但它们往往忽视了 LoRA 带来的关键计算和内存效率。在本文中,我们提出了循环卷积适应(C3A),它不仅实现了具有增强性能的高秩适应,而且在计算能力和内存利用率方面均表现出色。大量实验表明,C3A 在各种微调任务中始终优于 LoRA 及其变体。

基准测试概览

API

C3AConfig

类 peft.C3AConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falseblock_size: int = 256target_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneblock_size_pattern: Optional[dict] = <factory>init_weights: Optional[Union[bool, Literal['gaussian', 'kaiming_uniform', 'xavier_uniform']]] = 'xavier_uniform' )

参数

  • block_size (int) — C3A 的块大小,必须同时能被目标层的输入大小和输出大小整除。如果你不确定应该使用多大的 block_size,请将其设置为所有目标层输入和输出大小的最大公约数。增大该值会减少参数量。
  • target_modules (Union[list[str],str]) — 要应用 C3A 的模块名称。
  • bias (str) — C3A 的偏置类型。可以是 ‘none’、‘all’ 或 ‘c3a_only’。如果设置为 ‘all’ 或 ‘c3a_only’,对应的偏置将在训练期间被更新。请注意,这意味着即使禁用了适配器,模型的输出也不会与未进行适配的基础模型相同。
  • modules_to_save (list[str]) — 除 C3A 层外,需要设置为可训练并在最终检查点中保存的模块列表。
  • layers_to_transform (Union[list[int],int]) — 要转换的层索引。如果指定了此参数,则会对列表中指定的层索引应用 C3A。如果传入单个整数,则会对该索引处的层应用 C3A。
  • layers_pattern (str) — 层模式名称,仅当 layers_to_transform 不同于 None 且层模式不在通用层模式中时使用。
  • block_size_pattern (dict) — 从层名称或正则表达式到与默认指定值不同的 block_size 的映射。例如,{"model.decoder.layers.0.encoder_attn.k_proj": 1280}
  • init_weights (Union[bool, Literal["gaussian", "kaiming_uniform", "xavier_uniform"]]) — 默认为 ‘xavier_uniform’。将此值设置为 False 时,同样使用 ‘xavier_uniform’。若要将权重设置为零(从而使 C3A 成为空操作),请将值设置为 True。

这是用于存储 C3AModel 配置的类。

C3AModel

类 peft.C3AModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

参数

  • model (torch.nn.Module) — 要适配的模型。
  • config (C3AConfig) — C3A 模型的配置。
  • adapter_name (str) — 适配器的名称,默认为 "default"。

返回值

torch.nn.Module

C3A 模型。

从预训练的 transformers 模型创建 C3A 模型。

该方法的详细描述见 https://huggingface.co/papers/2407.19342。

属性:

Update on GitHub