PEFT documentation

RandLora:大模型的全秩参数高效微调

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

RandLora:大模型的全秩参数高效微调

RandLora 是一种参数高效微调技术,与 LoRA 和 VeRA 类似,但通过执行全秩更新来提升性能。RandLora 在将大模型适配到需要复杂更新的高难度任务时尤为有用,同时保留了 LoRA 的参数效率。RandLora 的全秩更新是通过线性缩放随机基来实现的。随机基是一组多个低秩矩阵,这些矩阵的秩之和大于或等于参数矩阵的全秩。RandLora 的可训练参数是两个对角矩阵(向量),它们以类似于 VeRA 更新的方式与右侧的低秩随机基相乘。为了保持低内存占用,RandLora 使用了一个自定义函数,防止在反向传播期间将不必要的基存储在内存中。

RandLora 的一个显著特点是,与其他 LoRA 类 PEFT 算法相反,增加 RandLora 的随机基础秩会增加可训练参数的数量。因为在 RandLora 中,基础数量乘以基础秩是一个常数,所以降低秩会增加随机基础的数量,从而增加与基础相关的可训练对角基础的数量。

由于降低 RandLora 随机基的秩会增加其数量,对于非常小的秩(通常低于 4 的秩会导致训练时间大幅增加),RandLora 的训练速度可能比 LoRA 更慢。不过这不会影响推理,因为 RandLora 适配器可以合并到预训练权重矩阵中。

RandLora 还支持使用稀疏的三值随机基(仅包含 -1、0 和 1)进行训练。这些基在 Bingham et al. 和 Ping et al. 中有描述,理论上可以通过执行聚合操作而非矩阵乘法来生成权重更新,从而降低计算需求。目前尚不支持此功能。尽管目前并未减少计算量,但在某些情况下,在 RandLora 中使用稀疏随机基可以减少过拟合。对于希望使用稀疏三值基的用户,建议使用 sparse 选项,而不是可能会降低性能的 very_sparse 选项。

与 VeRA 类似,在保存 RandLora 的参数时,可以通过在 VeraConfig 中设置 save_projection=False 来避免存储低秩矩阵。在这种情况下,这些矩阵将根据 projection_prng_key 参数中指定的固定随机种子进行恢复。这可以减小检查点的大小,但我们无法保证在所有设备以及 PyTorch 的所有未来版本上都能实现可复现性。如果您希望确保可复现性,请设置 save_projection=True(这是默认值)。

与 Vera 类似,为了处理不同形状的适配层,RandLora 会为每个维度按所需最大尺寸初始化共享的 A 和 B 矩阵。在前向传播过程中,给定层的子矩阵 A 和 B 会从这些共享矩阵中切片提取,并按论文中的描述使用。例如,适配形状为 (100, 20) 和 (80, 50) 的两个线性层时,将分别创建形状为 (rank, 50) 和 (100, rank) 的 A 和 B 矩阵。随后,要适配形状为 (100, 20) 的层时,将提取形状为 (rank, 20) 和 (100, rank) 的子矩阵 A 和 B。

RandLora 目前存在以下限制:

  • 仅支持 nn.Linear 层。

该论文的摘要如下:

低秩适应(LoRA)及其变体在减少大型 Transformer 网络的可训练参数数量和内存需求方面取得了令人瞩目的成果,同时保持了微调性能。然而,权重更新的低秩特性本质上限制了微调模型的表示能力,从而可能损害其在复杂任务上的表现。这引出了一个关键问题:当观察到 LoRA 与标准微调之间存在性能差距时,这是由于可训练参数数量减少所致,还是由于秩不足所致? 本文旨在通过引入 RandLora 来回答这一问题。RandLora 是一种参数高效的方法,它利用学习到的低秩、不可训练随机矩阵的线性组合来执行全秩更新。我们的方法通过将优化限制为应用于固定随机矩阵的对角缩放矩阵,从而限制了可训练参数的数量。这使我们能够在训练期间保持参数和内存效率的同时,有效克服低秩限制。通过在视觉、语言和视觉-语言基准上的大量实验,我们系统地评估了 LoRA 和现有随机基方法的局限性。我们的发现表明,全秩更新在单独的视觉和语言任务中均有益处,而在视觉-语言任务中尤为显著,RandLora 显著缩小——有时甚至消除——了标准微调与 LoRA 之间的性能差距,证明了其有效性。

基准测试概览

API

RandLoraConfig

类 peft.RandLoraConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32target_modules: list[str] | str | None = Noneprojection_prng_key: int = 0save_projection: bool = Truesparse: bool = Falsevery_sparse: bool = Falserandlora_dropout: float = 0.0fan_in_fan_out: bool = Falserandlora_alpha: int = 640bias: str = 'none'modules_to_save: list[str] | None = Noneinit_weights: bool = Truelayers_to_transform: list[int] | int | None = Nonelayers_pattern: str | None = None )

参数

  • r (int,可选,默认为 32) — RandLora 的随机基秩维度。与 Lora 不同,该参数与可训练参数的数量成反比,因为减小该值会增加可训练参数的数量。
  • target_modules (Union[list[str], str]) — 要应用 RandLora 的模块名称。仅支持线性层。
  • projection_prng_key (int) — RandLora PRNG 初始化密钥。用于为新模型初始化 basis_A 和 basis_B,或在加载未包含这些投影的 checkpoint 时使用。默认值为 0。
  • save_projection (bool) — 是否将全局 basis_A / basis_B 随机基与每层的 lambda / gamma 对角矩阵一起保存在状态字典中。这会增加检查点的大小,但可保证在所有系统配置上重新加载该检查点。默认为 True。
  • sparse (bool) — 是否使用 RandLora 论文中描述的稀疏随机基。这些基是三元稀疏基(仅包含 -1、0 和 1),其中 -1 和 1 的归因概率为 1/6,0 的归因概率为 2/3。这些稀疏矩阵旨在未来用于免矩阵乘法(matmul free)计算,参见 https://huggingface.co/papers/2406.02528v1。当前的实现是一个概念验证,其中稀疏性并未被用于提升速度或降低内存占用。使用稀疏矩阵通常不会降低性能,甚至有助于减少过拟合。默认为 False。
  • very_sparse (bool) — 是否使用 RandLora 论文中描述的高度稀疏随机基。对于最小维度为 d 的矩阵,这些极稀疏基是三元稀疏基(仅包含 -1、0 和 1),其中 -1 和 1 的归因概率为 1/√D,0 的归因概率为 1- 2/√D。使用这些稀疏矩阵可以进一步降低相对于 sparse 替代方案的过拟合,但结果很可能是性能会下降。请谨慎使用。默认为 False。
  • randlora_dropout (float) — RandLora 层的 dropout 概率。
  • randlora_alpha (float) — RandLora 层的缩放系数,通常应为秩的 20 倍。由于 randlora_alpha 系数默认值较大,当学习率较高时可能会导致数值不稳定。如果训练不稳定,请考虑降低学习率或 randlora_alpha 系数。
  • fan_in_fan_out (bool) — 如果待替换的层以 (fan_in, fan_out) 的形式存储权重,请将此项设置为 True。例如,gpt-2 使用的 Conv1D 以 (fan_in, fan_out) 的形式存储权重,因此应将其设置为 True。
  • bias (str) — 偏置类型。可以是 ‘none’、‘all’ 或 ‘randlora_only’。如果设置为 ‘all’ 或 ‘randlora_only’,相应的偏置将在训练期间被更新。请注意,这意味着即使禁用了适配器,模型也不会产生与未进行适配的基础模型相同的输出。
  • modules_to_save (list[str]) — 除 RandLora 层外,需要设置为可训练并在最终检查点中保存的模块列表。
  • init_weights (bool) — 是否使用默认初始化方式初始化 RandLora 层的权重。除非您完全清楚自己在做什么,否则请勿更改此设置。
  • layers_to_transform (Union[list[int],int]) — 要转换的层索引。如果指定了此参数,则会在该列表中指定的层索引上应用 RandLora 转换。如果传入单个整数,则会在该索引对应的层上应用 RandLora 转换。
  • layers_pattern (str) — 层模式名称,仅当 layers_to_transform 不同于 None 且层模式不在通用层模式中时使用。

这是用于存储 RandLoraModel 配置的类。

论文:https://huggingface.co/papers/2502.00987。

RandLoraModel

类 peft.RandLoraModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

参数

  • model (PreTrainedModel) — 要适配的模型。
  • config (RandLoraConfig) — RandLora 模型的配置。
  • adapter_name (str) — 适配器的名称,默认为 "default"。
  • low_cpu_mem_usage (bool, optional, defaults to False) — 在 meta 设备上创建空的适配器权重。有助于加快加载过程。

返回值

torch.nn.Module

RandLora 模型。

从预训练的 transformers 模型创建一个 RandLoRA 模型。

示例:

>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)

属性:

Update on GitHub