# 用于消除张量并行 LoRA 服务中通信开销的块对角 LoRA

Block-Diagonal LoRA (BD-LoRA) 是 LoRA 的一种变体，其中部分 LoRA 因子被约束为块对角形式。这通过消除在多 GPU 上运行推理时的通信开销，实现了更快的服务速度。尽管存在块对角约束，BD-LoRA 在相似参数量下与原生 LoRA 具有相当的性能。

BD-LoRA 旨在与张量并行（tensor parallelism）配合使用，即将模型的权重分片到多个 GPU 上。一种流行的分片策略是 [Megatron Sharding Strategy](https://arxiv.org/abs/1909.08053)。对于两个依次连接的线性层 $W_1$、$W_2$（例如 Transformer MLP 模块中的上投影和下投影），我们将以列并行方式分片第一个层（这要求 LoRA B 为块对角矩阵），并以行并行方式分片第二个层（这要求 LoRA A 为块对角矩阵）。对于注意力模块，可以类似地实现：将 Q、K 和 V 投影一起视为 $W_1$，将输出投影视为 $W_2$，并相应地进行分片。这种分片方式允许兼容的推理引擎将每个块对角分片分布到不同的 GPU 上，从而减少了 GPU 之间通信部分结果的需求。在下图中，你可以看到具体的分片策略以及它如何节省计算开销。

论文：https://hf.co/papers/2510.23346

### 性能、排名和参数量
BD-LoRA 在相同参数量下可达到与 LoRA 相似的性能（参见下图，或 peft 仓库根目录下的 `method_comparison` 文件夹）。然而，由于 BD-LoRA 中的其他所有因子均为块对角矩阵，在相同秩的情况下，BD-LoRA 适配器的参数量将少于 LoRA 适配器。只有相应地增加秩时，BD-LoRA 的性能才具有竞争力。我们在此示例笔记本的末尾提供了秩匹配的示例代码。

# API

## BdLoraConfig[[peft.BdLoraConfig]]

#### peft.BdLoraConfig[[peft.BdLoraConfig]]

```python
peft.BdLoraConfig(target_modules_bd_a: Optional[list[str]] = None, target_modules_bd_b: Optional[list[str]] = None, nblocks: int = 1, match_strict: bool = True)
```

[源代码](https://github.com/huggingface/peft/blob/main/src/peft/tuners/lora/config.py#L189)

**参数：**

target_modules_bd_a : LoRA-A 为块对角矩阵的模块。通过 `pattern is in target_name` 将列表中的每个模式与模块名称进行匹配。示例：['up_proj', 'q_proj', 'v_proj', 'k_proj']

target_modules_bd_b : LoRA-B 为块对角矩阵的模块。通过 `pattern is in target_name` 将列表中的每个模式与模块名称进行匹配。示例：['out_proj', 'down_proj']

nblocks : 块对角矩阵中的块数

match_strict : 如果设置为 true，则要求每个 target_module 必须具有块对角 LoRA-A 或 LoRA-B，否则将引发错误。您可以将此设置为 False 以混合 LoRA 和 BD-LoRA 训练，例如，如果您的模块中某些层从 BD-LoRA 中获益不大。

BD-LoRA（Block-Diagonal LoRA）的配置。BD-LoRA 是 LoRA 的一种变体，可用于推理引擎中高效的多 LoRA 服务。通过将某些 LoRA 模块设置为块对角形式，减少 GPU 间的通信，从而实现加速。

要确定哪些 LoRA 因子应设置为块对角，请遵循以下准则：
- 对于注意力机制，设置
  - Q、K、V 投影采用 LoRA-B 块对角
  - 输出投影为 LoRA-A 块对角
- 对于 MLP，请设置
  - Up、Gate 投影为 LoRA-B 块对角
  - 用于 LoRA-A 块对角化的下投影

对于其他模块和/或架构，请查阅目标推理引擎的代码。行分片的模块应使 LoRA-A 呈块对角形式，列分片的模块应使 LoRA-B 呈块对角形式。

