# TinyLoRA: 13개의 파라미터로 추론을 학습

[TinyLoRA](https://huggingface.co/papers/2602.04118)는 동결된 가중치의 SVD 분해를 사용하고 고정된 무작위 텐서를 통해 매우 작은 학습 가능 벡터를 투영하는 [LoRA-XS](https://huggingface.co/papers/2405.17604) 접근법을 기반으로 한 극도로 매개변수 효율적인 미세 조정 기법입니다. GRPO와 같은 강화 학습(RL) 훈련 방법과 결합하면, TinyLoRA는 학습 가능한 매개변수가 1~13개에 불과한 경우에도 경쟁력 있는 성능을 달성할 수 있습니다.

TinyLoRA의 핵심 혁신은 학습 가능한 저랭크 행렬 R을 고정된 무작위 투영 행렬의 가중 합으로 대체하는 것입니다: `R = Σᵢ vᵢ Pᵢ`. 여기서 `v ∈ R^u`는 차원이 `u`인 매우 작은 학습 가능 벡터이고, `Pᵢ`는 고정된 무작위 행렬입니다. 이를 통해 학습 가능한 매개변수의 수를 크게 줄이면서도 경쟁력 있는 성능을 유지할 수 있습니다.

TinyLoRA는 `weight_tying` 파라미터를 통해 가중치 공유를 지원합니다. 이 파라미터는 0.0과 1.0 사이의 비율로, 동일한 학습 가능 벡터 `v`를 공유하는 모듈의 수를 제어합니다. `weight_tying=0.0`(기본값)은 공유가 없음을 의미하며, `weight_tying=1.0`은 모든 대상 모듈에 대한 완전한 공유를 의미합니다. 이를 통해 모델 전체에 대해 `u`개의 학습 가능 파라미터로 구성된 단일 벡터만으로 극한의 파라미터 효율성을 달성할 수 있습니다.

어댑터 파라미터를 저장할 때 `TinyLoraConfig`에서 `save_projection=False`를 설정하여 무작위 투영 행렬을 저장하지 않을 수 있습니다. 이 경우, `projection_seed` 인자의 고정된 무작위 시드를 기반으로 해당 행렬이 복원됩니다. 이를 통해 체크포인트의 크기를 줄일 수 있지만, 모든 장치 및 PyTorch의 모든 향후 버전에서 재현성을 보장할 수 없습니다. 재현성을 보장하려면 `save_projection=True`를 설정하세요(기본값).

TinyLoRA에는 현재 다음과 같은 제약 사항이 있습니다:

- `nn.Linear`, `nn.Embedding`, `transformers.pytorch_utils.Conv1D` 레이어만 지원됩니다.

해당 논문의 초록은 다음과 같습니다:

> 최근 연구에 따르면, 언어 모델은 종종 강화 학습을 통해 추론을 학습할 수 있습니다. 일부 연구에서는 추론을 위한 저랭크 파라미터화를 학습하지만, 기존 LoRA는 모델 차원보다 작게 확장할 수 없습니다. 우리는 추론 학습에 랭크=1 LoRA조차도 필요한지 의문을 제기하며, 저랭크 어댑터를 1개의 파라미터까지 축소할 수 있는 방법인 TinyLoRA를 제안합니다. 새로운 파라미터화 내에서, 우리는 Qwen2.5의 8B 파라미터 크기를 bf16에서 학습된 파라미터 13개(총 26바이트)만으로 GSM8K에서 91%의 정확도로 학습할 수 있었습니다. 이러한 경향은 일반적으로 성립합니다. AIME, AMC, MATH500과 같은 더 어려운 학습-추론 벤치마크 일련에서, 우리는 1000배 적은 파라미터를 학습하면서도 성능 향상의 90%를 회복할 수 있었습니다. 주목할 점은, 이러한 강력한 성능은 RL로만 달성할 수 있다는 것입니다. SFT로 학습된 모델은 동일한 성능에 도달하려면 100~1000배 더 큰 업데이트가 필요합니다.

## 벤치마크 개요

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=TINYLORA" frameborder="0" width="850" height="1000"
>

# API

## TinyLoraConfig[[peft.TinyLoraConfig]]

#### peft.TinyLoraConfig[[peft.TinyLoraConfig]]

```python
peft.TinyLoraConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 2, u: int = 64, weight_tying: float = 0.0, projection_seed: int = 42, save_projection: bool = True, init_v_bound: float = 0.02, target_modules: Optional[Union[list[str], str]] = None, tinylora_dropout: float = 0.0, fan_in_fan_out: bool = False, bias: str = 'none', modules_to_save: Optional[list[str]] = None, init_weights: Union[bool, str] = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None)
```

[소스](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/config.py#L25)

**매개변수:**

r (`int`, *선택 사항*, 기본값 `2`) : 동결된 U, Sigma, V 분해에 사용할 SVD 랭크입니다. 논문에서는 r=2를 권장합니다.

u (`int`, *선택 사항*, 기본값 `64`) : 그룹당 학습 가능한 벡터 차원입니다. 이는 적응의 표현력을 제어합니다. 극단적인 매개변수 효율성을 위해 1~13까지 낮게 설정할 수 있습니다.

weight_tying (`float`, *선택 사항*, 기본값 `0.0`) : 대상 모듈 간 가중치 연결(weight tying) 정도를 0.0과 1.0 사이의 비율로 나타냅니다. 동일한 학습 가능한 벡터 v를 공유하는 모듈의 수를 제어합니다. 0.0은 공유가 없음을 의미하며(각 모듈이 자체 v를 가짐), 1.0은 완전한 공유를 의미합니다(모든 모듈이 하나의 v를 공유). 그 사이의 값은 부분적인 공유를 제공합니다.

projection_seed (`int`, *선택 사항*, 기본값 `42`) : 고정된 투영 행렬 P를 생성하기 위한 랜덤 시드.

save_projection (`bool`, *선택 사항*, 기본값 `True`) : state dict에 투영 텐서 P를 저장할지 여부입니다. False인 경우 로드 시 시드에서 다시 생성됩니다.

init_v_bound (`float`, *선택 사항*, 기본값 `0.02`) : 학습 가능한 벡터 v의 균등 초기화 경계 값입니다. 값은 [-init_v_bound, init_v_bound] 범위에서 초기화됩니다.

target_modules (`Union[List[str], str]`, *선택*) : TinyLoRA를 적용할 모듈의 이름입니다. 모듈 이름 목록(예: `['q_proj', 'v_proj']`), 정규식 패턴(예: `'.*decoder.*(q|v)_proj$'`), 또는 모든 선형 모듈을 대상으로 하려면 특수 키워드 `"all-linear"`를 사용할 수 있습니다. `nn.Linear`, `nn.Embedding`, `transformers.pytorch_utils.Conv1D` 레이어만 지원됩니다.

tinylora_dropout (`float`, *선택 사항*, 기본값 `0.0`) : TinyLoRA 레이어의 dropout 확률입니다.

fan_in_fan_out (`bool`, *선택 사항*, 기본값 `False`) : 대체할 레이어가 가중치를 (fan_in, fan_out) 형태로 저장하는 경우 True로 설정합니다. 예를 들어, gpt-2는 가중치를 (fan_in, fan_out) 형태로 저장하는 `Conv1D`를 사용합니다.

bias (`str`, *선택 사항*, 기본값 `"none"`) : TinyLoRA의 Bias 유형입니다. 'none', 'all', 'tinylora_only' 중 하나를 사용할 수 있습니다.

modules_to_save (`List[str]`, *선택 사항*) : TinyLoRA 레이어를 제외하고 학습 가능하게 설정되어 저장될 모듈 목록.

init_weights (`bool` | `Literal["uniform"]`, *선택 사항*, 기본값 `True`) : 학습 가능한 벡터 v의 초기화 방법입니다. `True`(기본값)를 전달하면 v가 0으로 초기화되어 어댑터가 no-op(항등 연산)이 됩니다. `"uniform"`를 전달하면 v가 `[-init_v_bound, init_v_bound]` 범위의 균등 분포 무작위 값으로 초기화됩니다. `False`를 전달하면 v가 초기화되지 않은 상태로 유지됩니다(고급 사용 사례용).

layers_to_transform (`Union[List[int], int]`, *선택 사항*) : 변환할 레이어의 인덱스입니다. 지정된 경우, 해당 레이어만 적응됩니다.

layers_pattern (`Optional[Union[List[str], str]]`, *선택 사항*) : `layers_to_transform`이 `None`과 다르면만 사용되는 레이어 패턴 이름입니다.

이것은 [TinyLoraModel](/docs/peft/v0.22.0/ko/package_reference/tinylora#peft.TinyLoraModel)의 구성을 저장하기 위한 구성 클래스입니다.

TinyLoRA는 논문 "Learning to Reason in 13 Parameters"(arXiv:2602.04118)에 기반한 극도로 매개변수 효율적인 미세 조정 방법입니다. 동결된 가중치의 SVD 분해를 사용하고, 고정된 무작위 텐서를 통해 매우 작은 학습 가능 벡터를 투영합니다.

논문: https://arxiv.org/abs/2602.04118

예:
```python
from peft import get_peft_model, TinyLoraConfig

config = TinyLoraConfig(
    r=2,  # SVD rank (paper recommends 2)
    u=64,  # Trainable vector dimension
    weight_tying=0.0,  # No weight tying (0.0 = none, 1.0 = full)
    target_modules=["q_proj", "v_proj"],
    projection_seed=42,
)
model = get_peft_model(base_model, config)
```

## TinyLoraModel[[peft.TinyLoraModel]]

#### peft.TinyLoraModel[[peft.TinyLoraModel]]

```python
peft.TinyLoraModel(model, config, adapter_name, low_cpu_mem_usage = False, **kwargs)
```

[소스](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/model.py#L33)

**매개변수:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : 적응할 모델.

config ([TinyLoraConfig](/docs/peft/v0.22.0/ko/package_reference/tinylora#peft.TinyLoraConfig)) : TinyLoRA 모델의 구성입니다.

adapter_name (`str`) : 어댑터의 이름이며, 기본값은 `"default"`입니다.

low_cpu_mem_usage (`bool`, *선택 사항*, 기본값 `False`) : meta device에 빈 어댑터 가중치를 생성합니다. 로딩 프로세스를 가속하는 데 유용합니다.

**반환값:** `torch.nn.Module`

TinyLoRA 모델.

pretrained transformers model에서 TinyLoRA 모델을 생성합니다.

TinyLoRA는 동결된 가중치의 SVD 분해를 사용하고 고정된 무작위 텐서를 통해 매우 작은 학습 가능 벡터를 투영하는 극도로 매개변수 효율적인 미세 조정 방법입니다. 논문 "Learning to Reason in 13 Parameters"(arXiv:2602.04118)에 기반합니다.

예:
```python
>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)
```

**속성**:
- **model** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- 적응할 모델.
- **peft_config** ([TinyLoraConfig](/docs/peft/v0.22.0/ko/package_reference/tinylora#peft.TinyLoraConfig)): TinyLoRA 모델의 구성입니다.

#### delete_adapter[[peft.TinyLoraModel.delete_adapter]]

```python
delete_adapter(adapter_name: str)
```

[소스](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/model.py#L291)

어댑터를 삭제하고 모델 수준의 공유 v 매개변수를 정리합니다.

