# TinyLoRA: 13パラメータで推論を学習する

[TinyLoRA](https://huggingface.co/papers/2602.04118)は、凍結された重みのSVD分解を用い、固定されたランダムなテンソルを通じて非常に小さな学習可能なベクトルを投影することで、[LoRA-XS](https://huggingface.co/papers/2405.17604)のアプローチを拡張した、極めてパラメータ効率の高いファインチューニング手法です。GRPOなどの強化学習（RL）トレーニング手法と組み合わせることで、TinyLoRAはわずか1〜13個の学習可能パラメータで競争力のあるパフォーマンスを実現できます。

TinyLoRAの重要な革新は、学習可能な低ランク行列Rを、固定されたランダム射影行列の重み付き和に置き換えることです: `R = Σᵢ vᵢ Pᵢ`。ここで、`v ∈ R^u`は次元`u`の非常に小さい学習可能なベクトルであり、`Pᵢ`は固定されたランダム行列です。これにより、学習可能なパラメータの数を大幅に削減しながら、競争力のある性能を維持できます。

TinyLoRAは`weight_tying`パラメータによる重みの共有をサポートしています。これは0.0から1.0の間の比率で、同じ学習可能なベクトル`v`を共有するモジュールの数を制御します。`weight_tying=0.0`（デフォルト）は共有なしを意味し、`weight_tying=1.0`はすべてのターゲットモジュール間で完全に共有することを意味します。これにより、モデル全体で`u`の学習可能なパラメータを持つ単一のベクトルだけで、極端なパラメータ効率を実現できます。

アダプタパラメータを保存する際、`TinyLoraConfig` で `save_projection=False` を設定することで、ランダム射影行列の保存を省略できます。その場合、これらの行列は `projection_seed` 引数の固定されたランダムシードに基づいて復元されます。これによりチェックポイントのサイズを削減できますが、すべてのデバイスや PyTorch の将来のすべてのバージョンで再現性を保証することはできません。再現性を確保したい場合は、`save_projection=True`（デフォルト値）を設定してください。

TinyLoRAには現在、以下の制約があります。

- サポートされているのは、`nn.Linear`、`nn.Embedding`、および`transformers.pytorch_utils.Conv1D`レイヤーのみです。

論文の抄録は以下の通りです:

> 最近の研究により、言語モデルが推論を学習できることが示されており、多くの場合、強化学習を通じて行われています。推論のための低ランクパラメータ化を訓練する研究もありますが、従来のLoRAはモデルの次元を下回る規模にはスケールできません。推論を学習するためにランク=1のLoRAですら必要なのかという疑問を持ち、低ランクアダプタを1パラメータという極めて小さなサイズまでスケールさせる手法TinyLoRAを提案します。新しいパラメータ化を用いることで、Qwen2.5の8Bパラメータサイズを、bf16で訓練パラメータをわずか13個（合計26バイト）に抑えながら、GSM8Kで91%の精度に訓練することができました。この傾向は一般的に成立すると考えられます。AIME、AMC、MATH500といったより困難な推論学習ベンチマークのスイート全体において、パラメータを1000分の1に減らしつつ、性能向上の90%を回復させることができました。特に注目すべきは、このような高い性能は強化学習を用いることでしか達成できない点です。SFTで訓練されたモデルは、同じ性能に到達するために100〜1000倍の大きな更新を必要とします。

## ベンチマーク概要

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=TINYLORA" frameborder="0" width="850" height="1000"
>

# API

## TinyLoraConfig[[peft.TinyLoraConfig]]

#### peft.TinyLoraConfig[[peft.TinyLoraConfig]]

```python
peft.TinyLoraConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 2, u: int = 64, weight_tying: float = 0.0, projection_seed: int = 42, save_projection: bool = True, init_v_bound: float = 0.02, target_modules: Optional[Union[list[str], str]] = None, tinylora_dropout: float = 0.0, fan_in_fan_out: bool = False, bias: str = 'none', modules_to_save: Optional[list[str]] = None, init_weights: Union[bool, str] = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/config.py#L25)

**パラメータ:**

r (`int`、*optional*、デフォルトは`2`) : 凍結されたU、Sigma、V分解のSVDランクです。論文ではr=2が推奨されています。

u (`int`, *optional*, デフォルトは `64`) : グループあたりの学習可能なベクトル次元数。適応の表現力を制御します。極端なパラメータ効率のために、1〜13まで低く設定できます。

weight_tying (`float`、*optional*、デフォルトは`0.0`) : 対象モジュール間の重み共有の度合いを、0.0から1.0の比率で表します。同じ学習可能なベクトル v を共有するモジュールの数を制御します。0.0 は共有なし（各モジュールが独自の v を持つ）を意味し、1.0 は完全共有（すべてのモジュールが一つの v を共有）を意味します。その間の値は部分的な共有を指定します。

projection_seed (`int`, *optional*, デフォルトは `42`) : 固定プロジェクション行列 P を生成するためのランダムシード。

save_projection (`bool`, *任意*, デフォルトは `True`) : state dict に射影テンソル P を保存するかどうか。False の場合、読み込み時にシードから再生成されます。

init_v_bound (`float`、*任意*、デフォルトは`0.02`) : 学習可能なベクトル v の一様初期化の境界値。値は [-init_v_bound, init_v_bound] の範囲で初期化されます。

target_modules (`Union[List[str], str]`, *optional*) : TinyLoRA を適用するモジュールの名前です。モジュール名のリスト（例: `['q_proj', 'v_proj']`）、正規表現パターン（例: `'.*decoder.*(q|v)_proj$'`）、またはすべての線形モジュールを対象とする特別なキーワード `"all-linear"` を指定できます。サポートされるのは `nn.Linear`、`nn.Embedding`、および `transformers.pytorch_utils.Conv1D` レイヤーのみです。

tinylora_dropout (`float`、*任意*、デフォルトは`0.0`) : TinyLoRA層のdropout確率です。

fan_in_fan_out (`bool`、*任意*、デフォルトは`False`) : 置き換えるレイヤーが (fan_in, fan_out) のように重みを保存している場合は、これを True に設定します。例えば、gpt-2 は (fan_in, fan_out) のように重みを保存する`Conv1D`を使用しています。

bias (`str`、*任意*、デフォルトは`"none"`) : TinyLoRAのバイアスタイプです。'none'、'all'、'tinylora_only'のいずれかを指定できます。

modules_to_save (`List[str]`, *任意*) : TinyLoRA層を除いて、学習可能かつ保存されるように設定するモジュールのリスト。

init_weights (`bool` | `Literal["uniform"]`、*optional*、デフォルトは `True`) : 学習可能なベクトル v の初期化方法。`True`（デフォルト）を渡すと、v はゼロで初期化され、アダプターは no-op（恒等操作）になります。`"uniform"` を渡すと、v は `[-init_v_bound, init_v_bound]` 範囲の一様乱数で初期化されます。`False` を渡すと、v は初期化されません（高度なユースケース向け）。

layers_to_transform (`Union[List[int], int]`, *任意*) : 変換するレイヤーのインデックスを指定します。指定した場合、これらのレイヤーのみが適応されます。

layers_pattern (`Optional[Union[List[str], str]]`, *任意*) : `layers_to_transform`が`None`と異なる場合にのみ使用される、レイヤーのパターン名。

これは、[TinyLoraModel](/docs/peft/v0.22.0/ja/package_reference/tinylora#peft.TinyLoraModel)の設定を保存するための設定クラスです。

TinyLoRAは、論文「Learning to Reason in 13 Parameters」（arXiv:2602.04118）に基づく、極めてパラメータ効率の高いファインチューニング手法です。凍結された重みのSVD分解を用い、固定されたランダムなテンソルを通じて微小な学習可能なベクトルを射影します。

論文: https://arxiv.org/abs/2602.04118

例:
```python
from peft import get_peft_model, TinyLoraConfig

config = TinyLoraConfig(
    r=2,  # SVD rank (paper recommends 2)
    u=64,  # Trainable vector dimension
    weight_tying=0.0,  # No weight tying (0.0 = none, 1.0 = full)
    target_modules=["q_proj", "v_proj"],
    projection_seed=42,
)
model = get_peft_model(base_model, config)
```

## TinyLoraModel[[peft.TinyLoraModel]]

#### peft.TinyLoraModel[[peft.TinyLoraModel]]

```python
peft.TinyLoraModel(model, config, adapter_name, low_cpu_mem_usage = False, **kwargs)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/model.py#L33)

**パラメータ:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : 適応させる対象のモデル。

config ([TinyLoraConfig](/docs/peft/v0.22.0/ja/package_reference/tinylora#peft.TinyLoraConfig)) : TinyLoRAモデルの設定です。

adapter_name (`str`) : アダプターの名前。デフォルトは`"default"`です。

low_cpu_mem_usage (`bool`, *任意*, デフォルトは `False`) : メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。

**戻り値:** `torch.nn.Module`

TinyLoRAモデル。

事前学習済みのTransformersモデルからTinyLoRAモデルを作成します。

TinyLoRAは、凍結された重みのSVD分解を用い、固定されたランダムなテンソルを通じて非常に小さな学習可能なベクトルを投影する、極めてパラメータ効率の高いファインチューニング手法です。論文「Learning to Reason in 13 Parameters」（arXiv:2602.04118）に基づいています。

例:
```python
>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)
```

**属性**:
- **model** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- 適応させる対象のモデル。
- **peft_config** ([TinyLoraConfig](/docs/peft/v0.22.0/ja/package_reference/tinylora#peft.TinyLoraConfig)): TinyLoRAモデルの設定です。

#### delete_adapter[[peft.TinyLoraModel.delete_adapter]]

```python
delete_adapter(adapter_name: str)
```

[ソース](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/tinylora/model.py#L291)

アダプターを削除し、モデルレベルの共有vパラメータをクリーンアップします。

