PEFT documentation
チューナー
チューナー
チューナー(またはアダプター)は、torch.nn.Module にプラグインできるモジュールです。BaseTuner は他のチューナーのベースクラスであり、アダプター設定の準備や、ターゲットモジュールをアダプターモジュールに置き換えるための共有メソッドと属性を提供します。BaseTunerLayer はアダプターレイヤーのベースクラスです。アダプターの有効化や無効化など、アダプターを管理するためのメソッドと属性を提供します。
BaseTuner
クラス peft.tuners.tuners_utils.BaseTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
パラメータ
- model (
torch.nn.Module) — アダプタチューナー層が接続されるモデル。 - forward (
Callable) — モデルの forward メソッド。 - peft_config (
Union[PeftConfig, dict[str, PeftConfig]]) — アダプター設定オブジェクトです。strからPeftConfigオブジェクトへの辞書である必要があります。PeftConfig オブジェクトを渡すこともでき、その場合はデフォルト名adapterで新しいアダプターが作成されます。また、キーをadapter_name、値をその peft config とした新しい辞書を作成することもできます。 - config (
dict[str, Any]) — モデルの構成オブジェクトです。strからAnyオブジェクトへの辞書である必要があります。 - targeted_module_names (
list[str]) — 実際に適応されたモジュール名のリストです。config.target_modulesが正しく指定されているかを素早く確認したい場合に、検査に役立ちます。 - targeted_parameter_names (
list[str]) — 実際に適応されたパラメータ名のリストです。config.target_parametersが正しく指定されているかを素早く確認したい場合に、検査に役立ちます。 - prefix (
str) — PEFTメソッド固有の一意のプレフィックスです。例えば、LoRAの場合は"lora_"です。
torch.nn.Module に注入可能なすべてのチューナーに共通のメソッドと属性を提供するベースのチューナーモデル
新しいTunerクラスを追加するには、以下のメソッドをオーバーライドする必要があります。
- _prepare_adapter_config:
target_modulesフィールドが欠落している場合などに、アダプター設定を最終的に準備するためのプライベートメソッドです。 - _create_and_replace: アダプターモジュールでターゲットモジュールを作成・置き換えるためのプライベートメソッド。
- _check_target_module_exists: adapter_config内のターゲットモジュールのいずれかと、渡されたモジュールのキー名が一致するかを確認するためのプライベートなヘルパーメソッドです。
最も簡単な方法は、peft.tuners.lora.LoraModelクラスで何が実行されているかを確認することです。
既存のアダプターを削除します。
in-placeですべてのアダプターを無効にします。
すべてのアダプターを無効にすると、モデルの出力はベースモデルの出力と一致します。
Enable all adapters in-place
get_model_config
< source >( model: nn.Module )
このメソッドは、モデルから辞書形式で設定を取得します。モデルにconfig属性がない場合、このメソッドはデフォルトの設定を返します。
inject_adapter
< source >( model: nn.Moduleadapter_name: strautocast_adapter_dtype: bool = Truelow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
パラメータ
- model (
nn.Module) — チューニング対象のモデル。 - adapter_name (
str) — アダプター名。 - autocast_adapter_dtype (
bool, 省略可) — アダプターのデータ型をオートキャストするかどうか。デフォルトはTrueです。 - low_cpu_mem_usage (
bool、optional、デフォルトはFalse) — メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。 - state_dict (
dict、任意、デフォルトはNone) — ここで state_dict が渡された場合、state_dict のエントリに基づいてアダプターが注入されます。 これは、チェックポイントがメタデータなしで作成されたため、PEFT メソッドの正確なtarget_modulesが不明な場合などに有用です。なお、state_dict の値は使用されず、アダプトすべき正しいレイヤーを決定するためにキーのみが使用されます。
アダプタ層を作成し、ターゲットモジュールをアダプタ層に置き換えます。プロンプトチューニングアダプタクラス以外が渡された場合、peft.mapping.get_peft_model が内部でこのメソッドを呼び出します。
対応するPEFT設定は、BaseTunerクラスのpeft_config属性から直接取得されます。
merge_adapter
< source >( adapter_names: Optional[list[str]] = Nonesafe_merge: bool = False )
このメソッドは、アダプタ層をベースモデルにマージします。
アダプタのマージにより、フォワードパスが高速化される場合があります。アダプタの重みのコピーはメモリに保持され続けますが、これはアダプタのアンマージに必要です。メモリに重みを保持せずにアダプタの重みをマージするには、merge_and_unloadを呼び出してください。
あるレイヤーがアダプター重みをマージすると、そのフォワードパスではマージされた重みのみが使用されます。したがって、adapter_namesがすべてのアクティブなアダプターをカバーしていない場合、残りのアクティブなアダプターはアクティブと報告されているにもかかわらず、サイレントに適用されません。すべてのアクティブなアダプターをマージするか、先にunmerge_adapterを呼び出してください。なお、この動作はv1.0リリースで変更される予定です。
merge_and_unload
< source >( progressbar: bool = Falsesafe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
このメソッドは、アダプタ層をベースモデルにマージします。
ベースモデルを単独のモデルとして使用したい場合に必要です。返されるモデルは、元のベースモデルと同じアーキテクチャを持っています。
返されたモデルを変数に代入して使用することが重要です。これはインプレース操作ではありません!
set_adapter
< source >( adapter_name: str | list[str]inference_mode: bool = False )
アクティブなアダプターを設定します。
set_requires_grad
< source >( adapter_names: str | Sequence[str]requires_grad: bool = True )
指定されたアダプターで勾配を有効または無効にします。
このモデルのアダプターをLoRAに変換できるかどうか。
通常、PEFT手法が加法的(つまり、W’ = W_base + delta_weight)である場合、これは機能します。
すべてのPEFTモジュールを削除して、ベースモデルを返します。
返されたモデルを変数に代入して使用することが重要です。これはインプレース操作ではありません!
このメソッドは、ベースモデルからマージされたすべてのアダプター層をアンマージします。
BaseTunerLayer
クラス peft.tuners.tuners_utils.BaseTunerLayer
< source >( )
すべてのチューナーに共通のメソッドと属性を提供するチューナーレイヤーのミックスインです。
からアダプターを削除します
これはすべてのアダプターレイヤーで呼び出す必要があります。そうしないと、状態が不一致になります。
このメソッドは、削除されたアダプターがアクティブなアダプターだった場合、新しいアクティブなアダプターも設定します。すべてのレイヤーで同じアダプターが選択されるように、新しいアダプターが決定論的な方法で選択されることは重要です。
get_additive_delta
< source >( adapter_name: str = 'default' )
指定されたアダプターについて、加法的デルタ重み W’ - W を返します。ここで W はベース重み、W’ はアダプターをベース重みにマージした後の重みを表します。つまり、マージ後の重みは base_weight + module.get_additive_delta(adapter_name) によって再構築できます。
加法的PEFT手法(LoRA、LoKr、LoHaなど)の場合、これはget_delta_weightと同等です。乗法的手法(OFT、BOFTなど)の場合、このメソッドは有効な重みW’を構築し、ベースの重みWを差し引きます。
アダプターがマージされている状態でこのメソッドを呼び出すと、ValueError が発生します。マージはベースの重みを修正するため、戻り値が現在マージされているアダプターに依存することになるためです。まずアダプターをアンマージしてください。
返されるテンソルのdtypeは、ベースレイヤーの重みのdtypeではなく、アダプタレイヤーの重み(LoRAの場合はlora_Aなど)のdtypeです。これは、変換後のLoRAアダプタが使用するdtypeです。
結果はconvert_to_loraによって使用され、アダプターをLoRAアダプターとしてSVDベースの近似を実行するために用いられます。
デフォルトでは、NotImplementedError が発生します。この機能をサポートする PEFT メソッドは、加法的デルタを返すよう _get_additive_delta メソッドをオーバーライドする必要があります。
set_adapter
< source >( adapter_names: str | list[str]inference_mode: bool = False )
アクティブなアダプターを設定します。
また、この関数は、inference_modeがTrueでない限り、指定されたアダプターを学習可能(つまり、requires_grad=True)に設定します。
set_requires_grad
< source >( adapter_names: str | Sequence[str]requires_grad: bool = True )
指定されたアダプターで勾配を有効または無効にします。
set_training
< source >( adapter_names: str | Sequence[str]training: bool = True )
指定されたアダプターモジュールでトレーニングモードを有効化または無効化します。
このレイヤータイプがLoRAに変換可能かどうかを示します。
通常、PEFT手法が加法的(つまり、W’ = W_base + delta_weight)である場合、これは機能します。