PEFT documentation
양자화
양자화
Quantization은 데이터를 더 적은 비트로 표현하는 기법으로, 특히 대규모 언어 모델(LLM)의 경우 메모리 사용량을 줄이고 추론을 가속화하는 데 유용합니다. 모델을 양자화하는 방법에는 다음과 같은 것들이 있습니다:
- AWQ 알고리즘으로 양자화할 모델 가중치를 최적화하는
- GPTQ 알고리즘을 사용하여 가중치 행렬의 각 행을 독립적으로 양자화
- bitsandbytes 라이브러리를 사용하여 8비트 및 4비트 정밀도로 양자화
- AQLM 알고리즘을 사용하여 2비트 정밀도까지 양자화
다만, 모델이 양자화되면 가중치와 활성화의 정밀도가 낮아져 학습이 불안정할 수 있어, 일반적으로 다운스트림 작업을 위해 추가 학습을 수행하지 않습니다. 하지만 PEFT 방법은 추가 학습 가능 매개변수만 추가하므로, 양자화된 모델 위에 PEFT 어댑터를 적용하여 학습할 수 있습니다. 양자화와 PEFT를 결합하는 것은 단일 GPU에서 가장 큰 모델조차 학습하기 위한 좋은 전략이 될 수 있습니다. 예를 들어, QLoRA는 모델을 4비트로 양자화한 후 LoRA로 학습하는 방법입니다. 이 방법을 사용하면 48GB 단일 GPU에서 65B 매개변수 모델을 파인튜닝할 수 있습니다!
이 가이드에서는 모델을 4-bit로 양자화하고 LoRA로 학습하는 방법을 알아봅니다.
모델 양자화
bitsandbytes는 Transformers와 통합된 양자화 라이브러리입니다. 이 통합을 사용하면 BitsAndBytesConfig 클래스를 구성하여 모델을 8비트 또는 4비트로 양자화하고 다양한 다른 옵션을 활성화할 수 있습니다. 예를 들어, 다음을 수행할 수 있습니다:
load_in_4bit=True를 설정하면 모델을 로드할 때 4-bit로 양자화합니다bnb_4bit_quant_type="nf4"를 설정하면 정규 분포에서 초기화된 가중치에 특수한 4비트 데이터 유형을 사용합니다- 이미 양자화된 가중치를 양자화하기 위해 중첩 양자화 방식을 사용하려면
bnb_4bit_use_double_quant=True를 설정합니다 - 더 빠른 계산을 위해
bnb_4bit_compute_dtype=torch.bfloat16를 설정하여 bfloat16을 사용합니다
import torch
from transformers import BitsAndBytesConfig
config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16,
)config를 from_pretrained 메서드에 전달합니다.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=config)다음으로, 양자화된 모델을 학습을 위해 전처리하려면 prepare_model_for_kbit_training() 함수를 호출해야 합니다.
from peft import prepare_model_for_kbit_training
model = prepare_model_for_kbit_training(model)quantized model가 준비되었으니, 이제 구성을 설정해 보겠습니다.
LoraConfig
다음 매개변수(또는 직접 선택한 값)를 사용하여 LoraConfig를 생성합니다:
from peft import LoraConfig
config = LoraConfig(
r=16,
lora_alpha=8,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)이후 get_peft_model() 함수를 사용하여 양자화된 모델과 구성에서 PeftModel을 생성합니다.
from peft import get_peft_model
model = get_peft_model(model, config)원하시는 학습 방법을 선택하여 학습을 시작할 준비가 완료되었습니다!
LoftQ 초기화
LoftQ는 양자화 오차를 최소화하도록 LoRA 가중치를 초기화하며, 양자화 모델 학습 시 성능을 향상시킬 수 있습니다. 시작하려면 이 지침을 따르세요.
LoftQ는 target_parameters를 통해 지정된 레이어를 포함하여 선형 레이어에만 적용됩니다. 임베딩 레이어와 컨볼루션 레이어는 지원되지 않으며, 대신 기본 LoRA 초기화가 사용됩니다. nn.MultiheadAttention 레이어는 지원되지 않으며 오류가 발생합니다.
일반적으로 LoftQ가 최적으로 작동하려면, 대상이 아닌 레이어에는 LoftQ를 적용할 수 없으므로 LoRA 대상 레이어를 가능한 한 많이 지정하는 것이 좋습니다. 즉, LoraConfig(..., target_modules="all-linear")를 전달하는 것이 가장 좋은 결과를 줄 가능성이 높습니다. 또한 4bit 양자화를 사용할 때는 양자화 설정에서 양자화 유형으로 nf4를 사용해야 하며, 예를 들어 BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")와 같이 설정합니다.
일반적으로 LoftQ가 최적으로 작동하려면, 대상이 아닌 레이어에는 LoftQ를 적용할 수 없으므로 LoRA 대상 레이어를 가능한 한 많이 지정하는 것이 좋습니다. 즉, LoraConfig(..., target_modules="all-linear")를 전달하는 것이 가장 좋은 결과를 줄 가능성이 높습니다. 또한 4bit 양자화를 사용할 때는 양자화 설정에서 양자화 유형으로 nf4를 사용해야 하며, 예를 들어 BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")와 같이 설정합니다.
현재 LoftQ를 적용하는 의도된 방법은 두 가지입니다:
- 양자화되지 않은 기본 모델을 로드하고, 의도한 양자화 수준(예: nf4의 경우
bits=4)으로 LoftQ를 적용한 후 결과 어댑터를 저장합니다. 그런 다음, 예를 들어BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")를 사용하여 기본 모델을 양자화하고, 그 위에 LoftQ로 초기화된 어댑터를 로드합니다 - 양자화된 베이스 모델을 로드하고, LoRA(LoftQ 없음)로 PEFT 모델을 초기화한 후,
replace_lora_weights_loftq를 사용하여 비양자화 베이스 모델의 참조 가중치를 가중치 파일에서 스트리밍하여 LoftQ 초기화를 적용합니다(다음 섹션에서 자세히 설명합니다).
replace_lora_weights_loftq를 사용하여 LoftQ를 실시간으로 적용하기
LoftQ 초기화를 적용하는 더 간단하지만 제한적인 방법은 편의 함수 replace_lora_weights_loftq를 사용하는 것입니다. 이 함수는 양자화된 PEFT 모델을 입력으로 받아, LoRA 가중치를 LoftQ 초기화된 가중치로 제자리(in-place)에서 교체합니다.
from peft import replace_lora_weights_loftq
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(load_in_4bit=True, ...)
base_model = AutoModelForCausalLM.from_pretrained(..., quantization_config=bnb_config)
# note: don't pass init_lora_weights="loftq" or loftq_config!
lora_config = LoraConfig(task_type="CAUSAL_LM")
peft_model = get_peft_model(base_model, lora_config)
replace_lora_weights_loftq(peft_model)replace_lora_weights_loftq는 callback 인수를 전달하여 수정할 레이어를 더 세밀하게 제어할 수 있게 해주며, 이는 경험적으로 결과를 상당히 개선할 수 있습니다. 이 기능의 더 자세한 예제는 이 노트북을 참고하세요.
replace_lora_weights_loftq는 LoftQ의 반복 단계 중 하나만 구현합니다. 이는 LoRA 가중치와 양자화된 베이스 모델 가중치를 반복적으로 업데이트하는 대신, LoRA 가중치만 업데이트한다는 것을 의미합니다. 이로 인해 성능이 낮아질 수 있지만, 수정된 양자화 가중치의 추가 사본을 유지할 필요 없이 베이스 모델에서 파생된 원래 양자화 가중치를 사용할 수 있다는 장점이 있습니다. 이러한 트레이드오프가 가치 있는지는 사용 사례에 따라 달라집니다.
현재 replace_lora_weights_loftq에는 다음과 같은 추가 제한 사항이 있습니다:
- 모델 파일은
safetensors파일로 저장되어야 합니다. - bitsandbytes 4bit 양자화만 지원됩니다.
PiSSA 초기화
PiSSA는 양자화된 가중치에 적용할 수 없습니다. 일반적으로 비양자화 기반 모델에 적용한 후, 생성된 잔차를 저장하고 양자화와 함께 로드합니다. 이 과정에는 전체 비양자화 모델이 메모리에 적재되어야 합니다.
대안으로, replace_lora_weights_pissa는 양자화된 PEFT 모델을 받아 양자화되지 않은 모델의 가중치를 가중치 파일에서 레이어별로 스트리밍합니다. 각 레이어의 LoRA 가중치는 PiSSA로 초기화되고, 해당 레이어의 기본 가중치는 재양자화된 잔차로 대체됩니다.
from peft import replace_lora_weights_pissa
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(load_in_4bit=True, ...)
base_model = AutoModelForCausalLM.from_pretrained(..., quantization_config=bnb_config)
# note: don't pass init_lora_weights="pissa" here!
lora_config = LoraConfig(task_type="CAUSAL_LM")
peft_model = get_peft_model(base_model, lora_config)
replace_lora_weights_pissa(peft_model, init_lora_weights="pissa_niter_4")"pissa"와 "pissa_niter_[number of iters]" 모두 지원됩니다.
기본 가중치가 수정되므로 어댑터만 저장해서는 모델을 복원할 수 없습니다. 다른 PiSSA 초기화와 마찬가지로, 기본 모델도 함께 저장하거나 save_pretrained()의 path_initial_model_for_weight_conversion 인수를 사용하여 학습된 어댑터를 변환해야 합니다.
현재 replace_lora_weights_pissa에는 다음과 같은 추가 제한 사항이 있습니다:
- 모델 파일은
safetensors파일로 저장되어야 합니다. - bitsandbytes 4bit 양자화만 지원됩니다.
- DoRA와 같은 LoRA 변형은 지원되지 않습니다.
QLoRA 스타일 학습
QLoRA는 transformer 아키텍처의 모든 linear layer에 학습 가능한 가중치를 추가합니다. 이러한 linear layer의 속성 이름은 아키텍처에 따라 달라질 수 있으므로, 모든 linear layer에 LoRA를 추가하려면 target_modules를 "all-linear"로 설정하세요:
config = LoraConfig(target_modules="all-linear", ...)GPTQ 양자화
GPTQ 기반 [2, 3, 4, 8] 비트 양자화에 대해 GPT-QModel 및 Transformers GPTQ 문서에서 자세히 알아볼 수 있습니다. PEFT는 GPT-QModel을 통해 GPTQ 사후 학습을 지원합니다.
# GPT-QModel install
pip install "gptqmodel>=7.0.0"from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
model_id = "facebook/opt-125m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
gptq_config = GPTQConfig(bits=4, group_size=128, dataset="wikitext2", tokenizer=tokenizer)
quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", quantization_config=gptq_config)
# save quantized model
quantized_model.save_pretrained("./opt-125m-gptq")
tokenizer.save_pretrained("./opt-125m-gptq")양자화 후, PEFT API를 사용하여 GPTQ 모델을 사후 학습할 수 있습니다.
AQLM 양자화
언어 모델의 가산 양자화(AQLM)는 대규모 언어 모델 압축 방법입니다. 여러 가중치를 함께 양자화하고 가중치 간의 상호 의존성을 활용합니다. AQLM은 8~16개의 가중치 그룹을 여러 벡터 코드의 합으로 표현합니다. 이를 통해 정확도 손실이 상당히 낮은 수준에서 모델을 2비트까지 압축할 수 있습니다.
AQLM 양자화 과정은 계산 비용이 크므로, 사전 양자화 모델의 사용을 권장합니다. 사용 가능한 모델의 일부 목록은 공식 aqlm 저장소에서 확인할 수 있습니다.
모델은 LoRA 어댑터 튜닝을 지원합니다. 양자화된 모델을 튜닝하려면 aqlm 추론 라이브러리를 설치해야 합니다: pip install aqlm>=1.0.2. LoRA 어댑터를 미세 조정하면 AQLM 양자화 가중치와 병합할 수 없으므로 별도로 저장해야 합니다.
quantized_model = AutoModelForCausalLM.from_pretrained(
"BlackSamorez/Mixtral-8x7b-AQLM-2Bit-1x16-hf-test-dispatch",
dtype="auto", device_map="auto", low_cpu_mem_usage=True,
)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)AQLM+LoRA 파인튜닝 개요는 Google Colab 예제를 참고하세요.
EETQ 양자화
EETQ 양자화 모델에 대해 LoRA 미세 조정도 수행할 수 있습니다. EETQ 패키지는 LLM.int8() 알고리즘보다 빠르다고 주장되는 8비트 양자화를 수행하는 간단하고 효율적인 방법을 제공합니다. 먼저, EETQ와 호환되는 transformers 버전(예: 최신 pypi 또는 소스에서 설치)을 사용하고 있는지 확인하세요.
import torch
from transformers import EetqConfig
config = EetqConfig("int8")config를 from_pretrained 메서드에 전달합니다.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=config)LoraConfig를 생성하고 get_peft_model에 전달합니다:
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=16,
lora_alpha=8,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, config)HQQ 양자화
대규모 머신러닝 모델의 Half-Quadratic Quantization(HQQ)을 사용하여 양자화된 모델은 LoRA 어댑터 튜닝을 지원합니다. 양자화된 모델을 튜닝하려면 hqq 라이브러리를 설치해야 합니다: pip install hqq.
from hqq.engine.hf import HQQModelForCausalLM
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
quantized_model = HQQModelForCausalLM.from_quantized(save_dir_or_hfhub, device=device)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)HQQ와 호환되는 transformers 버전을 사용하는 방법(예: 최신 pypi 또는 소스에서 설치).
from transformers import HqqConfig, AutoModelForCausalLM
quant_config = HqqConfig(nbits=4, group_size=64)
quantized_model = AutoModelForCausalLM.from_pretrained(save_dir_or_hfhub, device_map=device_map, quantization_config=quant_config)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)torchao (PyTorch 아키텍처 최적화)
PEFT는 torchao("ao")를 사용하여 int8 양자화된 모델을 지원합니다.
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, TorchAoConfig
from torchao.quantization import Int8WeightOnlyConfig
model_id = ...
quantization_config = TorchAoConfig(quant_type=Int8WeightOnlyConfig())
base_model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config)
peft_config = LoraConfig(...)
model = get_peft_model(base_model, peft_config)주의 사항:
- 최신 버전의 torchao (>= v0.4.0)와 transformers (> 4.42)를 사용하세요.
- 현재 선형 레이어만 지원됩니다.
quant_type = "int4_weight_only"은 현재 지원되지 않습니다.NF4은 아직 Transformers에 구현되지 않았으며, 따라서 지원되지 않습니다.- 현재 DoRA는
quant_type = "int8_weight_only"와만 작동합니다. - LoRA와 함께 사용할 때 torchao에 대한 명시적인 지원이 있습니다. 그러나 torchao가 레이어를 양자화할 때, 해당 클래스는 변경되지 않고 기본 텐서의 유형만 변경됩니다. 이 때문에 LoRA를 제외한 다른 PEFT 방법도 명시적으로 지원되지 않더라도 일반적으로 torchao와 함께 작동합니다. 다만, 병합은 LoRA와
quant_type = "int8_weight_only"의 조합에서만 올바르게 작동합니다. 다른 PEFT 방법이나 dtype을 사용하면 병합 시 오류가 발생할 가능성이 높으며, 오류가 발생하지 않더라도 결과가 여전히 부정확할 수 있습니다.
INC 양자화
Intel Neural Compressor(INC)는 Intel Gaudi 가속기(또는 HPU 디바이스라고도 함)를 포함한 다양한 디바이스에 대한 모델 양자화를 지원합니다. INC를 사용하여 양자화된 모델에 LoRA 파인튜닝을 수행할 수 있습니다. PyTorch 모델에 INC를 사용하려면 pip install neural-compressor[pt]으로 라이브러리를 설치하세요. HPU 디바이스에 모델을 FP8 정밀도로 양자화하려면 다음 단일 단계 양자화 워크플로우를 사용할 수 있습니다:
import torch
from neural_compressor.torch.quantization import FP8Config, convert, finalize_calibration, prepare
quant_configs = {
...
}
config = FP8Config(**quant_configs)prepare 메서드에 config를 전달하고, 추론을 실행하여 보정 통계를 수집한 후, finalize_calibration 및 convert 메서드를 호출하여 모델을 FP8 정밀도로 양자화합니다:
model = prepare(model, config)
# Run inference to collect calibration statistics
...
# Finalize calibration and convert the model to FP8 precision
finalize_calibration(model)
model = convert(model)
# Load PEFT LoRA adapter as usual
...HPU 장치용 INC 양자화 FLUX 텍스트-이미지 모델에 PEFT LoRA 어댑터를 로드하는 방법을 보여주는 예제가 여기에 있습니다.
주의 사항:
- INC 양자화 모델에서는
merge()및unmerge()메서드가 현재 지원되지 않습니다. - 현재 PEFT 어댑터를 로드할 때 Linear INC 양자화 레이어만 지원됩니다.
기타 지원되는 PEFT 방법
LoRA 외에도 다음과 같은 PEFT 방법론이 양자화를 지원합니다:
- VeRA (bitsandbytes 양자화 지원)
- AdaLoRA (bitsandbytes와 GPTQ 양자화 모두 지원)
- (IA)³ (bitsandbytes 양자화 지원)
Transformer Engine (TE) LoRA
PEFT는 NVIDIA Transformer Engine 레이어(te.pytorch.Linear, te.pytorch.LayerNormLinear, te.pytorch.LayerNormMLP) 위에 LoRA 어댑터를 지원합니다. TE 레이어는 FP8과 융합 커널을 사용하여 Transformer 학습을 가속화하며, LoRA 어댑터를 연결하면 TE 가속 모델을 매개변수 효율적으로 미세 조정할 수 있습니다.
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["q_proj", "v_proj"],
task_type="TOKEN_CLS",
)
model = get_peft_model(te_model, config)Transformer Engine가 설치된 경우, PEFT는 일치하는 레이어를 TeLinear 어댑터에 자동으로 분배합니다. 추가 구성은 필요하지 않습니다.
주의 사항
merge()와unmerge()는 아직 TE 레이어에서 지원되지 않습니다.- DoRA는 TE 레이어와 함께 사용할 수 없습니다.
완전한 ESM2 토큰 분류 예제는 examples/lora_finetuning_transformer_engine/에서 사용할 수 있습니다.
양자화된 가중치에 어댑터 병합
지원하는 모든 양자화 방식에서 merge_adapter()는 기본 가중치를 역양자화하고 어댑터 가중치를 더한 후 결과를 다시 양자화합니다. unmerge_adapter()는 이와 반대 방향으로 동일한 작업을 수행하므로 원래의 양자화 가중치를 복원하지 않으며, merge와 unmerge 사이클을 반복하면 반올림 오차가 누적될 수 있습니다. 원래 가중치를 되찾으려면 기본 모델을 다시 로드해야 합니다. 병합 없이 기본 모델과 어댑터 사이를 전환하려면 disable_adapter() 컨텍스트 매니저를 사용하세요.
다음 단계
양자화에 대해 더 자세히 알고 싶다면 다음 자료가 도움이 될 수 있습니다:
- QLoRA에 대한 자세한 내용을 확인하고, Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA 블로그 게시물에서 성능에 미치는 영향에 대한 벤치마크를 살펴보세요.
- Transformers의 Quantization 가이드에서 다양한 양자화 스킴에 대해 자세히 알아보세요.