PEFT documentation
모델 병합
모델 병합
각 작업별로 모델을 학습시키는 것은 비용이 많이 들고 저장 공간을 차지하며, 모델이 성능을 향상시키기 위해 새로운 정보를 학습할 수 없습니다. 멀티태스크 학습은 여러 작업을 학습하도록 모델을 훈련시켜 이러한 제한 사항 중 일부를 극복할 수 있지만, 학습 비용이 높고 데이터셋을 설계하는 것이 어렵습니다. 모델 병합은 여러 사전 학습된 모델을 하나의 모델로 결합하여 추가 학습 없이 각 개별 모델의 능력을 모두 갖추도록 함으로써 이러한 과제에 대한 해결책을 제공합니다.
PEFT는 선형 또는 SVD 조합과 같은 모델 병합 방법을 여러 가지 제공합니다. 이 가이드는 중복된 매개변수를 제거하여 LoRA 어댑터를 병합하는 데 더 효율적인 두 가지 방법에 초점을 맞춥니다:
- TIES - TrIm, Elect, and Merge (TIES) is a three-step method for merging models. First, redundant parameters are trimmed, then conflicting signs are resolved into an aggregated vector, and finally the parameters whose signs are the same as the aggregate sign are averaged. This method takes into account that some values (redundant and sign disagreement) can degrade performance in the merged model.
- DARE - Drop And REscale는 TIES와 같은 다른 모델 병합 방법을 준비하는 데 사용할 수 있는 방법입니다. 드롭 레이트에 따라 매개변수를 무작위로 제거하고 나머지 매개변수를 다시 스케일링하는 방식으로 작동합니다. 이를 통해 여러 모델 간의 중복되고 잠재적으로 간섭을 일으킬 수 있는 매개변수의 수를 줄이는 데 도움이 됩니다.
모델은 add_weighted_adapter() 메서드로 병합되며, 구체적인 모델 병합 방법은 combination_type 파라미터에서 지정합니다.
병합 방법
TIES와 DARE를 사용할 경우, combination_type과 density를 개별 모델에서 유지할 가중치의 값으로 설정하면 병합이 활성화됩니다. 예를 들어, 세 가지 파인튜닝된 TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T 모델인 tinyllama_lora_nobots, tinyllama_lora_sql, tinyllama_lora_adcopy를 병합해 보겠습니다.
TIES를 사용하여 완전히 학습된 모델을 병합할 때는, 각 모델이 원래 체크포인트의 어휘에 포함되지 않는 특수 토큰을 임베딩 레이어에 추가했을 수 있음을 인지해야 합니다. 각 모델이 동일한 임베딩 위치에 특수 토큰을 추가했을 수 있으므로 문제가 발생할 수 있습니다. 이 경우, 동일한 임베딩 인덱스에서 특수 토큰이 병합되는 것을 방지하기 위해 resize_token_embeddings 메서드를 사용해야 합니다.
LoRA 어댑터를 동일한 기반 모델에서만 학습한 경우라면 문제가 되지 않아야 합니다.
기본 모델을 로드하고 load_adapter() 메서드를 사용하여 각 어댑터를 로드하고 이름을 지정할 수 있습니다:
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
config = PeftConfig.from_pretrained("smangrul/tinyllama_lora_norobots")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, load_in_4bit=True, device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained("smangrul/tinyllama_lora_norobots")
model.config.vocab_size = 32005
model.resize_token_embeddings(32005)
model = PeftModel.from_pretrained(model, "smangrul/tinyllama_lora_norobots", adapter_name="norobots")
_ = model.load_adapter("smangrul/tinyllama_lora_sql", adapter_name="sql")
_ = model.load_adapter("smangrul/tinyllama_lora_adcopy", adapter_name="adcopy")adapter_name, combination_type, density와 함께 어댑터와 가중치를 add_weighted_adapter() 메서드로 설정합니다.
1.0보다 큰 가중치 값은 올바른 스케일을 유지하기 때문에 일반적으로 더 나은 결과를 제공합니다. 가중치의 좋은 기본 시작 값은 모든 값을 1.0으로 설정하는 것입니다.
adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 1.0, 1.0]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="ties", density=density)adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 0.3, 0.7]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="dare_ties", density=density)set_adapter() 메서드를 사용하여 새로 병합된 모델을 활성 모델로 설정합니다.
model.set_adapter("merge")이제 병합된 모델을 지시 튜닝된 모델로 사용하여 광고 카피나 SQL 쿼리를 작성할 수 있습니다!
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "user", "content": "Write an essay about Generative AI."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "system", "content": "Create a text ad given the following product and description."},
{"role": "user", "content": "Product: Sony PS5 PlayStation Console\nDescription: The PS5 console unleashes new gaming possibilities that you never anticipated."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
text = """Table: 2-11365528-2
Columns: ['Team', 'Head Coach', 'President', 'Home Ground', 'Location']
Natural Query: Who is the Head Coach of the team whose President is Mario Volarevic?
SQL Query:"""
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1, eos_token_id=tokenizer("</s>").input_ids[-1])
print(tokenizer.decode(outputs[0]))(IA)³ 모델 병합
(IA)³ 모델은 어댑터의 선형 병합을 지원합니다. (IA)³ 모델에서 어댑터를 병합하려면 IA3Model 클래스의 add_weighted_adapter 메서드를 사용하세요. 이 메서드는 LoraModel에서 사용되는 add_weighted_adapter 메서드와 유사하며, 주요 차이점은 combination_type 매개변수가 없다는 것입니다. 예를 들어, PEFT 모델에 세 개의 (IA)³ 어댑터를 병합하려면 다음과 같이 진행합니다:
adapters = ["adapter1", "adapter2", "adapter3"]
weights = [0.4, 0.3, 0.3]
adapter_name = "merge"
model.add_weighted_adapter(adapters, weights, adapter_name)모델의 스케일을 유지하려면 가중치의 합이 1.0이 되도록 하는 것이 좋습니다. 그런 다음 set_adapter 메서드를 사용하여 병합된 모델을 활성 모델로 설정할 수 있습니다:
model.set_adapter("merge")