PEFT documentation
Model birleştirme
Model birleştirme
Her görev için ayrı bir model eğitmek maliyetli olabilir, depolama alanı kaplayabilir ve modeller performanslarını artırmak için yeni bilgi öğrenemez. Çoklu görev öğrenimi, bir modeli birden fazla görevi öğrenmesi için eğiterek bu kısıtlamaların bazılarını aşabilir, ancak eğitimi pahalıdır ve bunun için bir veri seti tasarlamak zordur. Model birleştirme, birden fazla önceden eğitilmiş modeli tek bir modelde birleştirerek bu zorluklara bir çözüm sunar; bu sayede model, ek bir eğitim gerektirmeden her bir bireysel modelin yeteneklerinin birleşimini kazanır.
PEFT, lineer veya SVD birleşimi gibi modelleri birleştirmek için çeşitli yöntemler sunar. Bu kılavuz, gereksiz parametreleri ortadan kaldırarak LoRA adaptörlerini birleştirmek için daha verimli olan iki yönteme odaklanır:
- TIES - TrIm, Elect, and Merge (TIES), modelleri birleştirmek için kullanılan üç adımlı bir yöntemdir. İlk olarak, gereksiz parametreler budanır; ardından çelişen işaretler, birleştirilmiş bir vektöre dönüştürülerek çözümlenir ve son olarak işaretleri birleşik işaret ile aynı olan parametrelerin ortalaması alınır. Bu yöntem, bazı değerlerin (gereksiz parametreler ve işaret uyuşmazlıkları) birleştirilmiş modelde performansı düşürebileceğini göz önünde bulundurur.
- DARE - Drop And REscale, TIES gibi diğer model birleştirme yöntemleri için hazırlık yapılabilmesine olanak tanıyan bir yöntemdir. Çalışma mantığı, parametreleri bir düşürme oranına göre rastgele atarak ve kalan parametreleri yeniden ölçeklemektir. Bu, birden fazla model arasındaki gereksiz ve potansiyel olarak çelişen parametrelerin sayısını azaltmaya yardımcı olur.
Modeller add_weighted_adapter() yöntemiyle birleştirilir ve belirli model birleştirme yöntemi combination_type parametresinde belirtilir.
Birleştirme yöntemi
TIES ve DARE ile birleştirme, combination_type ve density değerlerini, bireysel modellerden korunacak ağırlıkların oranına ayarlayarak etkinleştirilir. Örneğin, üç ayrı ince ayarlanmış TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T modelini birleştirelim: tinyllama_lora_nobots, tinyllama_lora_sql ve tinyllama_lora_adcopy.
TIES ile tamamen eğitilmiş modelleri birleştirmeye çalışırken, her bir modelin orijinal checkpoint sözlüğünün bir parçası olmayan ve gömme katmanına eklemiş olabileceği özel jetonları göz önünde bulundurmalısınız. Bu bir soruna yol açabilir çünkü her model aynı gömme konumuna bir özel jeton eklemiş olabilir. Bu durum geçerliyse, aynı gömme indeksinde özel jetonların birleştirilmesini önlemek için resize_token_embeddings yöntemini kullanmalısınız.
Eğer yalnızca aynı temel modelden eğitilmiş LoRA adaptörlerini birleştiriyorsanız, bu bir sorun olmamalıdır.
Bir temel model yükleyin ve her bir adaptöre bir ad atamak için load_adapter() yöntemini kullanabilirsiniz:
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
config = PeftConfig.from_pretrained("smangrul/tinyllama_lora_norobots")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, load_in_4bit=True, device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained("smangrul/tinyllama_lora_norobots")
model.config.vocab_size = 32005
model.resize_token_embeddings(32005)
model = PeftModel.from_pretrained(model, "smangrul/tinyllama_lora_norobots", adapter_name="norobots")
_ = model.load_adapter("smangrul/tinyllama_lora_sql", adapter_name="sql")
_ = model.load_adapter("smangrul/tinyllama_lora_adcopy", adapter_name="adcopy")Adaptörleri, ağırlıkları, adapter_name, combination_type ve density değerlerini add_weighted_adapter() yöntemiyle ayarlayın.
1.0'dan büyük ağırlık değerleri, doğru ölçeği koruduğu için genellikle daha iyi sonuçlar üretir. Ağırlıklar için iyi bir varsayılan başlangıç değeri, tüm değerleri 1.0 olarak ayarlamaktır.
adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 1.0, 1.0]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="ties", density=density)adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 0.3, 0.7]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="dare_ties", density=density)Yeni birleştirilen modeli set_adapter() yöntemiyle etkin model olarak ayarlayın.
model.set_adapter("merge")Artık birleştirilmiş modeli, talimatla ayarlanmış bir model olarak reklam metinleri veya SQL sorguları yazmak için kullanabilirsiniz!
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "user", "content": "Write an essay about Generative AI."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "system", "content": "Create a text ad given the following product and description."},
{"role": "user", "content": "Product: Sony PS5 PlayStation Console\nDescription: The PS5 console unleashes new gaming possibilities that you never anticipated."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
text = """Table: 2-11365528-2
Columns: ['Team', 'Head Coach', 'President', 'Home Ground', 'Location']
Natural Query: Who is the Head Coach of the team whose President is Mario Volarevic?
SQL Query:"""
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1, eos_token_id=tokenizer("</s>").input_ids[-1])
print(tokenizer.decode(outputs[0]))(IA)³ Modellerini Birleştirme
(IA)³ modelleri, adaptörlerin doğrusal birleştirilmesini kolaylaştırır. Bir (IA)³ modelinde adaptörleri birleştirmek için IA3Model sınıfındaki add_weighted_adapter yöntemini kullanın. Bu yöntem, LoraModel içinde kullanılan add_weighted_adapter yöntemiyle benzerdir; temel fark, combination_type parametresinin bulunmamasıdır. Örneğin, üç (IA)³ adaptörünü bir PEFT modeline birleştirmek için aşağıdaki adımları izlersiniz:
adapters = ["adapter1", "adapter2", "adapter3"]
weights = [0.4, 0.3, 0.3]
adapter_name = "merge"
model.add_weighted_adapter(adapters, weights, adapter_name)Ağırlıkların modelin ölçeğini korumak için 1.0'a eşit olması önerilir. Birleştirilen model, set_adapter yöntemi kullanılarak etkin model olarak ayarlanabilir:
model.set_adapter("merge")