PEFT documentation
VeLoRA
VeLoRA
Bu, LoRA'nın bir varyantıdır ve bu nedenle LoRA ile yapılabilen her şey, aksi bu sayfada belirtilmedikçe bu yöntem için de geçerlidir.
VeLoRA, ileri geçişte LoRA için kaydedilen aktivasyonları sıkıştırarak ve güncelleme kurallarını uygulamak için geriye doğru geçişte bunları yeniden oluşturarak eğitim belleğini azaltan bir LoRA varyantıdır. PEFT’de VeLoRA, LoraConfig üzerindeki velora_config argümanı aracılığıyla bir LoRA varyantı olarak yapılandırılır.
from peft import LoraConfig, VeloraConfig
config = LoraConfig(
target_modules=["q_proj", "v_proj"],
velora_config=VeloraConfig(
num_groups=64,
scale=0.2,
init_type="batch_average",
),
)VeLoRA, target_modules tarafından seçilen her LoRA katmanına uygulanır. num_groups, sıkıştırma öncesinde girdi aktivasyon derinliğinin nasıl bölündüğünü kontrol eder. Aktivasyon derinliği num_groups ile tam bölünemiyorsa, VeLoRA gruplanmış temsilin iç dolgusunu (padding) içsel olarak ekler ve yeniden yapılandırmadan sonra dolguyu kaldırır. scale, geri yayılım sırasında yeniden yapılandırılan aktivasyonları yeniden ölçekler ve init_type, projeksiyonun nasıl başlatılacağını seçer.
Projeksiyonu ilk eğitim batch'inden başlatmak için batch_average_once, her eğitim ileri geçişinden güncellemek için batch_average veya hemen rastgele normalize edilmiş bir vektörden başlatmak için random kullanın.
Aşağıda MetaMathQA benchmark ile ilgili bazı sonuçlar yer almaktadır.
| Varyant | Eğitim Kaybı | Maksimum Bellek (GiB) | Token/sn |
|---|---|---|---|
| LoRA | 0.5427 | 27.69 | 2366.2 |
| LoRA + GC | 0.5426 | 13.17 | 1671.8 |
| LoRA+VeLoRA | 0.5427 | 19.94 | 2057.6 |
Dikkat Edilmesi Gerekenler
- VeLoRA şu anda yalnızca standart LoRA doğrusal katmanlarında desteklenmektedir.