PEFT documentation

VeLoRA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VeLoRA

Bu, LoRA'nın bir varyantıdır ve bu nedenle LoRA ile yapılabilen her şey, aksi bu sayfada belirtilmedikçe bu yöntem için de geçerlidir.

VeLoRA, ileri geçişte LoRA için kaydedilen aktivasyonları sıkıştırarak ve güncelleme kurallarını uygulamak için geriye doğru geçişte bunları yeniden oluşturarak eğitim belleğini azaltan bir LoRA varyantıdır. PEFT’de VeLoRA, LoraConfig üzerindeki velora_config argümanı aracılığıyla bir LoRA varyantı olarak yapılandırılır.

from peft import LoraConfig, VeloraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    velora_config=VeloraConfig(
        num_groups=64,
        scale=0.2,
        init_type="batch_average",
    ),
)

VeLoRA, target_modules tarafından seçilen her LoRA katmanına uygulanır. num_groups, sıkıştırma öncesinde girdi aktivasyon derinliğinin nasıl bölündüğünü kontrol eder. Aktivasyon derinliği num_groups ile tam bölünemiyorsa, VeLoRA gruplanmış temsilin iç dolgusunu (padding) içsel olarak ekler ve yeniden yapılandırmadan sonra dolguyu kaldırır. scale, geri yayılım sırasında yeniden yapılandırılan aktivasyonları yeniden ölçekler ve init_type, projeksiyonun nasıl başlatılacağını seçer.

Projeksiyonu ilk eğitim batch'inden başlatmak için batch_average_once, her eğitim ileri geçişinden güncellemek için batch_average veya hemen rastgele normalize edilmiş bir vektörden başlatmak için random kullanın.

Aşağıda MetaMathQA benchmark ile ilgili bazı sonuçlar yer almaktadır.

VaryantEğitim KaybıMaksimum Bellek (GiB)Token/sn
LoRA0.542727.692366.2
LoRA + GC0.542613.171671.8
LoRA+VeLoRA0.542719.942057.6

Dikkat Edilmesi Gerekenler

  • VeLoRA şu anda yalnızca standart LoRA doğrusal katmanlarında desteklenmektedir.
Update on GitHub