PEFT documentation

MonteCLoRA (Monte Carlo Düşük-Rütbe Uyarlaması)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MonteCLoRA (Monte Carlo Düşük-Rütbe Uyarlaması)

Bu, LoRA'nın bir varyantıdır ve bu nedenle LoRA ile yapılabilen her şey, aksi bu sayfada belirtilmedikçe bu yöntem için de geçerlidir.

MonteCLoRA, eğitim sırasında LoRA A matrisi üzerine stokastik bozulmaların Monte Carlo örneklerini çeken küçük bir varyasyonel modülle standart bir LoRA adaptörünü sarar. Somut olarak, varyasyonel parametreleri (Wishart tabanlı bir kovaryans, örnek başına çok değişkenli normal bir gürültü terimi ve örnekler üzerindeki Dirichlet ağırlıklandırması) öğrenir ve her ileri geçişte elde edilen ortalama bozulmayı lora_A’ya ekler. Bu varyasyonel parametreleri makul bir öncüye (prior) sabitlemek için eğitim kaybına bir KL-divergence + entropy terimi eklenir. Çıkarım (inference) sırasında örnekleyici devre dışı bırakılır ve MonteCLoRA tam olarak normal bir LoRA adaptörü gibi davranır; bu nedenle ek çıkarım maliyeti veya birleştirilecek ek parametre yoktur. Yöntemin tamamı için bkz. https://huggingface.co/papers/2411.04358.

Aşağıdaki durumlarda MonteCLoRA'yı değerlendirmeyi düşünebilirsiniz:

  • Küçük veya gürültülü bir veri kümesi üzerinde ince ayar yapıyor ve standart LoRA'dan daha güçlü bir düzenlemeye (regularization) ihtiyaç duyuyorsunuz. Monte Carlo ortalama ve KL terimi birlikte, Bayesçi tarzda bir düzenleyici (regularizer) olarak görev yapar.
  • Adapterınızdan, çıkarım sırasında ek maliyet ödemeden (varyasyonel mekanizma yalnızca eğitim sırasında kullanılır) daha iyi belirsizlik kalibrasyonu / sağlamlık elde etmek istiyorsunuz.
  • Vanilla LoRA aşırı öğrenme yapıyor ve r değerini düşürmek veya lora_dropout değerini artırmak yeterli olmuyor.

Büyük ve temiz bir veri setiniz varsa ve standart LoRA zaten kararlı bir şekilde eğitim yapıyorsa, muhtemelen MonteCLoRA'ya ihtiyacınız yoktur — bu durumda ek varyasyonel parametreler genellikle çok az fayda sağlayarak eğitim yükünü artırır.

MonteCLoRA'yı etkinleştirmek için MontecloraConfig'i LoraConfig'e iletin:

from peft import LoraConfig, MontecloraConfig

monteclora_config = MontecloraConfig(
    num_samples=8,         # number of Monte Carlo samples per forward pass
    sample_scaler=1e-4,    # magnitude of the variational perturbation
    kl_loss_weight=1e-5,   # weight of the KL term added to the training loss
)
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    monteclora_config=monteclora_config,
)

Eğitim sırasında görev kaybına varyasyonel düzenleme kaybını eklemeniz gerekir. En basit yol, alttaki LoraModel üzerinde LoraModel._get_monteclora_loss() fonksiyonunu çağırmaktır:

task_loss = ...  # standard loss returned by your model
monteclora_loss = model._get_monteclora_loss()  # 0.0 if MonteCLoRA is not used
total_loss = task_loss + monteclora_loss
total_loss.backward()

HF Trainer ile eğitim yapıyorsanız, bunu sizin için compute_loss içinde yapan peft.helpers.MontecloraTrainerMixin'i basitçe karıştırabilirsiniz:

from transformers import Trainer
from peft.helpers import MontecloraTrainerMixin


class MontecloraTrainer(MontecloraTrainerMixin, Trainer):
    pass

Tamamen çalışan bir örnek examples/monteclora_finetuning adresinde mevcuttur.

API

MonteCloraConfig

sınıf peft.MontecloraConfig

< >

( num_samples: int = 8use_entropy: bool = Falsedirichlet_prior: float = 0.1sample_scaler: float = 0.0001kl_loss_weight: float = 1e-05buffer_size: int = 150 )

Parametreler

  • num_samples (int) — İleri yönlü geçiş başına çekilecek Monte Carlo örnek sayısı. Daha yüksek değerler genellikle daha pürüzsüz bir eğitim ve daha iyi belirsizlik tahminleri sağlar ancak hesaplama ve bellek kullanımını artırır. Eğitim çok yavaşsa veya bellek kısıtlıysa bu değeri düşürün; eğitim istikrarlıysa ve daha güçlü Monte Carlo ortalaması istiyorsanız artırın.
  • use_entropy (bool) — Monte Carlo ağırlıklarının tek bir örneğe çökmesini engelleyen bir entropi düzenleme terimi eklenip eklenmeyeceğini belirtir. Örnekleme cihazının çok sivri hale geldiğini gözlemliyorsanız veya daha güçlü bir düzenleme istiyorsanız bunu etkinleştirin; standart LoRA'yı daha yakından taklit etmek için kapalı bırakın.
  • dirichlet_prior (float) — Örnek/uzman ağırlıkları üzerindeki Dirichlet önceli için konsantrasyon parametresi. Daha büyük değerler, ağırlıkların daha homojen olmasına doğru iter (daha güçlü düzenleme, daha az seyreklik); daha küçük pozitif değerler ise daha seyrek, daha sivri ağırlıkları teşvik eder. Örnekleme aşırı uyarlama yapıyorsa artırın; çok muhafazakâr davranıyorsa azaltın (ancak > 0 tutun).
  • sample_scaler (float) — LoRA ağırlıklarına uygulanan örneklenen perturbasyonlar için genel ölçekleme faktörü. Bu değeri artırmak Monte Carlo gürültüsünü güçlendirir (daha fazla düzenleme ve keşif, ancak aynı zamanda daha fazla eğitim kararsızlığı); azaltmak davranışı standart deterministik LoRA'ya yaklaştırır. Bu değeri 0'a çok yakın ayarlamak Monteclora'nın etkisini büyük ölçüde devre dışı bırakır.
  • kl_loss_weight (float) — Varyansiyonel dağılım ile önceli (prior) arasındaki KL-divergence teriminin ağırlığı. Daha büyük değerler, önceliyle eşleşmeye daha fazla vurgu yapar (daha güçlü düzenleme, potansiyel olarak yetersiz sığma); daha küçük değerler ise veri olgusallığına (data likelihood) daha fazla güvenir (daha zayıf düzenleme, potansiyel olarak aşırı sığma). Monteclora'nın adaptörü aşırı veya yetersiz düzenlediğini fark ederseniz bu parametreyi ayarlayın.
  • buffer_size (int) — Monte Carlo örnekleyicisinin kullandığı dahili tamponun boyutu (ör. son istatistikleri depolamak için). Daha büyük değerler, ek bellek maliyeti karşılığında tahmini varyasyonel parametreleri kararlı hale getirebilir; bellek kısıtlıysa bunu azaltın.

Bu, Monteclora (Monte Carlo Low-Rank Adaptation) yapılandırmasını depolamak için alt yapılandırma sınıfıdır. Monteclora, adaptör ağırlıklarına Monte Carlo örneklemesi ekleyerek varyasyonel çıkarımı LoRA'ya dahil eder.

Uygulamada Monteclora'yı, LoRA ağırlıklarının üzerine stokastik, öğrenilmiş bozulmalar ekleyerek daha iyi kalibre edilmiş ve daha iyi düzenlenmiş bir adaptör elde etmek olarak düşünebilirsiniz. Aşağıdaki argümanlar, kararlılık, düzenleme gücü ve hesaplama maliyeti arasında denge kurmanızı sağlar.

Update on GitHub