PEFT documentation

KaSA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

KaSA

هذا متغيّر من LoRA، وبالتالي كل ما هو ممكن باستخدام LoRA صالح لهذه الطريقة ما لم يُذكر خلاف ذلك في هذه الصفحة.

KaSA (Knowledge-aware Singular-value Adaptation) هو متغير من LoRA يستخدم تحليل القيم المفردة للأوزان الأساسية لتصفية المعرفة غير ذات الصلة بالمهمة، ويحدد معاملات التحديث بقيم مفردة قابلة للتعلم. وهو يعدّل LoRA العادي بطريقتين:

  1. اختصار SVD القائم على المعرفة للوزن الأساسي المجمّد. عند التهيئة، يُحلَّل الوزن الأساسي W باستخدام SVD، وتُستبعد أصغر r مكوّنات مفردة (التي تُعدّ «ضجيجًا»/ذيلًا طويلًا)، فيبقى تقريب من الرتبة (k - r) كوزن أساسي جديد مجمّد (k = min(in_features, out_features)). ثم يعيد الفرع القابل للتدريب تعلّم ما في فضاء المتبقي المستبعد.
  2. التكيّف بقيمة المفردة الواعي بالمعرفة. يتم تمثيل التحديث القابل للتدريب في صورة التحليل القيمي المفرد (SVD) مع إدخال قطري قابل للتعلم من القيم المفردة بين عوامل LoRA: ΔW = scaling * B @ diag(ΔΣ) @ A، حيث ΔΣ (lora_diag) متجه قابل للتعلم بطول r وهو المعامل الجديد الوحيد لكل طبقة.

في PEFT، يتم تكوين KaSA كمتغير من LoRA عبر الحجة kasa_config على LoraConfig:

from peft import KasaConfig, LoraConfig

config = LoraConfig(
    target_modules=["q_proj", "v_proj"],
    kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)

تدرّب الورقة أيضًا باستخدام مُنظِّمين مساعدين: عقوبة L2 على القيم المفردة القابلة للتعلم (مُوزونة بـ beta) وتنظيم متعامد على عوامل المُكيِّف (مُوزونة بـ gamma)، والذي يفرض برفق شبه التعامد الذي تفترضه معادلة SVD. لا يمكن لـ PEFT حقن هذه العناصر تلقائيًا، لذا أثناء التدريب يجب عليك إضافتها إلى خسارة المهمة عن طريق استدعاء LoraModel._get_kasa_loss() على LoraModel الأساسي:

task_loss = ...  # standard loss returned by your model
kasa_loss = model._get_kasa_loss()  # 0.0 if KaSA is not used
total_loss = task_loss + kasa_loss

للاستخدام التفصيلي، راجع هذه التعليمات.

ملاحظات

  • يُؤيَّد KaSA حاليًا في طبقات LoRA الخطية القياسية فقط، وليس في طبقات fan_in_fan_out=True (مثل Conv1D في transformers).
  • لا يمكن دمج محولات KaSA مع محولات غير KaSA على نفس النموذج، لأن اقتصاص الأوزان الأساسية سيُغيّر الأوزان الأساسية تحت محولات أخرى. يُسمح باستخدام عدة محولات KaSA.
  • convert_to_lora غير مدعوم: يعتمد تحديث KaSA على lora_diag وعلى وزن الأساس المقطوع، وكلاهما غير قابل للتعبير في مُكيّف LoRA عادي.
  • إنّ تقصير التحليل القيمي المفرد (SVD truncation) للوزن الأساسي مُتلف: فإضافة مُكيّف KaSA تُغيّر الوزن المجمّد للطبقة بشكل دائم. ولا يؤدي تعطيل المُكيّف أو تفريغه إلى استعادة الوزن الأساسي الأصلي، كما أنّ تنفيذ merge ثم unmerge يُرجع الوزن المُقصَّر، وليس الوزن الأصلي. وهذا أمر متأصل في الطريقة. احتفظ بالنقطة الفاحصة الأصلية إذا كنت بحاجة إلى استعادة النموذج الأساسي غير المُعدَّل.
  • تحميل مُكيّف KaSA مُدرَّب باستخدام PeftModel.from_pretrained يعيد تطبيق نفس القصّ على الأوزان الأساسية المحمَّلة حديثًا، مما يجعل عملية الحفظ وإعادة التحميل متسقة.
Update on GitHub