PEFT documentation
KaSA
KaSA
هذا متغيّر من LoRA، وبالتالي كل ما هو ممكن باستخدام LoRA صالح لهذه الطريقة ما لم يُذكر خلاف ذلك في هذه الصفحة.
KaSA (Knowledge-aware Singular-value Adaptation) هو متغير من LoRA يستخدم تحليل القيم المفردة للأوزان الأساسية لتصفية المعرفة غير ذات الصلة بالمهمة، ويحدد معاملات التحديث بقيم مفردة قابلة للتعلم. وهو يعدّل LoRA العادي بطريقتين:
- اختصار SVD القائم على المعرفة للوزن الأساسي المجمّد. عند التهيئة، يُحلَّل الوزن الأساسي
Wباستخدام SVD، وتُستبعد أصغرrمكوّنات مفردة (التي تُعدّ «ضجيجًا»/ذيلًا طويلًا)، فيبقى تقريب من الرتبة(k - r)كوزن أساسي جديد مجمّد (k = min(in_features, out_features)). ثم يعيد الفرع القابل للتدريب تعلّم ما في فضاء المتبقي المستبعد. - التكيّف بقيمة المفردة الواعي بالمعرفة. يتم تمثيل التحديث القابل للتدريب في صورة التحليل القيمي المفرد (SVD) مع إدخال قطري قابل للتعلم من القيم المفردة بين عوامل LoRA:
ΔW = scaling * B @ diag(ΔΣ) @ A، حيثΔΣ(lora_diag) متجه قابل للتعلم بطولrوهو المعامل الجديد الوحيد لكل طبقة.
في PEFT، يتم تكوين KaSA كمتغير من LoRA عبر الحجة kasa_config على LoraConfig:
from peft import KasaConfig, LoraConfig
config = LoraConfig(
target_modules=["q_proj", "v_proj"],
kasa_config=KasaConfig(beta=1e-4, gamma=1e-3),
)تدرّب الورقة أيضًا باستخدام مُنظِّمين مساعدين: عقوبة L2 على القيم المفردة القابلة للتعلم (مُوزونة بـ beta) وتنظيم متعامد على عوامل المُكيِّف (مُوزونة بـ gamma)، والذي يفرض برفق شبه التعامد الذي تفترضه معادلة SVD. لا يمكن لـ PEFT حقن هذه العناصر تلقائيًا، لذا أثناء التدريب يجب عليك إضافتها إلى خسارة المهمة عن طريق استدعاء LoraModel._get_kasa_loss() على LoraModel الأساسي:
task_loss = ... # standard loss returned by your model
kasa_loss = model._get_kasa_loss() # 0.0 if KaSA is not used
total_loss = task_loss + kasa_lossللاستخدام التفصيلي، راجع هذه التعليمات.
ملاحظات
- يُؤيَّد KaSA حاليًا في طبقات LoRA الخطية القياسية فقط، وليس في طبقات
fan_in_fan_out=True(مثلConv1Dفي transformers). - لا يمكن دمج محولات KaSA مع محولات غير KaSA على نفس النموذج، لأن اقتصاص الأوزان الأساسية سيُغيّر الأوزان الأساسية تحت محولات أخرى. يُسمح باستخدام عدة محولات KaSA.
convert_to_loraغير مدعوم: يعتمد تحديث KaSA علىlora_diagوعلى وزن الأساس المقطوع، وكلاهما غير قابل للتعبير في مُكيّف LoRA عادي.- إنّ تقصير التحليل القيمي المفرد (SVD truncation) للوزن الأساسي مُتلف: فإضافة مُكيّف KaSA تُغيّر الوزن المجمّد للطبقة بشكل دائم. ولا يؤدي تعطيل المُكيّف أو تفريغه إلى استعادة الوزن الأساسي الأصلي، كما أنّ تنفيذ
mergeثمunmergeيُرجع الوزن المُقصَّر، وليس الوزن الأصلي. وهذا أمر متأصل في الطريقة. احتفظ بالنقطة الفاحصة الأصلية إذا كنت بحاجة إلى استعادة النموذج الأساسي غير المُعدَّل. - تحميل مُكيّف KaSA مُدرَّب باستخدام
PeftModel.from_pretrainedيعيد تطبيق نفس القصّ على الأوزان الأساسية المحمَّلة حديثًا، مما يجعل عملية الحفظ وإعادة التحميل متسقة.