PEFT documentation

PVeRA: تكييف مصفوفة عشوائية احتمالية تعتمد على المتجهات

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

PVeRA: تكييف مصفوفة عشوائية احتمالية تعتمد على المتجهات

PVeRA هي تقنية لضبط دقيق فعّال من حيث المعاملات، مبنية على VeRA، ضمن عائلة المحوِّلات القائمة على LoRA. فهي تحافظ على ميزانية المعاملات المنخفضة جدًا الخاصة بـ VeRA، لكنها تزيد الأداء من خلال تعلُّم توزيع للتكيّفات الكامنة. كما يتيح هذا للنماذج المُكيَّفة باستخدام PVeRA توليد تقديرات لفترات الثقة بطريقة مونت كارلو، وذلك عبر أخذ عينات من التوزيع المُتعلَّم أثناء الاستدلال.

عند حفظ معاملات المُكيّف (adapter)، من الممكن التخلي عن تخزين مصفوفات الرتبة المنخفضة من خلال تعيين save_projection=False على PveraConfig. في هذه الحالة، سيتم استعادة هذه المصفوفات بناءً على البذرة العشوائية الثابتة من الحجة projection_prng_key. يقلل هذا من حجم نقطة الفحص (checkpoint)، لكننا لا نستطيع ضمان قابلية التكرار على جميع الأجهزة ولمختلف الإصدارات المستقبلية من PyTorch. إذا كنت ترغب في ضمان قابلية التكرار، فعيّن save_projection=True (وهو الإعداد الافتراضي).

لمعالجة الأشكال المختلفة للطبقات المُكيَّفة، تُهيّئ PVeRA مصفوفات A و B المشتركة بأقصى حجم مطلوب لكل بُعد. أثناء المرور الأمامي، تُستخرج المصفوفات الفرعية A و B لطبقة معينة من هذه المصفوفات المشتركة وتُستخدم كما هو موصوف في الورقة البحثية. على سبيل المثال، تكييف طبقتين خطيتين بأشكال (100, 20) و (80, 50) سيُنشئ مصفوفات A و B بأشكال (rank, 50) و (100, rank) على التوالي. ثم، لتكييف طبقة من الشكل (100, 20)، ستُستخرج المصفوفات الفرعية A و B بأشكال (rank, 20) و (100, rank).

تتميز PVeRA حاليًا بالقيود التالية:

  • يتم دعم طبقات nn.Linear فقط.
  • لا يمكن الوصول إلى التمثيل الكامن بسهولة، وذلك لتدريب النموذج باستخدام تباعد كوهين-ليبلينغ.

ملخص الورقة البحثية هو:

ظهرت نماذج الأساس الكبيرة في السنوات الأخيرة وهي تدفع حدود الأداء لمجموعة متنوعة من المهام. يتطلب تدريب هذه النماذج أو حتى ضبطها الدقيق مجموعات بيانات ضخمة وموارد حاسوبية، وهي موارد غالبًا ما تكون شحيحة ومكلفة. توفر طرق التكيف حلاً فعالاً من حيث الحسابات لمعالجة هذه القيود من خلال السماح بضبط هذه النماذج الدقيق على كميات صغيرة من البيانات والقوة الحاسوبية. يتم تحقيق ذلك عن طريق إضافة وحدات قابلة للتدريب جديدة إلى الهياكل الأساسية المجمدة، حيث تحتوي هذه الوحدات على جزء صغير فقط من المعاملات القابلة للتدريب، ويتم ملاءمة هذه الوحدات فقط على المهام الجديدة. مؤخراً، تبيّن أن مُكيّف VeRA يتفوق في التكيفات الفعالة من حيث المعاملات من خلال استخدام زوج من مصفوفات الرتبة المنخفضة المجمدة والعشوائية والمشاركة عبر جميع الطبقات. في هذه الورقة، نقترح PVeRA، وهو إصدار احتمالي لمُكيّف VeRA، والذي يعدّل مصفوفات الرتبة المنخفضة الخاصة بـ VeRA بطريقة احتمالية. يسمح هذا التعديل بشكل طبيعي بالتعامل مع الغموض الجوهري في المدخلات، ويتيح إعدادات أخذ عينات مختلفة أثناء التدريب والاختبار. تم إجراء تقييم شامل على معيار VTAB-1k وسبعة مكيّفات، حيث تفوق PVeRA على VeRA والمكيّفات الأخرى.

نظرة عامة على الاختبارات

واجهة برمجة التطبيقات

PveraConfig

فئة peft.PveraConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 256target_modules: Optional[Union[list[str], str]] = Noneprojection_prng_key: int = 0save_projection: bool = Truepvera_dropout: float = 0.0d_initial: float = 0.1fan_in_fan_out: bool = Falsebias: str = 'none'modules_to_save: Optional[list[str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonesample_at_inference: bool = Falsegenerator_seed: Optional[int] = None )

المعاملات

  • r (int، اختياري، القيمة الافتراضية 256) — بُعد معامل PVeRA (“rank”). اختر قيمًا أعلى من رتب LoRA هنا، لأن PVeRA يشارك المعاملات عبر الطبقات وبالتالي يستخدم عددًا أقل بكثير من المعاملات مقارنةً بـ LoRA.
  • target_modules (Union[List[str], str]) — أسماء الوحدات التي سيتم تطبيق PVeRA عليها. يتم دعم طبقات الخطية فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. إذا تم تحديد هذا الخيار على ‘all-linear’، فسيتم اختيار جميع وحدات الخطية/Conv1D. إذا لم يتم تحديده، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ.
  • projection_prng_key (int) — مفتاح تهيئة مولّد الأرقام العشوائية PVeRA. يُستخدم لتهيئة pvera_A وpvera_B للنماذج الجديدة أو عند تحميل نقطة تحقق لم تتضمن هذه الإسقاطات. القيمة الافتراضية هي 0.
  • save_projection (bool) — ما إذا كان سيتم حفظ إسقاطات pvera_A / pvera_B في قاموس الحالة إلى جانب أوزان lambda_b / lambda_d لكل طبقة. سيؤدي هذا إلى زيادة حجم نقطة الحفظ، لكنه يضمن إمكانية إعادة تحميل نقطة الحفظ على جميع تكوينات النظام. القيمة الافتراضية هي True.
  • pvera_dropout (float) — احتمالية الإسقاط لطبقات PVeRA.
  • d_initial (float، اختياري، القيمة الافتراضية 0.1) — القيمة الأولية لمتجه pvera_lambda_d المستخدم عند تهيئة معاملات PVeRA. يُوصى بقيم صغيرة (<=0.1).
  • fan_in_fan_out (bool) — اضبط هذا على True إذا كانت الطبقة التي سيتم استبدالها تخزن الأوزان على شكل (fan_in, fan_out). على سبيل المثال، يستخدم gpt-2 Conv1D الذي يخزن الأوزان على شكل (fan_in, fan_out) وبالتالي يجب ضبط هذا على True.
  • bias (str) — نوع الانحياز لـ PVeRA. يمكن أن يكون ‘none’ أو ‘all’ أو ‘pvera_only’. إذا كان ‘all’ أو ‘pvera_only’، فسيتم تحديث الانحيازات المقابلة أثناء التدريب. انتبه إلى أن هذا يعني أن النموذج لن ينتج نفس المخرجات التي كان سينتجها النموذج الأساسي دون تكييف، حتى عند تعطيل المحولات.
  • modules_to_save (List[str]) — قائمة بالوحدات، بخلاف طبقات PVeRA، التي يجب تعيينها قابلة للتدريب وحفظها في نقطة الفحص النهائية.
  • init_weights (bool) — ما إذا كان سيتم تهيئة أوزان طبقات PVeRA باستخدام التهيئة الافتراضية. لا تغيّر هذا الإعداد إلا إذا كنت تعرف بالضبط ما تفعله.
  • layers_to_transform (Union[List[int],int]) — فهارس الطبقات المراد تحويلها، إذا تم تحديد هذا الحُجج، فسيُطبَّق تحويلات PVeRA على فهارس الطبقات المحددة في هذه القائمة. إذا تم تمرير عدد صحيح واحد، فسيُطبَّق تحويلات PVeRA على الطبقة الموجودة عند هذا الفهرس.
  • layers_pattern (Optional[Union[List[str], str]]) — اسم نمط الطبقة، يُستخدم فقط إذا كان layers_to_transform مختلفاً عن None. يجب أن يستهدف هذا nn.ModuleList الخاص بالنموذج، والذي يُسمى غالباً 'layers' أو 'h'.
  • sample_at_inference (bool، القيمة الافتراضية False) — ما إذا كان سيتم أخذ عينات من توزيع PVeRA المُتعلَّم أثناء الاستدلال. إذا كانت القيمة False، فسيتم استخدام المتوسط المُتعلَّم.
  • generator_seed (int، القيمة الافتراضية None) — البذرة العشوائية للمولّد المستخدم لاختيار العينات من التوزيع المُتعلَّم.

هذه هي فئة الإعدادات لتخزين إعدادات PveraModel.

الورقة: https://www.arxiv.org/abs/2512.07703.

PveraModel

فئة peft.PveraModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

المعاملات

  • model (PreTrainedModel) — النموذج الذي سيتم تكييفه.
  • config (PveraConfig) — إعدادات نموذج PVeRA.
  • adapter_name (str) — اسم المُكيّف، القيمة الافتراضية هي "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — إنشاء أوزان مُكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

يعيد

torch.nn.Module

نموذج PVeRA.

ينشئ نموذج Probabilistic Vector-based Random Matrix Adaptation (PVeRA) من نموذج transformers مُدرَّب مسبقًا.

مثال:

>>> from transformers import AutoModel
>>> from peft import PveraConfig, get_peft_model

>>> base_model = AutoModel.from_pretrained("facebook/dinov2-base")
>>> config = PveraConfig(r=128, sample_at_inference=False)
>>> model = get_peft_model(base_model, config)

الخصائص:

  • model (PreTrainedModel) — النموذج الذي سيتم تكييفه.
  • peft_config (PveraConfig): إعدادات نموذج PVeRA.
Update on GitHub