PEFT documentation

LoHa

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LoHa

Navigating Text-To-Image Customization: From LyCORIS Fine-Tuning to Model Evaluation

الضرب الهادماردي منخفض الرتبة (LoHa) يشبه LoRA باستثناء أنه يقرب مصفوفة الأوزان الكبيرة بعدد أكبر من المصفوفات منخفضة الرتبة ويجمع بينها باستخدام الضرب الهادماردي. هذه الطريقة أكثر كفاءة في استخدام المعاملات من LoRA وتحقق أداءً مماثلاً. تم اقتراح LoHa في الأصل للتعلم الفيدرالي (FedPara) لكنها تعمل بشكل جيد كطريقة PEFT عامة، وهي تحظى بشعبية خاصة في ضبط نماذج توليد الصور مثل Stable Diffusion.

ملاحظة: LoHa جزء من عائلة LyCORIS من المُكيِّفات. قريبه المباشر LoKr يستخدم ضرب كرونكر بدلاً من ضرب هادامارد.

ملخص الورقة البحثية هو:

في هذا العمل، نقترح معامَلة فعّالة من حيث الاتصال، FedPara، للتعلم الاتحادي (FL) للتغلب على الأعباء الناجمة عن رفع وتحميل النماذج بشكل متكرر. يعيد أسلوبنا معامَلة معاملات الأوزان للطبقات باستخدام أوزان منخفضة الرتبة تليها عملية ضرب هادامارد. مقارنةً بالمعامَلة التقليدية منخفضة الرتبة، لا تخضع طريقة FedPara الخاصة بنا لقيود الرتبة المنخفضة، وبالتالي فهي تتمتع بسعة أكبر بكثير. تُمكّن هذه الخاصية من تحقيق أداء مماثل مع طلب تكاليف اتصال أقل بثلاث إلى عشر مرات مقارنةً بالنموذج ذي الطبقات الأصلية، وهو ما لا يمكن تحقيقه بالأساليب منخفضة الرتبة التقليدية. يمكن تحسين كفاءة أسلوبنا بشكل أكبر من خلال دمجه مع مُحسِّنات FL فعّالة أخرى. بالإضافة إلى ذلك، نمدد أسلوبنا إلى تطبيق FL مخصص، pFedPara، الذي يفصل المعاملات إلى معاملات عامة ومحلية. نُظهر أن pFedPara يتفوق على أساليب FL المخصصة المنافسة بعدد معاملات أقل بأكثر من ثلاثة أضعاف.

قد تؤثر التحليلات ذات الرتبة المنخفضة على الأداء لأن تحديثات الأوزان تكون مقيدة بمساحة الرتبة المنخفضة، مما قد يحدّ من قدرة النموذج على التعبير. ومع ذلك، لا ترغب بالضرورة في استخدام رتبة أكبر لأنها تزيد من عدد المعاملات القابلة للتدريب. لمعالجة ذلك، طُبّق LoHa على نماذج الانتشار حيث يُعدّ القدرة على توليد صور متنوعة اعتبارًا مهمًا. يجب أن يعمل LoHa أيضًا مع أنواع النماذج العامة، لكن دعم طبقات التضمين غير مُنفَّذ حاليًا في PEFT.

يستخدم LoHa حاصل ضرب هادامارد (حاصل ضرب العناصر) بدلاً من حاصل ضرب المصفوفات. ΔW\Delta W يُمثَّل بأربع مصفوفات أصغر بدلاً من اثنتين - كما في LoRA - وتُدمج كل زوج من هذه المصفوفات منخفضة الرتبة باستخدام حاصل ضرب هادامارد. ونتيجةً لذلك، ΔW\Delta W يمكن أن يحتوي على نفس عدد المعاملات القابلة للتدريب، لكن برتبة وقابلية تعبير أعلى.

متى تستخدم LoHa

يُعد LoHa خيارًا مناسبًا عندما:

  • أنت تقوم بضبط نماذج توليد الصور (Stable Diffusion UNet أو text encoder)، وهو المجال الأكثر شيوعًا لاستخدامها.
  • تريد رتبة فعلية أعلى من LoRA لنفس عدد المعاملات القابلة للتدريب، لأن حاصل ضرب هادامارد لمصفوفتين منخفضتي الرتبة يغطي فضاءً فرعيًا أكبر من حاصل ضرب منخفض الرتبة الواحد.
  • تريد دمج طرق PEFT المختلفة أثناء الاستدلال باستخدام PeftMixedModel، على سبيل المثال LoHa مع LoKr.

يدعم LoHa طبقات الخطية وطبقات Conv2d. للمهام التي تتطلب بالإضافة إلى ذلك تكيّف طبقة التضمين، يُنصح باستخدام LoRA بدلاً من ذلك.

الاستخدام

from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model

config_unet = LoHaConfig(
    r=8,
    alpha=8,
    target_modules=[
        "to_k",
        "to_q",
        "to_v",
        "to_out.0",
        "proj_in",
        "proj_out",
    ],
    rank_dropout=0.0,
    module_dropout=0.0,
    use_effective_conv2d=True,
)

pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()

نظرة عامة على الاختبارات

واجهة برمجة التطبيقات

LoHaConfig

فئة peft.LoHaConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory>r: int = 8alpha: int = 8rank_dropout: float = 0.0module_dropout: float = 0.0use_effective_conv2d: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )

المعاملات

  • r (int) — رتبة LoHa.
  • alpha (int) — معامل alpha الخاص بمقياس LoHa.
  • rank_dropout (float) — احتمالية الإسقاط (dropout) لبُعد الرتبة أثناء التدريب.
  • module_dropout (float) — احتمالية إسقاط (dropout) لتعطيل وحدات LoHa أثناء التدريب.
  • use_effective_conv2d (bool) — استخدام معامل التفكيك الفعّال لـ Conv2d (و Conv1d) عندما يكون ksize > 1 (“Proposition 3” من ورقة FedPara).
  • target_modules (Optional[Union[List[str], str]]) — أسماء الوحدات التي سيتم تطبيق المُكيّف عليها. إذا تم تحديد هذا، فسيتم استبدال الوحدات التي تحمل الأسماء المحددة فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، سيتم إجراء مطابقة دقيقة أو يتم التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص الممررة. إذا تم تحديده على أنه ‘all-linear’، فسيتم اختيار جميع وحدات linear/Conv1D، باستثناء طبقة الإخراج. إذا لم يتم تحديده، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ — في هذه الحالة، يجب عليك تحديد الوحدات المستهدفة يدويًا.
  • exclude_modules (Optional[Union[List[str], str]]) — أسماء الوحدات التي لا يُطبَّق عليها المُكيّف. عند تمرير نص، يتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، يتم إجراء مطابقة دقيقة أو يُتحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص المُمرَّرة.
  • init_weights (bool) — ما إذا كان سيتم تنفيذ تهيئة أوزان المُكيِّف. القيمة الافتراضية هي True، ويُوصى بعدم تمرير False.
  • layers_to_transform (Union[List[int], int]) — فهارس الطبقات المراد تحويلها. إذا تم تمرير قائمة من الأعداد الصحيحة، فسيتم تطبيق المُكيّف على فهارس الطبقات المحددة في هذه القائمة. أما إذا تم تمرير عدد صحيح واحد، فسيتم تطبيق التحويلات على الطبقة الموجودة عند هذا الفهرس.
  • layers_pattern (Optional[Union[List[str], str]]) — اسم نمط الطبقة، يُستخدم فقط إذا كان layers_to_transform مختلفاً عن None. يجب أن يستهدف هذا nn.ModuleList الخاص بالنموذج، والذي يُسمى غالباً 'layers' أو 'h'.
  • rank_pattern (dict) — خريطة من أسماء الطبقات أو تعبيرات نمطية إلى الترتيبات التي تختلف عن الترتيب الافتراضي المحدد بواسطة r. على سبيل المثال، {'^model.decoder.layers.0.encoder_attn.k_proj': 16}.
  • alpha_pattern (dict) — خريطة من أسماء الطبقات أو تعبيرات نمطية منتظمة إلى قيم ألفا التي تختلف عن قيمة ألفا الافتراضية المحددة بواسطة alpha. على سبيل المثال، {'^model.decoder.layers.0.encoder_attn.k_proj': 16}.
  • modules_to_save (Optional[List[str]]) — قائمة بالوحدات، بخلاف طبقات المُكيِّف (adapter)، التي يجب تعيينها قابلة للتدريب وحفظها في نقطة الفحص النهائية.

هذه هي فئة الإعدادات لتخزين إعدادات LoHaModel.

LoHaModel

فئة peft.LoHaModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

المعاملات

  • model (torch.nn.Module) — النموذج الذي ستُربط به طبقات مُعدِّل المُكيّف (adapter tuner).
  • config (LoHaConfig) — إعدادات نموذج LoHa.
  • adapter_name (str) — اسم المُكيّف، القيمة الافتراضية هي "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — إنشاء أوزان مُكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

يعيد

torch.nn.Module

نموذج LoHa.

ينشئ نموذج حاصل الضرب الهادمارد منخفض الرتبة من نموذج مُدرَّب مسبقًا. تم وصف الطريقة جزئيًا في https://huggingface.co/papers/2108.06098 تستعير التنفيذ الحالي بشكل كبير من https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/loha.py

مثال:

>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaConfig, get_peft_model

>>> config_te = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)

الخصائص:

  • النموذج (~torch.nn.Module) — النموذج الذي سيتم تكييفه.
  • peft_config (LoHaConfig): إعدادات نموذج LoHa.
Update on GitHub