# LoKr

    

التنقل في تخصيص النص إلى صورة: من الضبط الدقيق باستخدام LyCORIS إلى تقييم النموذج

منتج كرونكر منخفض الرتبة ([LoKr](https://hf.co/papers/2309.14859)) هو طريقة مشتقة من LoRA تقرب المصفوفة الكبيرة للأوزان باستخدام مصفوفتين منخفضتي الرتبة وتدمجهما عبر [منتج كرونكر](https://en.wikipedia.org/wiki/Kronecker_product). كما يوفر LoKr مصفوفة رابعة اختيارية منخفضة الرتبة لمنح تحكم أفضل أثناء الضبط الدقيق. من خلال التعبير عن مصفوفة تحديث الأوزان على أنها تحليل لمنتج كرونكر، وإنشاء مصفوفة كتلية، يستطيع LoKr الحفاظ على رتبة مصفوفة الأوزان الأصلية. يُحدد حجم المصفوفات الأصغر من خلال *الرتبة* الخاصة بها أو `r`. ومن فوائد منتج كرونكر أنه يمكن تحويله إلى متجه عن طريق تجميع أعمدة المصفوفة. وهذا يمكن أن يسرّع العملية لأنك تتجنب إعادة بناء ∆W بالكامل.

ملخص الورقة البحثية هو:

*حظيت نماذج توليد الصور من النص باهتمام هائل لقدرتها على إنتاج صور عالية الدقة من أوامر نصية. ومن بين هذه النماذج، يبرز Stable Diffusion كنموذج مفتوح المصدر رائد في هذا المجال سريع النمو. ومع ذلك، فإن تعقيدات الضبط الدقيق لهذه النماذج تفرض تحديات متعددة، بدءًا من دمج منهجيات جديدة وصولًا إلى التقييم المنهجي. لمعالجة هذه القضايا، يقدم هذا الورقة [LyCORIS Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion](https://github.com/KohakuBlueleaf/LyCORIS)، وهي مكتبة مفتوحة المصدر توفر مجموعة واسعة من منهجيات الضبط الدقيق لـ Stable Diffusion. علاوة على ذلك، نقدم إطارًا شاملًا للتقييم المنهجي لتقنيات الضبط الدقيق المتنوعة. يعتمد هذا الإطار على مجموعة متنوعة من المقاييس ويتعمق في جوانب متعددة من الضبط الدقيق، بما في ذلك ضبط المعلمات الفائقة والتقييم بأنواع مختلفة من الأوامر النصية عبر فئات مفاهيمية متنوعة. من خلال هذا النهج الشامل، يوفر عملنا رؤى أساسية حول التأثيرات الدقيقة لمعلمات الضبط الدقيق، مما يسد الفجوة بين أحدث الأبحاث والتطبيق العملي.*

## الاستخدام

```py
from peft import LoKrConfig, get_peft_model

config = LoKrConfig(
    r=16,
    alpha=16,
    target_modules=["query", "value"],
    module_dropout=0.1,
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()
```

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=LOKR" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## LoKrConfig[[peft.LoKrConfig]]

#### peft.LoKrConfig[[peft.LoKrConfig]]

```python
peft.LoKrConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, rank_pattern: Optional[dict] = <factory>, alpha_pattern: Optional[dict] = <factory>, r: int = 8, alpha: int = 8, rank_dropout: float = 0.0, module_dropout: float = 0.0, use_effective_conv2d: bool = False, decompose_both: bool = False, decompose_factor: int = -1, rank_dropout_scale: bool = False, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, init_weights: Union[bool, Literal['lycoris']] = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/lokr/config.py#L24)

**المعاملات:**

r (`int`) : رتبة LoKr.

alpha (`int`) : معامل ألفا (alpha) لتوسيع LoKr.

rank_dropout (`float`) : احتمال الإسقاط (dropout) لبُعد الترتيب (rank) أثناء التدريب.

module_dropout (`float`) : احتمال إسقاط (dropout) لإيقاف وحدات LoKr أثناء التدريب.

use_effective_conv2d (`bool`) : استخدام التفكيك الفعال للمعاملات لـ Conv2d (و Conv1d) عندما يكون ksize > 1 ("المقترح 3" من ورقة FedPara).

decompose_both (`bool`) : تنفيذ تحليل الرتبة لمصفوفة ضرب كرونكر اليسرى.

decompose_factor (`int`) : عامل تحليل حاصل الضرب الكرونكي.

rank_dropout_scale ('bool) : ما إذا كان سيتم توسيع إسقاط الرتبة أثناء التدريب، الافتراضي هو `False`.

target_modules (`Optional[Union[List[str], str]]`) : أسماء الوحدات التي سيتم تطبيق المُكيّف عليها. إذا تم تحديد هذا، فسيتم استبدال الوحدات التي تحمل الأسماء المحددة فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، سيتم إجراء مطابقة دقيقة أو يتم التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص الممررة. إذا تم تحديد هذا على أنه 'all-linear'، فسيتم اختيار جميع وحدات linear/Conv1D، باستثناء طبقة الإخراج. إذا لم يتم تحديده، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ -- في هذه الحالة، يجب عليك تحديد الوحدات المستهدفة يدويًا.

exclude_modules (`Optional[Union[List[str], str]]`) : أسماء الوحدات التي لا يُطبَّق عليها المُكيّف. عند تمرير نص، يتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، يتم إما إجراء مطابقة دقيقة أو التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص المُمرَّرة.

init_weights (`bool`) : ما إذا كان سيتم تنفيذ تهيئة أوزان المُكيّف. القيمة الافتراضية هي `True`. استخدم "lycoris" لتهيئة الأوزان بأسلوب مستودع LYCORIS. يُنصح بعدم تمرير `False`.

layers_to_transform (`Union[List[int], int]`) : فهارس الطبقات المراد تحويلها. إذا تم تمرير قائمة من الأعداد الصحيحة، فسيتم تطبيق المُكيّف على فهارس الطبقات المحددة في هذه القائمة. أما إذا تم تمرير عدد صحيح واحد، فسيتم تطبيق التحويلات على الطبقة الموجودة عند هذا الفهرس.

layers_pattern (`Optional[Union[List[str], str]]`) : اسم نمط الطبقة، يُستخدم فقط إذا كان `layers_to_transform` مختلفًا عن `None`. يجب أن يستهدف هذا `nn.ModuleList` الخاص بالنموذج، والذي يُسمى غالبًا `'layers'` أو `'h'`.

rank_pattern (`dict`) : الترميز من أسماء الطبقات أو تعبيرات النمط المنتظم إلى الرتب التي تختلف عن الرتبة الافتراضية المحددة بواسطة `r`. على سبيل المثال، `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

alpha_pattern (`dict`) : الترميز من أسماء الطبقات أو تعبيرات النمط المنتظم إلى قيم ألفا التي تختلف عن قيمة ألفا الافتراضية المحددة بواسطة `alpha`. على سبيل المثال، `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

modules_to_save (`Optional[List[str]]`) : قائمة الوحدات التي يجب ضبطها لتكون قابلة للتدريب وحفظها في نقطة الفحص النهائية، باستثناء طبقات المحوّل.

فئة التهيئة الخاصة بـ [LoKrModel](/docs/peft/v0.22.0/ar/package_reference/lokr#peft.LoKrModel).

## LoKrModel[[peft.LoKrModel]]

#### peft.LoKrModel[[peft.LoKrModel]]

```python
peft.LoKrModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/lokr/model.py#L27)

**المعاملات:**

model (`torch.nn.Module`) : النموذج الذي سيتم إرفاق طبقات مُعدِّل المُكيّف (adapter tuner) به.

config ([LoKrConfig](/docs/peft/v0.22.0/ar/package_reference/lokr#peft.LoKrConfig)) : إعدادات نموذج LoKr.

adapter_name (`str`) : اسم المُكيِّف، القيمة الافتراضية هي `"default"`.

low_cpu_mem_usage (`bool`، `optional`، القيمة الافتراضية `False`) : إنشاء أوزان مكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

**يعيد:** `torch.nn.Module`

نموذج LoKr.

ينشئ نموذج Low-Rank Kronecker Product من نموذج مُدرَّب مسبقًا. تم وصف الطريقة الأصلية جزئيًا في https://huggingface.co/papers/2108.06098 وفي https://huggingface.co/papers/2309.14859. تستعير التنفيذ الحالي بشكل كبير من https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/lokr.py

مثال:
```py
>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoKrConfig, get_peft_model

>>> config_te = LoKrConfig(
...     r=8,
...     alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoKrConfig(
...     r=8,
...     alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)
```

**الخصائص**:
- **النموذج** (`~torch.nn.Module`) -- النموذج الذي سيتم تكييفه.
- **peft_config** ([LoKrConfig](/docs/peft/v0.22.0/ar/package_reference/lokr#peft.LoKrConfig)): إعدادات نموذج LoKr.

