# RoAd

[RoAd](https://huggingface.co/papers/2409.00119) هي تقنية لضبط دقيق فعّال من حيث المعاملات، تُكيّف نماذج اللغة الكبيرة من خلال تعلّم مجموعة صغيرة من مصفوفات الدوران 2×2 (ومعاملات قياس اختيارية) تُطبَّق على أزواج من الأبعاد المخفية. تحقق RoAd أداءً تنافسيًا أو متفوقًا مقارنةً بطرق PEFT الأخرى باستخدام أقل من 0.1% من المعاملات القابلة للتدريب. وعلى عكس تحديثات LoRA منخفضة الرتبة المُجمَّعة، تُعاد صياغة الدورانات المتناثرة في RoAd إلى عمليات بسيطة على مستوى العناصر، مما يؤدي إلى زيادة كبيرة في معدل الإنتاجية عند معالجة طلبات غير متجانسة في نفس الدفعة، أي عند تقديم عدة مُكيّفات في وقت واحد. علاوة على ذلك، تتكامل RoAd بسلاسة مع إطار التدخل الموزّع، حيث تُفسَّر دوراناتها ثنائية الأبعاد المتناثرة كتدخلات خاصة بالمهمة ضمن فضاءات فرعية متعلمة من التمثيلات المخفية. يمكن تركيب هذه الفضاءات الفرعية المتعامدة لدمج سلوكيات متعددة خاصة بالمهام—مثل القدرات متعددة اللغات أو اتباع التعليمات—دون الحاجة إلى ضبط دقيق إضافي، مما يتيح تكيّفات معيارية وقابلة للتفسير في نماذج اللغة الكبيرة.

يتطلب الضبط الدقيق باستخدام RoAd عادةً معدل تعلم أعلى مقارنةً بـ LoRA أو الأساليب المماثلة، حوالي 1e-3. حاليًا، يدعم RoAd الطبقات الخطية فقط ويمكن استخدامه على النماذج المُكمّمة باستخدام bitsandbytes (4 بت أو 8 بت).

لتنفيذ الاستدلال مع محولات RoAd مختلفة في نفس الدفعة، راجع [الاستدلال مع محولات LoRA مختلفة في نفس الدفعة](lora#inference-with-different-lora-adapters-in-the-same-batch).

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=ROAD" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## RoadConfig[[peft.RoadConfig]]

#### peft.RoadConfig[[peft.RoadConfig]]

```python
peft.RoadConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, variant: Union[str, RoadVariant] = 'road_1', group_size: int = 64, init_weights: bool = True, target_modules: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/road/config.py#L28)

**المعاملات:**

variant (Union[`RoadVariant`, `str`]) : نوع متغير نموذج Road الذي سيتم استخدامه. يمكن أن يكون أحد road_1 أو road_2 أو road_4. راجع الورقة البحثية لمزيد من التفاصيل. - road_1: يستخدم المقياس والزاوية نفسيهما لجميع أزواج العناصر. يحتوي هذا المتغير على أقل عدد من المعاملات، حيث يخزّن عددًا من المعاملات يساوي حجم المخفي للإخراج لكل طبقة يُطبَّق عليها RoAd. - road_2: يستخدم المقياس والزاوية نفسيهما لكل عنصر. يحتوي هذا المتغير على ضعف عدد المعاملات مقارنةً بـ road_1. - road_4: يستخدم مقياسين وزاويتين مختلفتين لكل عنصر. يحتوي هذا المتغير على أربعة أضعاف عدد المعاملات مقارنةً بـ road_1.

group_size (`int`) : حجم المجموعة يحدد كيفية تجميع العناصر في متجهات ثنائية الأبعاد للدوران. داخل كل مجموعة، يُقرن العنصر 0 بالعنصر group_size/2، ثم يُقرن العنصر 1 بالعنصر group_size/2+1، وهكذا. لا يؤثر هذا على أداء النموذج، لأن العناصر غير مرتبة، لكنه يؤثر بعض الشيء على سرعة الاستدلال عند استخدامه في أنظمة مثل VLLM. للحصول على أفضل سرعة، يُوصى باستخدام حجم مجموعة لا يقل عن 32 أو 64 (القيمة الافتراضية). لاحظ أن حجم المخفي للنموذج (أو حجم المخفي لكل قسم عند استخدام توازي الموترات) يجب أن يكون قابلاً للقسمة على group_size، لذا قد تحتاج إلى تقليل هذا المعامل في النماذج الصغيرة جداً.

init_weights (`bool`) : ما إذا كان سيتم تنفيذ تهيئة أوزان RoAd.

target_modules (`Optional[Union[List[str], str]]`) : أسماء الوحدات التي سيتم تطبيق المُكيّف عليها. إذا تم تحديد هذا، فسيتم استبدال الوحدات التي تحمل الأسماء المحددة فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، سيتم إجراء مطابقة دقيقة أو يتم التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص الممررة. إذا تم تحديد هذا على أنه 'all-linear'، فسيتم اختيار جميع وحدات linear/Conv1D (إذا كان النموذج PreTrainedModel، باستثناء طبقة الإخراج). إذا لم يتم تحديده، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ -- في هذه الحالة، يجب عليك تحديد الوحدات المستهدفة يدويًا.

modules_to_save (`List[str]`) : قائمة بالوحدات غير طبقات Road التي يجب ضبطها لتكون قابلة للتدريب وحفظها في نقطة الفحص النهائية.

هذه هي فئة الإعدادات لتخزين إعدادات [RoadModel](/docs/peft/v0.22.0/ar/package_reference/road#peft.RoadModel). تم اقتراح محوّل RoAd في https://huggingface.co/papers/2409.00119.

## RoadModel[[peft.RoadModel]]

#### peft.RoadModel[[peft.RoadModel]]

```python
peft.RoadModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/road/model.py#L39)

