# Llama-Adapter

    

LLaMA-Adapter: الضبط الدقيق الفعال لنماذج اللغة باستخدام انتباه بمبادرة صفر

[Llama-Adapter](https://hf.co/papers/2303.16199) هو أسلوب PEFT مصمَّم خصيصًا لتحويل Llama إلى نموذج يتبع التعليمات. يتم تجميد نموذج Llama، ولا يتعلم سوى مجموعة من محفزات التكيف المُسبَقة على رموز تعليمات الإدخال. وبما أن الوحدات المُثبَّتة عشوائيًا داخل النموذج قد تُسبب فقدان جزء من معرفته الحالية، يستخدم Llama-Adapter انتباهًا مُصفَّرًا مع بوابات مُصفَّرة لإضافة محفزات التعليمات إلى النموذج تدريجيًا.

ملخص الورقة البحثية هو:

*نقدّم LLaMA-Adapter، وهو أسلوب تكيّف خفيف الوزن لضبط LLaMA بكفاءة إلى نموذج يتبع التعليمات. باستخدام 52K من أمثلة self-instruct، يضيف LLaMA-Adapter فقط 1.2M من المعاملات القابلة للتعلم فوق نموذج LLaMA 7B المجمّد، ويكلف أقل من ساعة واحدة للضبط الدقيق على 8 وحدات GPU من نوع A100. تحديداً، نعتمد مجموعة من محفزات التكيّف القابلة للتعلم، ونضعها قبل رموز النص المدخل في طبقات transformer الأعلى. ثم، نقترح آلية انتباه بتهيئة صفرية مع بوابة صفرية، والتي حقن بشكل تكيفي الإشارات التعليمية الجديدة في LLaMA، مع الحفاظ بفعالية على معرفته المسبقة. مع التدريب الفعال، يولّد LLaMA-Adapter استجابات عالية الجودة، مماثلة لتلك التي يولدها Alpaca مع ضبط دقيق كامل لمعاملات 7B. علاوة على ذلك، يمكن تمديد نهجنا ببساطة إلى مدخلات متعددة الوسائط، مثل الصور، لـ LLaMA المشروط بالصور، والذي يحقق قدرة استدلالية متفوقة على ScienceQA. ننشر كودنا على https://github.com/ZrrSkywalker/LLaMA-Adapter*.

## متى تستخدم Llama-Adapter

يُعدّ Llama-Adapter خياراً مناسباً عندما:

- تريد نقطة تفتيش صغيرة جداً. يتم تدريب وحفظ موجهات التكيف وبواباتها فقط، مما يعادل `adapter_layers * (adapter_len * hidden_size + 1)` من المعاملات.
- أنت تقوم بضبط تعليمي (instruction-tuning) لنموذج مدعوم (Llama أو Mistral أو GPT-2)، وهو ما يركّز عليه البحث.
- تريد الاحتفاظ بعدة محوِّلات (adapters) مخصصة لمهام مختلفة لنفس النموذج الأساسي والتبديل بينها باستخدام `set_adapter`.

## متى لا تستخدم Llama-Adapter

قد لا يكون Llama-Adapter الخيار الأفضل عندما:

- نموذجك ليس من نماذج Llama أو Mistral أو GPT-2. تثير البنى المعمارية الأخرى خطأً من نوع `ValueError`. فكّر في استخدام [LoRA](./lora) بدلاً من ذلك.
- تحتاج إلى صفر تكلفة استنتاج. لا يمكن دمج المُكيّف في الأوزان الأساسية (لا يُدعم `merge_and_unload()`)، لذا فإن كل طبقة مُكيّفة تُركّز على `adapter_len` رموز إضافية إضافية أثناء الاستنتاج.
- تريد أن تكون عدة محوِّلات (adapters) نشطة في الوقت نفسه. لا يمكن أن يكون هناك سوى محوِّل واحد نشط، ولا يمكن تراكب محفزات التكيّف (adaption prompts) على وحدة الانتباه (attention module) نفسها.

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=ADAPTION_PROMPT" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## AdaptionPromptConfig[[peft.AdaptionPromptConfig]]

#### peft.AdaptionPromptConfig[[peft.AdaptionPromptConfig]]

```python
peft.AdaptionPromptConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, target_modules: str = None, adapter_len: int = None, adapter_layers: int = None)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/config.py#L25)

يخزّن تكوين [AdaptionPromptModel](/docs/peft/main/ar/package_reference/llama_adapter#peft.AdaptionPromptModel).

## AdaptionPromptModel[[peft.AdaptionPromptModel]]

#### peft.AdaptionPromptModel[[peft.AdaptionPromptModel]]

```python
peft.AdaptionPromptModel(model, configs: dict, adapter_name: str)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L27)

يُنفّذ تلميحات التكيّف كما هو موصوف في https://huggingface.co/papers/2303.16199.

تُستبدل وحدات الانتباه L الأولى بوحدات AdaptedAttention التي تغلف الوحدات الأصلية، لكنها تُدرج موجهات قابلة للتدريب مزودة ببوابات (للتهيئة الصفرية).

ملاحظات حول نمط المتعدّد المُكيِّفات:
- نخزّن حالات المُكيّفات المختلفة عن طريق الاحتفاظ بقاموس من وحدات AdaptedAttention مُفهرسة باسم المُكيّف.
- في كل مرة نبدّل فيها المُكيِّف، نزيل وحدات المُكيِّف النشط حاليًا من النموذج، ونخزّنها في القاموس، ثم نستبدلها بوحدات المُكيِّف الجديد.
- لتجنب حالة مكررة وقد تكون غير متسقة، يتم دائمًا إزالة المُكيّف النشط حاليًا من القاموس.
- سيؤدي تعطيل المُكيّف أيضًا إلى إزالة الوحدات من النموذج.

#### add_adapter[[peft.AdaptionPromptModel.add_adapter]]

```python
add_adapter(adapter_name: str, config: AdaptionPromptConfig)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L62)

أضِف مُكيِّفًا بالاسم والإعداد المحددين.

#### delete_adapter[[peft.AdaptionPromptModel.delete_adapter]]

```python
delete_adapter(adapter_name: str)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L104)

حذف مُكيّف (adapter) بالاسم المحدد.

#### disable_adapter_layers[[peft.AdaptionPromptModel.disable_adapter_layers]]

```python
disable_adapter_layers()
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L168)

تعطيل طبقات المُكيِّف عن طريق استبدال وحدات AdaptedAttention.

#### enable_adapter_layers[[peft.AdaptionPromptModel.enable_adapter_layers]]

```python
enable_adapter_layers()
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L163)

تفعيل طبقات المُكيِّف عن طريق استبدال وحدات AdaptedAttention المخزّنة مؤقتًا.

#### set_adapter[[peft.AdaptionPromptModel.set_adapter]]

```python
set_adapter(adapter_name: str, inference_mode: bool = False)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/adaption_prompt/model.py#L148)

اضبط النموذج لاستخدام المُكيّف (adapter) ذي الاسم المحدد.

