PEFT documentation
التدريب الموفّر للذاكرة
التدريب الموفّر للذاكرة
🤗 يجعل PEFT الضبط الدقيق فعالاً من حيث المعاملات، لكنه لا يجعله فعالاً تلقائياً من حيث الذاكرة. يجمع هذا الموجز نصائح لخفض ذاكرة التدريب ويربط إلى الأدلة التفصيلية.
فكّر دائمًا في الأساسيات لخفض استهلاك الذاكرة، مثل اختيار نموذج أساسي أصغر، أو حجم دفعة (batch size) أصغر، أو طول تسلسل أقصر.
نظرة عامة على ذاكرة التدريب
لنحلّل توزيع ذاكرة التدريب حتى نتمكن من التفكير في تدابير مضادة محتملة. سنستخدم نموذج لغة كبير تم تدريبه باستخدام مُحسِّن Adam كمثال. عند إجراء الضبط الدقيق الكامل، سنجد أن العناصر التالية تشغل مساحة من الذاكرة:
- معلمات النموذج الأساسي: تعتمد استهلاك الذاكرة بشكل كبير على
dtypeالمختار. كلما قلّت عدد البتات لكل معامل (16 لـ float16)، قلّت الذاكرة التي سيستهلكها. سيستهلك نموذج بحجم 1B في float16 (16 بت/2 بايت لكل معامل) تقريبًا1e9 × 2 byte = 1.863 GiBمن الذاكرة. - جميع معاملات النموذج الأساسي القابلة للتدريب ×3 للتدرجات (1×) وحالات مُحسِّن Adam (2×)، وبالتالي 5.59 جيجابايت من الذاكرة
- الذاكرة المخصصة للتفعيلات الوسيطة بين الطبقات، يصعب التنبؤ بها لكنها تعتمد بشكل رئيسي على نوع البيانات الحسابي المستخدم وطول التسلسل / حجم الدفعة.
إن استخدام نموذج أساسي أصغر أو استخدام نوع بيانات حساب أصغر سيقلل جميع النقاط، بينما يؤثر استخدام تسلسلات أقصر أو دفعات أصغر بشكل رئيسي على الذاكرة المخصصة للتدرجات والتفعيلات. إن توظيف طرق PEFT سيقلل عدد المعلمات القابلة للتدريب، وبالتالي يقلل بشكل كبير كلًا من التدرجات وحالة المُحسِّن، مما يوفر قدرًا كبيرًا من الذاكرة.
اختيار الطريقة المناسبة
لا تُبنى جميع طرق PEFT على قدم المساواة، وبعض الصيغ أسهل في البناء بطريقة موفّرة للذاكرة. إذا كنت تعمل ضمن ميزانية ذاكرة محدودة، فمن المنطقي الاطلاع على حزمة مقارنة طرق PEFT والفلترة حسب أقصى استخدام لذاكرة المعالج التسارعي. قد يكون متوسط استخدام ذاكرة المعالج التسارعي متقاربًا إلى حد كبير بين الطرق المختلفة، لكن ليس كل طريقة تتوسع بنفس الكفاءة مع التفعيلات وطول التسلسل؛ فبعض الطرق أكثر عرضة لحدوث ذروات في استهلاك الذاكرة من غيرها.
فكّر في استخدام الرموز القابلة للتدريب عند استهداف طبقات كبيرة مثل رؤوس نمذجة اللغة أو طبقات التضمين، من أجل ضبط بعض الرموز المحددة.
التكميم
تُعدّ التكميم من أفضل الطرق لتقليل استهلاك الذاكرة للنموذج الأساسي كما سيؤدي، اعتماداً على طريقة التكميم المستخدمة، إلى تقليل ذاكرة التنشيط. وبما أن طرق PEFT تشغل جزءاً صغيراً فقط من إجمالي عدد المعاملات، فإن PEFT تعتمد افتراضياً على دقة أعلى من النموذج الأساسي. ويمكن أن يكون لهذا الأثر أيضاً أن تخفف المُكيّفات (adapters) من بعض فقدان الجودة الناجم عن طرق التكميم. اقرأ دليل تكميم PEFT.
التجميع
تتكوّن النماذج التي نتدرّبها من عمليات مثل ضرب المصفوفات والإضافات والتعيينات، حيث تنتج كل عملية نتيجة جديدة، وبالتالي تحتاج إلى استهلاك ذاكرة. إذا لم تكن تلك النتائج الوسيطة مطلوبة، يمكننا دمج هذه العمليات وتوفير الذاكرة. وهذا مجرد أحد التحسينات العديدة التي يمكن لـtorch.compile أن ينفّذها نيابةً عنك، لذا اطّلع على دليل PEFT الخاص بـtorch.compile.
التحقق من التدرجات
يمكنك الموازنة بين الذاكرة والحساب عن طريق حفظ كل تدرّج n بين الطبقات وحساب الباقي على الفور. اطّلع على وثائق gradient checkpointing في Transformers لمعرفة المزيد.
عند عدم استخدام Diffusers أو Transformers، قد تحتاج إلى تنفيذ منطق نقطة التفتيش للتدرجات (gradient checkpointing) الخاص بك، وذلك اعتمادًا على إطار التدريب الذي تستخدمه.
خسارة NLL المقسّمة
يُعدّ استخدام NLLLoss شائعاً جداً عند تدريب نماذج اللغة (أو مهام التصنيف). تقوم بتخصيص مصفوفة بحجم batch × sequence × vocabulary. ومع التسلسلات أو قواميس الكلمات الطويلة بشكل خاص، يمكن أن يصبح هذا مكلفاً بسرعة كبيرة.
عند استخدام TRL يمكنك إما استخدام Liger kernel integration أو استخدام Chunked NLLLoss. سيؤدي الخيار الأخير إلى تقسيم التسلسل إلى مقاطع بحجم 256 للحفاظ على استهلاك الذاكرة الأقصى ثابتًا.

في حال لم يكن حجم المقطع الافتراضي مثالياً لإعدادك، راجع طلب الدمج الأصلي في TRL لمزيد من المعلومات حول كيفية ضبط حجم المقطع.
Update on GitHub