PEFT documentation

التوازي الكامل للبيانات المجزأة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

التوازي الكامل للبيانات المجزأة

يُطوَّر التوازي الكامل للبيانات المجزأة (FSDP) للتدريب الموزّع للنماذج المُسبقة التدريب الكبيرة التي تصل إلى 1T من المعاملات. يحقق FSDP ذلك من خلال تجزئة معاملات النموذج والتدرجات وحالات المُحسِّن عبر عمليات التوازي البياناتي، كما يمكنه أيضًا تفريغ معاملات النموذج المجزأة إلى وحدة المعالجة المركزية (CPU). تتيح الكفاءة في استخدام الذاكرة التي يوفرها FSDP توسيع نطاق التدريب إلى أحجام دفعات أو أحجام نماذج أكبر.

يدعم PEFT كلًا من FSDP1 وPyTorch FSDP2. يمكنك تكوين FSDP من خلال Trainer في Transformers أو استخدامه مباشرةً في حلقة تدريب PyTorch.

FSDP2 مع Transformers

استخدم PyTorch 2.6 أو أحدث والإصدارات الحالية من Transformers وAccelerate وTRL وPEFT. يستخدم مثال SFT SFTTrainer. فيما يلي تكوين نموذجي لـ FSDP2:

{
  "fsdp": true,
  "fsdp_config": {
    "version": 2,
    "reshard_after_forward": true,
    "auto_wrap_policy": "TRANSFORMER_BASED_WRAP",
    "cpu_ram_efficient_loading": true,
    "state_dict_type": "SHARDED_STATE_DICT",
    "activation_checkpointing": false
  }
}

TRANSFORMER_BASED_WRAP يستخدم تعريفات طبقات الترانسفورمر في النموذج. reshard_after_forward يُطلق المعاملات المجمّعة بعد كل تمريرة أمامية. تقسّم FSDP2 المعاملات الفردية، لذا لا تستخدم إعداد use_orig_params الخاص بـ FSDP1. راجع دليل FSDP الخاص بـ Transformers لمزيد من خيارات التهيئة.

قم بتحرير النموذج ومجموعة البيانات وخيارات التدريب في fsdp2_config.json الخاص بالمثال. من examples/sft، شغّل عملية واحدة لكل وحدة معالجة رسومية:

torchrun --standalone --nproc_per_node=2 train.py configs/fsdp2_config.json

على وحدات معالجة الرسوميات التي لا تدعم BF16، اضبط "bf16": false و"fp16": true في ملف JSON.

في إصدارات PEFT الأقدم من v0.22، حافظ على ضبط activation_checkpointing على false لتجنب تصدير مُكيّفات فارغة. يتضمن PEFT v0.22 إصلاح تصدير المُكيّفات.

الحفظ والاستئناف

للاستئناف في التدريب، احتفظ بإعداد FSDP نفسه واضبط "resume_from_checkpoint": "path/to/checkpoint-N" في ملف JSON. تحتوي نقاط الفحص الخاصة بالتدريب على حالات النموذج والمُحسِّن المقسّمة.

في نهاية التدريب، يجمع المثال قاموس حالة كاملًا قبل تصدير المُكيّف:

if trainer.is_fsdp_enabled:
    trainer.accelerator.state.fsdp_plugin.set_state_dict_type("FULL_STATE_DICT")
trainer.save_model()

يجب أن تشارك جميع الرتب في عملية الجمع؛ حيث يقوم العملية الرئيسية فقط بكتابة ملفات المحوّل. يؤدي جمع قاموس الحالة الكامل إلى زيادة مؤقتة في استخدام الذاكرة.

للاستدلال، حمّل المُكيّف المُصدَّر:

import torch

from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("qwen-sft-lora-fsdp2", dtype=torch.float32)

إذا أضاف تشغيل SFT رموزًا أدت إلى توسيع تضمينات النموذج الأساسي، فطابق حجم التضمين وقت التدريب قبل تحميل المُكيّف. مثال SFT يملأ التضمينات المتوسعة إلى مضاعف للرقم 8:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

from peft import PeftConfig, PeftModel

adapter_path = "qwen-sft-lora-fsdp2"
config = PeftConfig.from_pretrained(adapter_path)
tokenizer = AutoTokenizer.from_pretrained(adapter_path)
base_model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, dtype=torch.float32)
# Match the SFT example: grow the embeddings if needed, but never shrink them.
if len(tokenizer) > base_model.get_input_embeddings().num_embeddings:
    base_model.resize_token_embeddings(len(tokenizer), pad_to_multiple_of=8)
model = PeftModel.from_pretrained(base_model, adapter_path)

FSDP1 مع Accelerate

تستخدم هذه القسم سكربت التدريب الخاص بـ SFT لضبط Llama-70B باستخدام LoRA و FSDP1 على 8 وحدات GPU من نوع H100 بسعة 80GB على جهاز واحد. يمكنك التوسع إلى أجهزة متعددة عن طريق تغيير إعدادات Accelerate.

الإعداد

ابدأ بتشغيل الأمر التالي لإنشاء ملف تكوين FSDP باستخدام 🤗 Accelerate. يتيح لك علم --config_file حفظ ملف التكوين في موقع محدد، وإلا فسيتم حفظه كملف default_config.yaml في ذاكرة التخزين المؤقت لـ 🤗 Accelerate.

يُستخدم ملف الإعدادات لضبط الخيارات الافتراضية عند تشغيل سكربت التدريب.

accelerate config --config_file fsdp_config.yaml

سيُطلب منك الإجابة على بعض الأسئلة المتعلقة بإعدادك، وتكوين الحُجج التالية. في هذا المثال، ستُجيب عن الاستبيان كما هو موضح في الصورة أدناه.

Creating Accelerate's config to use FSDP

بمجرد الانتهاء من ذلك، يجب أن يبدو الإعداد المقابل كما هو موضح أدناه، ويمكنك العثور عليه في مجلد الإعدادات في fsdp_config.yaml:

compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
  fsdp_version: 1
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_backward_prefetch: BACKWARD_PRE
  fsdp_cpu_ram_efficient_loading: true
  fsdp_forward_prefetch: false
  fsdp_offload_params: false
  fsdp_sharding_strategy: FULL_SHARD
  fsdp_state_dict_type: SHARDED_STATE_DICT
  fsdp_sync_module_states: true
  fsdp_use_orig_params: false
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 8
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false

أمر الإقلاع

يتوفر أمر التشغيل في run_peft_fsdp.sh وهو معروض أدناه أيضاً:

accelerate launch --config_file "configs/fsdp_config.yaml"  train.py \
--seed 100 \
--model_name_or_path "meta-llama/Llama-2-70b-hf" \
--dataset_name "smangrul/ultrachat-10k-chatml" \
--chat_template_format "chatml" \
--add_special_tokens False \
--append_concat_token False \
--splits "train,test" \
--max_length 2048 \
--num_train_epochs 1 \
--logging_steps 5 \
--log_level "info" \
--logging_strategy "steps" \
--eval_strategy "epoch" \
--save_strategy "epoch" \
--push_to_hub \
--hub_private_repo True \
--hub_strategy "every_save" \
--bf16 True \
--packing True \
--learning_rate 1e-4 \
--lr_scheduler_type "cosine" \
--weight_decay 1e-4 \
--warmup_steps 0 \
--max_grad_norm 1.0 \
--output_dir "llama-sft-lora-fsdp" \
--per_device_train_batch_size 8 \
--per_device_eval_batch_size 8 \
--gradient_accumulation_steps 4 \
--gradient_checkpointing True \
--use_reentrant False \
--dataset_text_field "content" \
--use_flash_attn True \
--use_peft_lora True \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target_modules "all-linear" \
--use_4bit_quantization False

لاحظ أننا نستخدم LoRA بـ rank=8 و alpha=16 مع استهداف جميع الطبقات الخطية. نحن نمرر ملف إعدادات FSDP ونقوم بضبط نموذج Llama بحجم 70B على مجموعة فرعية من مجموعة بيانات ultrachat.

الأجزاء المهمة

لنغوص قليلاً في تفاصيل السكربت حتى تتمكن من رؤية ما يحدث، وفهم كيفية عمله.

أول ما يجب معرفته هو أن السكربت يستخدم FSDP للتدريب الموزّع نظراً لأن إعداد FSDP قد تم تمريره. يتولى كلاس SFTTrainer كل العمل الشاق لإنشاء نموذج PEFT باستخدام إعداد peft المُمرَّر. بعد ذلك، عند استدعاء trainer.train()، يستخدم Trainer داخلياً 🤗 Accelerate لتحضير النموذج والمُحسِّن والمدرب باستخدام إعداد FSDP لإنشاء نموذج مغلف بـ FSDP والذي يتم تدريبه بعد ذلك. مقتطف الكود الرئيسي أدناه:

# trainer
trainer = SFTTrainer(
    model=model,
    processing_class=tokenizer,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    peft_config=peft_config,
)
trainer.accelerator.print(f"{trainer.model}")
if hasattr(trainer.model, "print_healthcheck"):
    trainer.model.print_healthcheck()

# train
checkpoint = None
if training_args.resume_from_checkpoint is not None:
    checkpoint = training_args.resume_from_checkpoint
trainer.train(resume_from_checkpoint=checkpoint)

# saving final model
if trainer.is_fsdp_enabled:
    trainer.accelerator.state.fsdp_plugin.set_state_dict_type("FULL_STATE_DICT")
trainer.save_model()

مع FSDP1، يقلل use_orig_params=False من استهلاك الذاكرة عن طريق تغليف المعاملات القابلة للتدريب والمجمّدة بشكل منفصل. يقوم Trainer في Transformers الحالي بتثبيت fsdp_auto_wrap_policy الخاص بـ PEFT لهذا الحالة؛ ولا يحتاج المثال إلى ضبطه يدوياً. يجب على حلقة تدريب FSDP1 المخصصة في Accelerate ضبط تلك السياسة قبل تجهيز النموذج. ولا ينطبق هذا المتطلب المتعلق بتغليف المعاملات المسطحة على FSDP2.

استهلاك الذاكرة

في المثال أعلاه، الذاكرة المستهلكة لكل وحدة معالجة رسومية هي 72-80 جيجابايت (90-98%) كما هو موضح في لقطة الشاشة أدناه. الزيادة الطفيفة في ذاكرة وحدة معالجة الرسومية في النهاية تحدث عند حفظ النموذج باستخدام نوع FULL_STATE_DICT بدلاً من SHARDED_STATE_DICT بحيث يمتلك النموذج أوزان مُكيِّف يمكن تحميلها بشكل طبيعي باستخدام طريقة from_pretrained أثناء الاستدلال:

GPU memory usage for the training run

FSDP1 مع QLoRA

في هذا القسم، سنستعرض كيفية استخدام QLoRA و FSDP لضبط نموذج llama بحجم 70B على بطاقتي GPU بسعة 24GB لكل منهما. قام Answer.AI بالتعاون مع bitsandbytes و Hugging Face 🤗 بإتاحة الكود مفتوح المصدر الذي يتيح استخدام FSDP+QLoRA، وشرحوا العملية بأكملها في مدونتهم القيّمة You can now train a 70b language model at home. وقد تم دمج ذلك الآن في منظومة Hugging Face.

استخدم الإصدارات الحالية من PEFT وTransformers وTRL وAccelerate مع bitsandbytes>=0.43.3. بالنسبة لهذا التكوين الخاص بـ FSDP1، اضبط fsdp_cpu_ram_efficient_loading=true وfsdp_use_orig_params=false وfsdp_offload_params=true (إزاحة المعاملات إلى وحدة المعالجة المركزية). التكوين متاح في fsdp_config_qlora.yaml:

compute_environment: LOCAL_MACHINE                                                                                                                                           
debug: false                                                                                                                                                                 
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
  fsdp_version: 1
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_backward_prefetch: BACKWARD_PRE
  fsdp_cpu_ram_efficient_loading: true
  fsdp_forward_prefetch: false
  fsdp_offload_params: true
  fsdp_sharding_strategy: FULL_SHARD
  fsdp_state_dict_type: SHARDED_STATE_DICT
  fsdp_sync_module_states: true
  fsdp_use_orig_params: false
machine_rank: 0
main_training_function: main
mixed_precision: 'no'
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false

أدناه الأمر الخاص بالإطلاق المتاح في run_peft_qlora_fsdp.sh:

accelerate launch --config_file "configs/fsdp_config_qlora.yaml"  train.py \
--seed 100 \
--model_name_or_path "meta-llama/Llama-2-70b-hf" \
--dataset_name "smangrul/ultrachat-10k-chatml" \
--chat_template_format "chatml" \
--add_special_tokens False \
--append_concat_token False \
--splits "train,test" \
--max_length 2048 \
--num_train_epochs 1 \
--logging_steps 5 \
--log_level "info" \
--logging_strategy "steps" \
--eval_strategy "epoch" \
--save_strategy "epoch" \
--push_to_hub \
--hub_private_repo True \
--hub_strategy "every_save" \
--bf16 True \
--packing True \
--learning_rate 1e-4 \
--lr_scheduler_type "cosine" \
--weight_decay 1e-4 \
--warmup_steps 0 \
--max_grad_norm 1.0 \
--output_dir "llama-sft-qlora-fsdp" \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 2 \
--gradient_accumulation_steps 2 \
--gradient_checkpointing True \
--use_reentrant True \
--dataset_text_field "content" \
--use_flash_attn True \
--use_peft_lora True \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target_modules "all-linear" \
--use_4bit_quantization True \
--use_nested_quant True \
--bnb_4bit_compute_dtype "bfloat16" \
--bnb_4bit_quant_storage_dtype "bfloat16"

لاحظ الحجة الجديدة المُمرَّرة، bnb_4bit_quant_storage_dtype، والتي تحدد نوع البيانات لتعبئة المعاملات ذات 4 بت. على سبيل المثال، عند ضبطها على bfloat16، يتم تجميع 16/4 = 4 معاملًا من معاملات 4 بت معًا بعد التكميم. عند استخدام التدريب بدقة مختلطة مع bfloat16، يمكن أن تكون bnb_4bit_quant_storage_dtype إما bfloat16 للضبط الدقيق النقي بـ bfloat16، أو float32 للدقة المختلطة التلقائية (وهذا يستهلك ذاكرة GPU أكثر). عند استخدام التدريب بدقة مختلطة مع float16، يجب ضبط bnb_4bit_quant_storage_dtype على float32 لضمان تدريب مستقر بالدقة المختلطة التلقائية.

من حيث كود التدريب، التغييرات المهمة في الكود هي:

...

bnb_config = BitsAndBytesConfig(
    load_in_4bit=args.use_4bit_quantization,
    bnb_4bit_quant_type=args.bnb_4bit_quant_type,
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=args.use_nested_quant,
+   bnb_4bit_quant_storage=quant_storage_dtype,
)

...

model = AutoModelForCausalLM.from_pretrained(
    args.model_name_or_path,
    quantization_config=bnb_config,
    trust_remote_code=True,
    attn_implementation="flash_attention_2" if args.use_flash_attn else "eager",
+   dtype=quant_storage_dtype or torch.float32,
)

لاحظ أن dtype الخاص بـ AutoModelForCausalLM هو نفسه نوع البيانات bnb_4bit_quant_storage. هذا كل شيء. كل ما عدا ذلك يتكفل به Trainer وTRL.

استهلاك الذاكرة

في المثال أعلاه، الذاكرة المستهلكة لكل وحدة معالجة رسومية هي 19.6 GB بينما استهلاك ذاكرة الوصول العشوائي للمعالج المركزي حوالي 107 GB. عند تعطيل نقل المهام إلى المعالج المركزي، يصبح استهلاك ذاكرة وحدة معالجة الرسومية 35.6 GB/ GPU. وبالتالي، ما كان يتطلب 16 وحدة معالجة رسومية بسعة 80GB للضبط الكامل، و8 وحدات معالجة رسومية بسعة 80GB مع FSDP+LoRA، وعدة وحدات معالجة رسومية بسعة 80GB مع DDP+QLoRA، أصبح الآن يتطلب وحدتي معالجة رسومية بسعة 24GB. وهذا يجعل ضبط النماذج الكبيرة أكثر قابلية للوصول.

الموارد الإضافية

يمكنك أيضاً الرجوع إلى مستودع llama-recipes ودليل Getting started with Llama لمعرفة كيفية الضبط الدقيق باستخدام FSDP وPEFT.

ملاحظات

  1. مع FSDP1 (تكامل Accelerate مع FSDP المستخدم أعلاه)، لا يُدعم الدمج ويُسبب ظهور خطأ. مع FSDP2 (fully_shard)، تصل الدالتان merge_adapter() وunmerge_adapter() إلى المعاملات المجزأة: يعمل الدمج لـ LoRA العادي (بما في ذلك safe_merge) على الطبقات الأساسية من نوع Linear وEmbedding والتحويلية، كما يعمل DoRA و(IA)^3 على Linear. لا تغطي هذه الأساليب بقية المكيّفات أو تركيبات الطبقات، وقد تُسبب ظهور خطأ أو تفشل في الدمج بصمت، لذا تحقق من النتيجة قبل الاعتماد عليها. مثال معروف على ذلك هو طبقة DoRA يكون base_layer الخاص بها ملفوفاً بواسطة وحدة FSDP2 مستقلة، مما يُسبب ظهور خطأ.
  2. لم يتم اختبار تمرير معامل الإعداد modules_to_save حتى الآن.
  3. لم يتم اختبار توفير ذاكرة وحدة معالجة الرسوميات (GPU) عند استخدام نقل المعالجة إلى وحدة المعالجة المركزية (CPU) حتى الآن.
  4. عند استخدام FSDP+QLoRA، يؤدي paged_adamw_8bit حاليًا إلى خطأ عند حفظ نقطة التفتيش.
  5. يجب أن يعمل تدريب DoRA مع FSDP (على الرغم من أن سرعته أقل من LoRA). عند دمجه مع bitsandbytes (QDoRA)، يجب أن تعمل التكميم بدقة 4 بت أيضاً، لكن التكميم بدقة 8 بت يعاني من مشكلات معروفة ولا يُنصح به.
  6. مع FSDP2، تعيد set_adapter() وset_requires_grad() توزيع وحدات FSDP2 داخل PeftModel، بما في ذلك PeftModel نفسه، بحيث تصل تغييرات requires_grad إلى المعاملات الموزعة.
  7. لا يتم الخروج من disable_adapter() إلا إذا استبدل FSDP2 كائنات المعاملات المسجلة بداخله، كما يحدث مع المعاملات المجزأة في تمريرة أمامية، أو إذا أدت إعادة التفعيل إلى تغيير requires_grad عما كان عليه عند الدخول.
  8. merge_adapter() وunmerge_adapter() تعيد تقسيم وحدات FSDP2 أيضًا، بحيث تصل عملية الدمج وعملية إلغاء الدمج إلى المعاملات المقسمة؛ فبدون إعادة التقسيم، ينتهي الدمج في المعاملات غير المقسمة التي تركها تمرير أمامي مسجلة، وستُسقط إعادة التقسيم التالية ذلك. يُكتب الدمج نفسه في مكانه داخل المعاملات المقسمة.
  9. لا تُعاد تقسيم وحدات FSDP2 التي تُقسّم معاملات طبقة المُكيّف المدمجة بواسطة set_adapter() وset_requires_grad()، لذا يجب إلغاء الدمج قبل استدعاء هذه الدوال. عند الدخول إلى disable_adapter() تحت FSDP2، يتم إلغاء دمج الطبقات المدمجة تلقائيًا، بحيث يصل إلغاء الدمج إلى المعاملات المقسمة؛ وبالتالي لا يبقى الدمج قائمًا بعد انتهاء السياق.
  10. مع reshard_after_forward=False، أو بالنسبة للوحدة الجذرية مع القيمة الافتراضية None، فإن التمرير الأمامي التالي يجمع الكل مرة أخرى.
  11. لا يتم إعادة تقسيم وحدات FSDP2 التي تغلف PeftModel؛ استدعِ reshard() عليها قبل هذه الطرق.
  12. لم يتم تغطية طرق تعلّم المُوجِّهات (Prompt learning) والمُوجِّهات التكيفية (adaption prompt) بعد.
  13. عند استخدام FSDP2/HSDP، استدعِ get_peft_model_state_dict() أو save_pretrained() على كل رتبة مشاركة: فجمع متجهات المُكيِّف الموزَّعة هو عملية جماعية. فيما يتعلق بـsave_pretrained()، مرِّر is_main_process=True فقط على الرتبة المسؤولة عن الكتابة. يتم جمع إدخالات المُكيِّف المحددة فقط (بما في ذلك التضمينات المطلوبة صراحةً أو modules_to_save)؛ بينما تبقى أوزان النموذج الأساسي غير المحددة مجزأة.
Update on GitHub