PEFT documentation
Konfigurasi dan model PEFT
Konfigurasi dan model PEFT
Ukuran besar model pretrained modern - yang umumnya memiliki miliaran parameter - menghadirkan tantangan pelatihan yang signifikan karena membutuhkan lebih banyak ruang penyimpanan dan daya komputasi untuk memproses semua perhitungan tersebut. Anda akan memerlukan akses ke GPU atau TPU yang bertenaga untuk melatih model pretrained besar ini, yang mana biayanya mahal, tidak mudah diakses oleh semua orang, tidak ramah lingkungan, dan tidak terlalu praktis. Metode PEFT mengatasi banyak tantangan tersebut. Ada beberapa jenis metode PEFT (soft prompting, dekomposisi matriks, adapter), tetapi semuanya berfokus pada hal yang sama, yaitu mengurangi jumlah parameter yang dapat dilatih. Hal ini membuat pelatihan dan penyimpanan model besar menjadi lebih mudah diakses pada perangkat konsumen.
Perpustakaan PEFT dirancang untuk membantu Anda dengan cepat melatih model besar pada GPU gratis atau berbiaya rendah, dan dalam tutorial ini, Anda akan belajar cara mengatur konfigurasi untuk menerapkan metode PEFT pada model dasar pra-terlatih untuk pelatihan. Setelah konfigurasi PEFT diatur, Anda dapat menggunakan framework pelatihan apa pun yang Anda inginkan (kelas Trainer dari Transformers, Accelerate, atau loop pelatihan PyTorch kustom).
Konfigurasi PEFT
Pelajari lebih lanjut tentang parameter yang dapat Anda konfigurasikan untuk setiap metode PEFT di halaman referensi API masing-masing.
Konfigurasi menyimpan parameter penting yang menentukan bagaimana metode PEFT tertentu harus diterapkan.
Sebagai contoh, perhatikan LoraConfig berikut untuk menerapkan LoRA dan PromptEncoderConfig untuk menerapkan p-tuning (file konfigurasi ini sudah di-serialisasi JSON). Setiap kali Anda memuat adapter PEFT, sebaiknya periksa apakah ada file adapter_config.json yang terkait, karena file ini wajib ada.
{
"base_model_name_or_path": "facebook/opt-350m", #base model to apply LoRA to
"bias": "none",
"fan_in_fan_out": false,
"inference_mode": true,
"init_lora_weights": true,
"layers_pattern": null,
"layers_to_transform": null,
"lora_alpha": 32,
"lora_dropout": 0.05,
"modules_to_save": null,
"peft_type": "LORA", #PEFT method type
"r": 16,
"revision": null,
"target_modules": [
"q_proj", #model modules to apply LoRA to (query and value projection layers)
"v_proj"
],
"task_type": "CAUSAL_LM" #type of task to train model on
}Anda dapat membuat konfigurasi pelatihan Anda sendiri dengan menginisialisasi LoraConfig.
from peft import LoraConfig, TaskType
lora_config = LoraConfig(
r=16,
target_modules=["q_proj", "v_proj"],
task_type=TaskType.CAUSAL_LM,
lora_alpha=32,
lora_dropout=0.05
){
"base_model_name_or_path": "roberta-large", #base model to apply p-tuning to
"encoder_dropout": 0.0,
"encoder_hidden_size": 128,
"encoder_num_layers": 2,
"encoder_reparameterization_type": "MLP",
"inference_mode": true,
"num_attention_heads": 16,
"num_layers": 24,
"num_transformer_submodules": 1,
"num_virtual_tokens": 20,
"peft_type": "P_TUNING", #PEFT method type
"task_type": "SEQ_CLS", #type of task to train model on
"token_dim": 1024
}Anda dapat membuat konfigurasi pelatihan Anda sendiri dengan menginisialisasi PromptEncoderConfig.
from peft import PromptEncoderConfig, TaskType
p_tuning_config = PromptEncoderConfig(
encoder_reparameterization_type="MLP",
encoder_hidden_size=128,
num_attention_heads=16,
num_layers=24,
num_transformer_submodules=1,
num_virtual_tokens=20,
token_dim=1024,
task_type=TaskType.SEQ_CLS
)Model PEFT
Dengan konfigurasi PEFT di tangan, Anda sekarang dapat menerapkannya ke model pretrained mana pun untuk membuat PeftModel. Pilih dari model state-of-the-art mana pun dari pustaka Transformers, model kustom, dan bahkan arsitektur transformer baru yang belum didukung.
Untuk tutorial ini, muat model dasar facebook/opt-350m untuk finetune.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("facebook/opt-350m")Gunakan fungsi get_peft_model() untuk membuat PeftModel dari model dasar facebook/opt-350m dan lora_config yang Anda buat sebelumnya.
from peft import get_peft_model
lora_model = get_peft_model(model, lora_config)
lora_model.print_healthcheck()Saat memanggil get_peft_model(), model dasar akan dimodifikasi in-place. Artinya, saat memanggil get_peft_model() pada model yang sudah dimodifikasi dengan cara yang sama sebelumnya, model tersebut akan mengalami mutasi lebih lanjut. Oleh karena itu, jika Anda ingin memodifikasi konfigurasi PEFT Anda setelah sebelumnya memanggil
get_peft_model(), Anda harus terlebih dahulu memuat ulang model dengan unload() dan kemudian memanggilget_peft_model()dengan konfigurasi baru Anda. Sebagai alternatif, Anda dapat menginisialisasi ulang model untuk memastikan keadaan segar yang belum dimodifikasi sebelum menerapkan konfigurasi PEFT baru.
Sekarang Anda dapat melatih PeftModel dengan framework pelatihan pilihan Anda! Setelah pelatihan, Anda dapat menyimpan model Anda secara lokal dengan save_pretrained() atau mengunggahnya ke Hub dengan metode push_to_hub.
# save locally
lora_model.save_pretrained("your-name/opt-350m-lora")
# push to Hub
lora_model.push_to_hub("your-name/opt-350m-lora")Untuk memuat PeftModel untuk inferensi, Anda perlu menyediakan PeftConfig yang digunakan untuk membuatnya dan model dasar yang menjadi dasar pelatihannya.
from peft import PeftModel, PeftConfig
config = PeftConfig.from_pretrained("ybelkada/opt-350m-lora")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path)
lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora")Secara default, PeftModel diatur untuk inferensi, tetapi jika Anda ingin melatih adapter lebih lanjut, Anda dapat mengatur
is_trainable=True.lora_model = PeftModel.from_pretrained(model, "ybelkada/opt-350m-lora", is_trainable=True)
Metode PeftModel.from_pretrained() adalah cara paling fleksibel untuk memuat PeftModel karena tidak peduli framework model apa yang digunakan (Transformers, timm, model PyTorch generik). Kelas lain, seperti AutoPeftModel, hanyalah pembungkus yang nyaman di sekitar PeftModel dasar, dan memudahkan pemuatan model PEFT langsung dari Hub atau secara lokal di mana bobot PEFT disimpan.
from peft import AutoPeftModelForCausalLM
lora_model = AutoPeftModelForCausalLM.from_pretrained("ybelkada/opt-350m-lora")Lihat referensi API AutoPeftModel untuk mempelajari lebih lanjut tentang kelas AutoPeftModel.
Langkah selanjutnya
Dengan PeftConfig yang sesuai, Anda dapat menerapkannya ke model pretrained mana pun untuk membuat PeftModel dan melatih model besar yang bertenaga lebih cepat pada GPU yang tersedia secara gratis! Untuk mempelajari lebih lanjut tentang konfigurasi dan model PEFT, panduan berikut mungkin dapat membantu:
- Pelajari cara mengonfigurasi metode PEFT untuk model yang bukan berasal dari Transformers dalam panduan Bekerja dengan model kustom.