PEFT documentation

P-tuning

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

P-tuning

Prompt tokens can be inserted anywhere in the input sequence, and they are optimized by a prompt encoder (image source).

P-tuning, doğal dil anlama (NLU) görevleri ve tüm dil modelleri için tasarlanmıştır.

Makalenin özeti şudur:

Geleneksel ince ayar ile eğitilen GPT'ler doğal dil anlama (NLU) görevlerinde güçlü sonuçlar elde edemezken, P-tuning adlı yeni bir yöntemle GPT'lerin NLU görevlerinde benzer boyuttaki BERT'lerle karşılaştırılabilir veya onlardan daha iyi performans gösterebildiğini gösteriyoruz. Bu yöntem, eğitilebilir sürekli prompt gömme (embedding) vektörlerini kullanır. Bilgi sorgulama (LAMA) benchmark'ında, en iyi GPT, test sırasında ek metin sağlanmadan dünya bilgisinin %64'ünü (P@1) geri kazanmakta olup bu, önceki en iyi sonucu 20+ puanlık bir farkla önemli ölçüde geliştirmektedir. SuperGlue benchmark'ında GPT'ler, denetimli öğrenmede benzer boyuttaki BERT'lerle karşılaştırılabilir ve bazen daha iyi performans sergilemektedir. Önemli olan, P-tuning'in hem az örnekli (few-shot) hem de denetimli ortamlarda BERT'lerin performansını da iyileştirdiğini ve prompt mühendisliğine duyulan ihtiyacı büyük ölçüde azalttığını tespit etmiş bulunmaktayız. Sonuç olarak, P-tuning, az örnekli SuperGlue benchmark'ında en iyi mevcut (state-of-the-art) yaklaşımları geride bırakmaktadır..

Yöntem, manuel olarak prompt tasarlamaya gerek kalmadan daha iyi bir prompt bulmak için prompt kodlayıcı tarafından optimize edilen, eğitilebilir prompt gömme değerlerini girdiye ekler. Prompt jetonları girdi dizisinin herhangi bir yerine eklenebilir ve p-tuning, performansı iyileştirmek için çapa jetonları da tanıtır. Prompt parametrelerini optimize etmek için bir prompt kodlayıcı (çift yönlü uzun kısa dönemli bellek ağı veya LSTM) kullanılır. Prefix tuning'den farklı olarak:

  • the prompt tokens girdi dizisinin herhangi bir yerine eklenebilir ve yalnızca başlangıca kısıtlı değildir
  • prompt tokenları modelin her katmanına eklenmek yerine yalnızca girdiye eklenir
  • anchor jetonlarının tanıtılması, giriş dizisindeki bir bileşenin özelliklerini belirttikleri için performansı iyileştirebilir

Makalenin sonuçları, P-tuning'in manuel olarak prompt oluşturmaktan daha verimli olduğunu ve GPT benzeri modellerin NLU görevlerinde BERT benzeri modellerle yarışmasını sağladığını göstermektedir.

Kullanım

Görev türünü, eklenecek ve öğrenilecek sanal jeton sayısını ve prompt parametrelerini öğrenmek için kodlayıcının gizli boyutunu içeren bir PromptEncoderConfig oluşturun.

from peft import PromptEncoderConfig, get_peft_model

peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Karma performans değerlendirmesi genel bakış

API

PromptEncoderConfig

sınıf peft.PromptEncoderConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneencoder_reparameterization_type: str | peft.tuners.p_tuning.config.PromptEncoderReparameterizationType = <PromptEncoderReparameterizationType.MLP: 'MLP'>encoder_hidden_size: int = Noneencoder_num_layers: int = 2encoder_dropout: float = 0.0 )

Parametreler

  • encoder_reparameterization_type (Union[PromptEncoderReparameterizationType, str]) — Kullanılacak yeniden parametrelendirme türü.
  • encoder_hidden_size (int) — Prompt kodlayıcısının gizli boyutu.
  • encoder_num_layers (int) — Prompt kodlayıcısının katman sayısı.
  • encoder_dropout (float) — Prompt kodlayıcısının dropout olasılığı.

Bu, bir PromptEncoder yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.

PromptEncoder

sınıf peft.PromptEncoder

< >

( config )

Parametreler

p-tuning için sanal token gömme değerlerini üretmek için kullanılan prompt kodlayıcı ağı.

Örnek:

>>> from peft import PromptEncoder, PromptEncoderConfig

>>> config = PromptEncoderConfig(
...     peft_type="P_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     encoder_reparameterization_type="MLP",
...     encoder_hidden_size=768,
... )

>>> prompt_encoder = PromptEncoder(config)

Öznitelikler:

  • embedding (torch.nn.Embedding) — Prompt kodlayıcısının gömme katmanı.
  • mlp_head (torch.nn.Sequential) — inference_mode=False ise prompt kodlayıcısının MLP başlığı.
  • lstm_head (torch.nn.LSTM) — inference_mode=False ve encoder_reparameterization_type="LSTM" ise prompt kodlayıcısının LSTM başlığı.
  • token_dim (int) — Temel transformer modelinin gizli gömme boyutu.
  • input_size (int) — Prompt kodlayıcısının giriş boyutu.
  • output_size (int) — Prompt kodlayıcısının çıktı boyutu.
  • hidden_size (int) — Prompt kodlayıcısının gizli boyutu.
  • total_virtual_tokens (int): Prompt kodlayıcısının toplam sanal jeton sayısı.
  • encoder_type (Union[PromptEncoderReparameterizationType, str]): Prompt encoder'ın encoder türü.

Girdi şekli: (batch_size, total_virtual_tokens)

Çıktı şekli: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub