PEFT documentation

LayerNorm Ayarlama

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LayerNorm Ayarlama

LayerNorm Tuning (LN Tuning), yalnızca bir modeldeki LayerNorm katmanlarının parametrelerini ince ayar yapan bir PEFT yöntemidir. Makale, bu yöntemin performansını büyük dil modellerinde test etmiş ve eğitilebilir parametre sayısında ve GPU bellek kullanımında önemli bir azalma ile güçlü performans elde edilebildiğini göstermiştir. Ancak yöntem, dil modelleriyle sınırlı değildir ve LayerNorm katmanları kullanan herhangi bir modele uygulanabilir. Bu uygulamada, varsayılan olarak model içindeki tüm layernorm katmanları ince ayarlanır; ancak target_modules alanını LNTuningConfig içinde belirleyerek MLP veya Attention gibi diğer katman türlerini hedeflemek için de kullanılabilir.

Makalenin özeti şudur:

Bu makale, Büyük Dil Modellerini (LLM) Çok Modlu Büyük Dil Modellerine (MLLM) dönüştürmek için verimli bir strateji sunar. Bu dönüşümü bir alan uyarlama süreci olarak kavramsallaştırarak, yani metin anlama alanından birden fazla moda kucaklamaya geçiş yaparak, her dikkat bloğu içinde LayerNorm'u ayarlamaya (tuning) güçlü bir performans elde etmek için yeterli olduğunu ilgi çekici bir şekilde belirtiyoruz. Ayrıca, tam parametre ince ayarı veya LoRA gibi diğer ayarlama yaklaşımlarıyla kıyaslandığında, verimlilik üzerindeki faydaları kayda değerdir. Örneğin, 13B model ölçeğinde LoRA ile karşılaştırıldığında, beş çok modlu görev boyunca performans ortalama %20'den fazla artırılabilirken, aynı zamanda ayarlanabilir parametrelerde %41,9'luk önemli bir azalma ve GPU bellek kullanımında %17,6'lık bir düşüş sağlanır. Bu LayerNorm stratejisinin üzerine, yalnızca konuşma verisiyle seçici olarak ayarlamanın verimliliği daha da artırabileceğini gösteriyoruz. Bu ampirik sonuçların ötesinde, LayerNorm'un LLM'leri çok modlu alana uyarlamadaki rolünü ve modelin ifade gücünü iyileştirmesini araştırmak için kapsamlı bir analiz sunuyoruz.

Karma performans değerlendirmesi genel bakış

API

LNTuningConfig

sınıf peft.LNTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[Union[list[str], str]] = None )

Parametreler

  • target_modules (Optional[Union[List[str], str]]) — LNTuning ile değiştirilecek modül adlarının listesi veya modül adlarının regex ifadesi. Örneğin, ‘.decoder.’ veya ‘.encoder.’. Bu belirtilmezse, modüller model mimarisine göre seçilir. Mimari bilinmiyorsa bir hata oluşturulur — bu durumda, hedef modülleri manuel olarak belirtmelisiniz.
  • exclude_modules (Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir.
  • modules_to_save (Optional[Union[List[str], str]]) — Son checkpoint'te eğitilebilir olarak ayarlanacak ve kaydedilecek modüllerin listesi. Örneğin, Sequence Classification veya Token Classification görevlerinde, son katman classifier/score rastgele başlatılır ve bu nedenle eğitilebilir olmaları ve kaydedilmeleri gerekir.

Bu, bir LNTuningModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.

LNTuningModel

sınıf peft.LNTuningModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → ‘torch.nn.Module’

Parametreler

  • model (torch.nn.Module) — Uyarlanacak model.
  • config (LNTuningConfig) — LN tuning modelinin yapılandırması.
  • adapter_name (str) — Adaptörün adı, varsayılan olarak "default"'tır.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Bu seçenek LN ayarlaması üzerinde bir etkiye sahip değildir ancak diğer PEFT yöntemleriyle tutarlılık için mevcuttur.

Dönüş değeri

‘torch.nn.Module’

LayerNorm açık olarak ayarlanmış uyarlanmış model.

Önceden eğitilmiş bir dönüştürücü modelinden LayerNorm ayarlaması oluşturur.

Yöntem, https://huggingface.co/papers/2312.11420 adresinde ayrıntılı olarak açıklanmıştır.

Örnek:

>>> from transformers import AutoModelForCausalLM
>>> from peft import get_peft_model, TaskType, LNTuningConfig

>>> peft_config = LNTuningConfig(
...     task_type=TaskType.CAUSAL_LM,
... )

>>> model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
>>> model = get_peft_model(model, peft_config)
>>> model.print_trainable_parameters()

Öznitelikler:

Update on GitHub