# LoKr

    

Metinden Görsele Özelleştirme Yolculuğu: LyCORIS İnce Ayarından Model Değerlendirmesine

Düşük Sıralı Kronecker Çarpımı ([LoKr](https://hf.co/papers/2309.14859)), büyük ağırlık matrisini iki düşük sıralı matrisle yaklaşık olarak ifade eden ve bunları [Kronecker çarpımı](https://en.wikipedia.org/wiki/Kronecker_product) ile birleştiren bir LoRA türevi yöntemdir. LoKr, ince ayar sırasında daha iyi kontrol sağlamak için isteğe bağlı üçüncü bir düşük sıralı matris de sunar. Ağırlık güncelleme matrisini bir Kronecker çarpımı ayrışması olarak ifade ederek bir blok matris oluşturan LoKr, orijinal ağırlık matrisinin sırasını koruyabilir. Daha küçük matrislerin boyutu, *sırası* veya `r` ile belirlenir. Kronecker çarpımının bir diğer avantajı da matris sütunlarının yığılmasıyla vektörleştirilebilmesidir. Bu, ∆W'nin tamamen yeniden oluşturulmaması sayesinde süreci hızlandırabilir.

Makalenin özeti şudur:

*Metinden görüntüye üretken modeller, metin istemlerinden yüksek sadakatli görüntüler üretme yetenekleri sayesinde büyük ilgi görmüştür. Bunlar arasında Stable Diffusion, bu hızla büyüyen alanda önde gelen açık kaynaklı model olarak öne çıkmaktadır. Ancak bu modellerin ince ayarının karmaşıklıkları, yeni metodoloji entegrasyonundan sistematik değerlendirmeye kadar çeşitli zorluklar ortaya koymaktadır. Bu sorunlara çözüm getirmek amacıyla bu makale, Stable Diffusion için geniş bir ince ayar metodolojisi seçeneği sunan açık kaynaklı bir kütüphane olan LyCORIS [Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion](https://github.com/KohakuBlueleaf/LyCORIS)'i tanıtmaktadır. Ayrıca, çeşitli ince ayar tekniklerinin sistematik değerlendirmesi için kapsamlı bir çerçeve sunuyoruz. Bu çerçeve, çeşitli bir metrik seti kullanmakta ve ince ayarın birden fazla boyutuna, hiperparametre ayarlamaları dahil olmak üzere, farklı kavram kategorilerinde farklı istem türleriyle değerlendirme gibi konulara derinlemesine inmektedir. Bu kapsamlı yaklaşım aracılığıyla, çalışmamız ince ayar parametrelerinin nüanslı etkilerine ilişkin temel içgörüler sağlayarak, son teknoloji araştırmalar ile pratik uygulama arasındaki boşluğu kapatmaktadır.*

## Kullanım

```py
from peft import LoKrConfig, get_peft_model

config = LoKrConfig(
    r=16,
    alpha=16,
    target_modules=["query", "value"],
    module_dropout=0.1,
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()
```

## Karma performans değerlendirmesi genel bakış

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=LOKR" frameborder="0" width="850" height="1000"
>

# API

## LoKrConfig[[peft.LoKrConfig]]

#### peft.LoKrConfig[[peft.LoKrConfig]]

```python
peft.LoKrConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, rank_pattern: Optional[dict] = <factory>, alpha_pattern: Optional[dict] = <factory>, r: int = 8, alpha: int = 8, rank_dropout: float = 0.0, module_dropout: float = 0.0, use_effective_conv2d: bool = False, decompose_both: bool = False, decompose_factor: int = -1, rank_dropout_scale: bool = False, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, init_weights: Union[bool, Literal['lycoris']] = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None)
```

[Kaynak](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/lokr/config.py#L24)

**Parametreler:**

r (`int`) : LoKr rütbesi.

alpha (`int`) : LoKr ölçeklendirme için alpha parametresi.

rank_dropout (`float`) : Eğitim sırasında rank boyutu için dropout olasılığı.

module_dropout (`float`) : Eğitim sırasında LoKr modüllerini devre dışı bırakmak için kullanılan dropout olasılığı.

use_effective_conv2d (`bool`) : ksize > 1 olan Conv2d (ve Conv1d) için parametre etkili ayrıştırma kullanın (FedPara makalesindeki "Proposition 3").

decompose_both (`bool`) : Sol kronecker çarpım matrisinin rütbe ayrıştırmayı gerçekleştirir.

decompose_factor (`int`) : Kronecker çarpımı ayrıştırma faktörü.

rank_dropout_scale ('bool) : Eğitim sırasında rank dropout'un ölçeklenip ölçeklenmeyeceğini belirtir, varsayılan değeri `False`'

target_modules (`Optional[Union[List[str], str]]`) : Adaptörün uygulanacağı modüllerin adları. Bu alan belirtilirse, yalnızca belirtilen adlara sahip modüller değiştirilir. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir. Bu alan 'all-linear' olarak belirtilirse, çıktı katmanı hariç tüm linear/Conv1D modülleri seçilir. Bu alan belirtilmezse, modüller model mimarisine göre seçilir. Mimari bilinmiyorsa bir hata oluşturulur -- bu durumda, hedef modülleri manuel olarak belirtmelisiniz.

exclude_modules (`Optional[Union[List[str], str]]`) : Uygulanmayacak modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sona erip ermediği kontrol edilir.

init_weights (`bool`) : Adaptör ağırlıklarının başlatılmasının yapılıp yapılmayacağını belirtir. Varsayılan değeri `True`'dir. Ağırlıkları LYCORIS deposu tarzında başlatmak için "lycoris" kullanın. `False` geçilmesi önerilmez.

layers_to_transform (`Union[List[int], int]`) : Dönüştürülecek katman indeksleri. Bir int listesi geçirilirse, adaptör bu listede belirtilen katman indekslerine uygulanır. Tek bir tamsayı geçirilirse, dönüşümler bu indeksteki katmana uygulanır.

layers_pattern (`Optional[Union[List[str], str]]`) : Katman desen adı, yalnızca `layers_to_transform` `None`'den farklıysa kullanılır. Bu, genellikle `'layers'` veya `'h'` olarak adlandırılan modelin `nn.ModuleList`'ini hedeflemelidir.

rank_pattern (`dict`) : `r` tarafından belirtilen varsayılan sıradan farklı olan, katman adlarından veya regexp ifadelerinden sıralara yapılan eşleme. Örneğin, `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

alpha_pattern (`dict`) : `alpha` tarafından belirtilen varsayılan alfa'dan farklı olan alfaların, katman adlarına veya regexp ifadesine eşlenmesi. Örneğin, `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

modules_to_save (`Optional[List[str]]`) : Son kontrol noktasında eğilebilir olarak ayarlanacak ve kaydedilecek, adaptör katmanları dışındaki modüllerin listesi.

[LoKrModel](/docs/peft/v0.22.0/tr/package_reference/lokr#peft.LoKrModel) yapılandırma sınıfı.

## LoKrModel[[peft.LoKrModel]]

#### peft.LoKrModel[[peft.LoKrModel]]

```python
peft.LoKrModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Kaynak](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/lokr/model.py#L27)

**Parametreler:**

model (`torch.nn.Module`) : Adapter tuner katmanlarının bağlanacağı model.

config ([LoKrConfig](/docs/peft/v0.22.0/tr/package_reference/lokr#peft.LoKrConfig)) : LoKr modelinin yapılandırması.

adapter_name (`str`) : Adaptörün adı, varsayılan olarak `"default"`'tur.

low_cpu_mem_usage (`bool`, `optional`, varsayılan `False`) : Meta cihazında boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.

**Dönüş:** `torch.nn.Module`

LoKr modeli.

Önceden eğitilmiş bir modelden Düşük Sıralı Kronecker Çarpımı modeli oluşturur. Orijinal yöntem, https://huggingface.co/papers/2108.06098 ve https://huggingface.co/papers/2309.14859 adreslerinde kısmen açıklanmıştır. Mevcut uygulama, https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/lokr.py adresinden büyük ölçüde esinlenmiştir.

Örnek:
```py
>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoKrConfig, get_peft_model

>>> config_te = LoKrConfig(
...     r=8,
...     alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoKrConfig(
...     r=8,
...     alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)
```

**Öznitelikler**:
- **model** (`~torch.nn.Module`) -- Uyarlanacak model.
- **peft_config** ([LoKrConfig](/docs/peft/v0.22.0/tr/package_reference/lokr#peft.LoKrConfig)): LoKr modelinin yapılandırması.

