# RoAd

[RoAd](https://huggingface.co/papers/2409.00119) — это метод дообучения с эффективным использованием параметров, который адаптирует большие языковые модели, обучая небольшой набор матриц поворота 2×2 (и необязательных коэффициентов масштабирования), применяемых к парам скрытых измерений. RoAd обеспечивает конкурентоспособную или превосходящую производительность по сравнению с другими методами PEFT при количестве обучаемых параметров менее 0,1%. В отличие от пакетных обновлений с низким рангом в LoRA, разреженные повороты RoAd преобразуются в простые поэлементные операции, что обеспечивает значительно более высокую пропускную способность при обслуживании гетерогенных запросов в одном пакете, то есть при одновременном обслуживании нескольких адаптеров. Кроме того, RoAd бесшовно интегрируется в распределённую систему вмешательств, интерпретируя свои разреженные 2D-повороты как специфичные для задачи вмешательства в пределах выученных подпространств скрытых представлений. Эти ортогональные подпространства можно комбинировать для объединения нескольких специфичных для задачи поведенческих характеристик — таких как многоязычные возможности или следование инструкциям — без дополнительного дообучения, что позволяет создавать модульные и интерпретируемые адаптации в LLM.

Допобучение с RoAd обычно требует более высокой скорости обучения по сравнению с LoRA или аналогичными методами, примерно 1e-3. В настоящее время RoAd поддерживает только линейные слои и может использоваться с моделями, квантованными с помощью bitsandbytes (4-битное или 8-битное квантование).

Для выполнения инференса с различными адаптерами RoAd в одном батче см. [Инференс с различными адаптерами LoRA в одном батче](lora#inference-with-different-lora-adapters-in-the-same-batch).

## Обзор бенчмарков

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=ROAD" frameborder="0" width="850" height="1000"
>

# API

## RoadConfig[[peft.RoadConfig]]

#### peft.RoadConfig[[peft.RoadConfig]]

```python
peft.RoadConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, variant: Union[str, RoadVariant] = 'road_1', group_size: int = 64, init_weights: bool = True, target_modules: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None)
```

[Источник](https://github.com/huggingface/peft/blob/main/src/peft/tuners/road/config.py#L28)

**Параметры:**

variant (Union[`RoadVariant`, `str`]) : Вариант модели Road, который следует использовать. Допустимые значения: road_1, road_2 или road_4. Дополнительные сведения см. в статье. - road_1: Использует одинаковый масштаб и угол для всех пар элементов. Этот вариант содержит наименьшее количество параметров: для каждого слоя, к которому применяется RoAd, он хранит число параметров, равное размеру выходного скрытого слоя. - road_2: Использует одинаковый масштаб и угол для каждого элемента. Этот вариант содержит в 2 раза больше параметров, чем road_1. - road_4: Использует два различных масштаба и угла для каждого элемента. Этот вариант содержит в 4 раза больше параметров, чем road_1.

group_size (`int`) : Group size определяет, как элементы группируются в 2D-векторы для вращения. Внутри каждой группы элемент 0 связывается с элементом group_size/2, затем элемент 1 связывается с элементом group_size/2+1 и так далее. Это не влияет на производительность модели, поскольку элементы не упорядочены, однако это может немного влиять на скорость инференса, например, при использовании VLLM. Для наилучшей скорости рекомендуется размер группы не менее 32 или 64 (значение по умолчанию). Обратите внимание, что скрытый размер модели (или скрытый размер на каждый раздел при использовании тензорного параллелизма) должен делиться на group_size, поэтому для очень маленьких моделей может потребоваться уменьшить этот параметр.

init_weights (`bool`) : Выполнять ли инициализацию весов RoAd.

target_modules (`Optional[Union[List[str], str]]`) : Имена модулей, к которым следует применить адаптер. Если это значение указано, будут заменены только модули с указанными именами. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк. Если это значение указано как 'all-linear', выбираются все линейные/Conv1D модули (если модель является PreTrainedModel, выходной слой исключается). Если это значение не указано, модули выбираются в соответствии с архитектурой модели. Если архитектура неизвестна, будет выброшена ошибка — в этом случае следует указать целевые модули вручную.

modules_to_save (`List[str]`) : Список модулей, кроме слоёв Road, которые должны быть установлены как обучаемые и сохранены в итоговый контрольный пункт.

Это класс конфигурации для хранения настроек модели [RoadModel](/docs/peft/main/ru/package_reference/road#peft.RoadModel). Адаптер RoAd предложен в https://huggingface.co/papers/2409.00119.

## RoadModel[[peft.RoadModel]]

#### peft.RoadModel[[peft.RoadModel]]

```python
peft.RoadModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Источник](https://github.com/huggingface/peft/blob/main/src/peft/tuners/road/model.py#L39)

