PEFT documentation
Многозадачная настройка промптов
Многозадачная настройка промптов
Multitask prompt tuning декомпозирует мягкие промпты каждой задачи в единый обучаемый переносимый промпт вместо отдельного промпта для каждой задачи. Единый обучаемый промпт может адаптироваться для каждой задачи с помощью мультипликативных обновлений низкого ранга.
Аннотация из статьи:
Подход prompt tuning, при котором базовая предобученная модель адаптируется к каждой задаче с помощью условий на обученные векторы промптов, стал многообещающим методом для эффективной адаптации больших языковых моделей к множеству задач. Однако существующие методы обычно обучают мягкие векторы промптов с нуля, и неясно, как использовать богатые знания между задачами с помощью векторов промптов в условиях обучения на нескольких задачах. Мы предлагаем multitask prompt tuning (MPT), который сначала обучает единый переносимый промпт, дистиллируя знания из нескольких исходных промптов, специфичных для задач. Затем мы обучаем мультипликативные обновления низкого ранга для этого общего промпта, чтобы эффективно адаптировать его к каждой целевой задаче. Обширные эксперименты на 23 наборах данных NLP показывают, что предложенный нами подход превосходит передовые методы, включая baseline полного дообучения в некоторых случаях, несмотря на то, что настраивается лишь 0,035% параметров, специфичных для задач.

MPT состоит из двух этапов:
- source training — для каждой задачи её мягкий промпт декомпозируется в векторы, специфичные для задачи. Векторы, специфичные для задачи, перемножаются между собой, чтобы сформировать другую матрицу W, а между W и общей матрицей промпта P используется произведение Хадамарда для генерации матрицы промпта, специфичной для задачи. Промпты, специфичные для задачи, дистиллируются в единую матрицу промпта, которая используется всеми задачами. Этот промпт обучается с помощью обучения на множестве задач.
- target adaptation — для адаптации единого промпта под целевую задачу целевой промпт инициализируется и выражается как произведение Хадамада общей матрицы промпта и матрицы промпта низкого ранга, специфичной для задачи.

Обзор бенчмарков
Пока для этого метода нет бенчмарка. Вы можете внести свой вклад, предоставив конфигурацию эксперимента, но сначала создайте задачу здесь.
API
MultitaskPromptTuningConfig
класс peft.MultitaskPromptTuningConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneprompt_tuning_init: peft.tuners.multitask_prompt_tuning.config.MultitaskPromptTuningInit | str = <MultitaskPromptTuningInit.RANDOM: 'RANDOM'>prompt_tuning_init_text: str | None = Nonetokenizer_name_or_path: str | None = Nonetokenizer_kwargs: dict | None = Noneprompt_tuning_init_state_dict_path: str | None = Noneprompt_tuning_init_task: int | None = 0num_ranks: int | None = 1num_tasks: int | None = 1 )
MultitaskPromptEmbedding
класс peft.tuners.MultitaskPromptEmbedding
< source >( config: MultitaskPromptTuningConfigword_embeddings )