PEFT documentation

Prompt Tuning con contexto: Avanzando en el aprendizaje en contexto con métodos adversarios

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Prompt Tuning con contexto: Avanzando en el aprendizaje en contexto con métodos adversarios

CPT optimizing only specific token embeddings while keeping the rest of the model frozen (image source).

Context-Aware Prompt Tuning (CPT) está diseñado para mejorar la clasificación few-shot refinando únicamente los embeddings de contexto. Este enfoque combina ideas del In-Context Learning (ICL), Prompt Tuning (PT) y la optimización adversaria, centrándose en hacer que la adaptación del modelo sea eficiente en parámetros y efectiva. En CPT, solo se optimizan los embeddings de tokens de contexto específicos, mientras que el resto del modelo permanece congelado. Para evitar el sobreajuste y mantener la estabilidad, CPT utiliza perturbaciones controladas para limitar los cambios permitidos en los embeddings de contexto dentro de un rango definido. Además, para abordar el fenómeno del sesgo de recencia, donde los ejemplos cercanos al final del contexto tienden a priorizarse sobre los anteriores, CPT aplica un factor de pérdida de decaimiento.

El resumen del artículo es:

Los modelos de lenguaje de gran escala (LLMs) pueden realizar aprendizaje con pocos ejemplos (few-shot learning) mediante enfoques basados en optimización o aprendizaje en contexto (In-Context Learning, ICL). Los métodos basados en optimización suelen sufrir de sobreajuste, ya que requieren actualizar un gran número de parámetros con datos limitados. En contraste, el ICL evita el sobreajuste, pero generalmente ofrece un rendimiento inferior al de los métodos basados en optimización y es muy sensible a la selección, el orden y el formato de los ejemplos de demostración. Para superar estos desafíos, presentamos el Context-aware Prompt Tuning (CPT), un método inspirado en el ICL, el Prompt Tuning (PT) y los ataques adversarios. El CPT se basa en la estrategia del ICL de concatenar ejemplos antes de la entrada, extendiéndola mediante la incorporación de un aprendizaje similar al PT para refinar la incrustación (embedding) del contexto a través de la optimización iterativa, extrayendo información más profunda de los ejemplos de entrenamiento. Nuestro enfoque modifica cuidadosamente tokens de contexto específicos, considerando la estructura única de los ejemplos dentro del contexto. Además de actualizar el contexto con una optimización similar al PT, el CPT se inspira en los ataques adversarios, ajustando la entrada en función de las etiquetas presentes en el contexto, al tiempo que preserva el valor inherente de los datos proporcionados por el usuario. Para garantizar la robustez y la estabilidad durante la optimización, empleamos un algoritmo de descenso de gradiente proyectado, que restringe las incrustaciones de los tokens para que se mantengan cercanas a sus valores originales y protege la calidad del contexto. Nuestro método ha demostrado una precisión superior en múltiples tareas de clasificación utilizando diversos modelos LLM, superando a las líneas base existentes y abordando de manera efectiva el desafío del sobreajuste en el aprendizaje con pocos ejemplos.

Echa un vistazo a Ejemplo para una guía paso a paso sobre cómo entrenar un modelo con CPT.

Principio de funcionamiento

Context-aware Prompt Tuning es similar a Prompt Tuning en que puedes tomar un prompt de texto a tu elección, pero hacer que los tokens de este prompt, y solo de este prompt, sean entrenables gracias a tener una segunda token embedding sobre los tokens del prompt únicamente. Cada vez que consultas un modelo CPT, tu prompt “suave” se antepone a la embedding de tu entrada normal. CPT difiere de Prompt Tuning en que tu prompt suave ahora puede ser contextualizado marcando partes específicas para que NO se entrenen. La matriz de token embedding específica de CPT consiste en una embedding estática inicializada desde la matriz de embedding del modelo base y valores delta específicos de token que son aprendibles.

CPT es útil cuando se dispone de un prompt con instrucciones junto con ejemplos y valores de referencia/etiquetas. Las instrucciones pueden ser subóptimas y, por lo tanto, beneficiarse de su optimización durante el entrenamiento (como en el prompt tuning), pero los ejemplos/etiquetas incluidos en el prompt no deben cambiar. Esto se puede garantizar definiendo explícitamente dónde termina el prompting y dónde comienzan los ejemplos. CPT también añade una pérdida de tokens a la pérdida estándar de predicción del siguiente token de su modelo para los ejemplos del prompt, con el fin de hacer un uso óptimo de los ejemplos proporcionados.

CPT utiliza cinco ids de tipo diferentes para marcar las distintas secciones del prompt:

  • 0: separador: se ignorará por completo, útil para tokens de inicio/fin de oración
  • 1: marcador de entrada: tokens que describen el prompt y que marcan la plantilla completa del lado de la entrada, incluida la información adicional
  • 2: consulta de entrada: tokens que describen la entrada del usuario de un ejemplo
  • 3: marcador de salida: tokens que describen el inicio de la salida esperada de un ejemplo
  • 4: label: tokens que pertenecen a la etiqueta del ejemplo

Esto es muy abstracto, así que aquí hay un ejemplo de un prompt de CPT y los identificadores de tipo correspondientes. Asumimos que cada palabra = 1 token por simplicidad:

prompt_text = "Example 1: Input: 1+1 Answer: 2 Example 2: 1+3 Answer: 4"

token_ids = [15,  2,      11, 9, 1,    9, 11, 3, 11, 8,     9, 4, 2,       4, 9, 11, 3, 6, 8,     9,  10]
#            BOS, Example 1   :  Input :  1   +  1   Answer :  2  Example  2  :  1   +  3  Answer :   4
type_ids  = [0,   1,      1,  1, 1,    1, 2,  2, 2,  3,     3, 4, 5,       5, 5, 6,  6, 6, 7,     7,  8]
                                                                # 1,       1, 1, 2,  2, 2, 3,     3,  4

Los token_ids son su prompt codificado por el tokenizador del modelo base y corresponden a ~CPTConfig.cpt_token_ids. Los type_ids son los ids de tipo de token del prompt, que definen las diferentes secciones del prompt y corresponden a ~CPTConfig.cpt_tokens_type_mask.

Los ids individuales tienen diferentes efectos en el proceso de entrenamiento:

  • 0: se ignorará por completo, no contribuye a la pérdida y estos tokens no se entrenan, útil para tokens que están solo por razones técnicas y de lo contrario ampliarían inútilmente el espacio de parámetros (p. ej., tokens EOS)
  • 1 y 3: estos tokens se consideran para el formato y la norma máxima de su delta de embedding se controla mediante opt_projection_format_epsilon(). La norma controla la magnitud máxima en la que los delta embeddings aprendidos para este tipo pueden apuntar. Normas más altas implican un mayor potencial de cambio en el significado.
  • 2: estos tokens se consideran para la entrada de un ejemplo y la norma máxima de su delta de embedding se controla mediante opt_projection_epsilon(). La norma controla la magnitud máxima en la que los delta de embeddings aprendidos para este tipo pueden apuntar. Normas más altas implican un mayor potencial de cambio en el significado.
  • 4: Los tokens de etiqueta del prompt se añaden como objetivos adicionales de predicción del siguiente token a la pérdida estándar sobre los datos de entrenamiento; todos los demás tokens de soft-prompt se excluyen de la pérdida. Las incrustaciones de diferencia de los tokens de etiqueta nunca se modifican para mantener intacta la semántica de las etiquetas.

Es posible que haya notado que los números en type_ids del segundo ejemplo están desplazados en 4. CPT aplica una ponderación exponencial a la pérdida de los ejemplos que proporciona en el prompt, siendo el último ejemplo el menos decaído y la pérdida del primer ejemplo la más decaída. Esto otorga más peso a los ejemplos más cercanos a la consulta de entrada real y se controla mediante opt_loss_decay_factor() cuando opt_weighted_loss_type() está establecido en "decay". Al desplazar los ejemplos en 4, podemos enumerar los distintos ejemplos para que la pérdida pueda asignar ponderaciones de decaimiento diferentes a cada uno.

Tenga en cuenta que cpt_tokens_type_mask solo describe el soft prompt en sí mismo. Durante el entrenamiento, pase además un tensor input_type_mask junto con cada lote, asignando ids de tipo a los tokens de su entrada real (usando los ids 0-4 como se indicó anteriormente, marcando los tokens de relleno o de fin de oración como 0). CPT desplaza automáticamente estos ids por el número de ejemplos en su prompt, por lo que no necesita desplazarlos usted mismo. Esto equivale a añadir la entrada al final de su lista de ejemplos en el prompt. Tenga en cuenta que los ids se interpretan módulo 4: desplazarlos por un múltiplo de 4 es inofensivo, pero cualquier otro desplazamiento cambia silenciosamente qué tokens contribuyen a la pérdida. Si no se pasa input_type_mask, CPT recurre a calcular la pérdida sobre toda la secuencia de entrada, es decir, asumiendo el tipo 4 para todos los tokens de entrada.

Resumen de las pruebas de rendimiento

Aún no existe un benchmark para este método. Siéntase libre de contribuir con una configuración de experimento, pero asegúrese de crear primero un issue aquí.

API

CPTConfig

clase peft.CPTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Nonecpt_token_ids: list[int] | None = Nonecpt_mask: list[int] | None = Nonecpt_tokens_type_mask: list[int] | None = Noneopt_weighted_loss_type: typing.Literal['none', 'decay'] | None = 'none'opt_loss_decay_factor: float | None = 1.0opt_projection_epsilon: float | None = 0.1opt_projection_format_epsilon: float | None = 0.1tokenizer_name_or_path: str | None = None )

Clase de configuración CPT que extiende PeftConfig para Context-aware Prompt Tuning (CPT).

Esta clase introduce parámetros adicionales necesarios para CPT, como:

  • Máscaras de tipos de token
  • Inicialización del ajuste de prompts
  • Ponderación de la pérdida
  • Configuración de proyección

Para más detalles, consulte el artículo: https://huggingface.co/papers/2410.17222

CPTEmbedding

clase peft.CPTEmbedding

< >

( configword_embeddings )

CPTEmbedding es una capa de embedding personalizada diseñada para Context-aware Prompt Tuning (CPT) en PEFT. Inicializa los embeddings, aplica proyecciones específicas del prompt y calcula la pérdida usando máscaras de etiquetas.

calculate_loss

< >

( base_model_outputlabelscpt_type_maskconfig ) → ModelOutput

Parámetros

  • base_model_output (ModelOutput) — Salida del modelo base que contiene los logits.
  • labels (torch.Tensor) — Etiquetas correctas para los tokens de entrada.
  • cpt_type_mask (torch.Tensor) — Máscara de tipo de token utilizada para filtrar los términos de pérdida válidos.
  • config (Namespace) — Configuration object containing loss-related hyperparameters.

Devuelve

ModelOutput

La salida del modelo base con la pérdida calculada.

Calcula la pérdida para los modelos CPT con decaimiento exponencial opcional.

En lugar de calcular una pérdida de entropía cruzada media uniforme en toda la secuencia, esta función aísla los tokens de etiqueta para cada demostración distinta utilizando el espacio de nombres modulo-4 codificado en cpt_type_mask. Con config.opt_weighted_loss_type="decay", aplica un ponderado con decaimiento exponencial (config.opt_loss_decay_factor) a lo largo de las demostraciones, priorizando los ejemplos posteriores (y la predicción de la consulta final) sobre las demostraciones anteriores.

Lógica de agrupación de demostraciones:

  • Los tokens donde (cpt_type_mask > 0) & (cpt_type_mask % 4 == 0) representan las etiquetas de referencia.
  • El índice de demostración k es el rango de su ID de tipo de etiqueta entre los IDs de etiqueta distintos presentes después del desplazamiento de token siguiente, en orden ascendente (índice 0).
  • La pérdida de entropía cruzada se calcula para cada token de etiqueta válido.
  • Dado K identificadores de etiqueta distintos y el factor de decaimiento gamma (opt_loss_decay_factor), el peso para la demostración k (donde 0 <= k < K) se calcula como: weight_k = gamma ** (K - 1 - k) La pérdida final es la suma de las pérdidas de tokens ponderadas dividida por el número de etiquetas válidas.

Ejemplo: Supongamos que una secuencia contiene 2 demostraciones de prompt seguidas de 1 consulta de usuario (K = 3), cada una con una etiqueta válida tras el desplazamiento al siguiente token:

  • Demo 1 (Prefix Demo 1): Los tokens de etiqueta tienen tipo 4 -> Entropía cruzada L_0 = 2.0
  • Demo 2 (Prefix Demo 2): Los tokens de etiqueta tienen tipo 8 -> Entropía cruzada L_1 = 1.6
  • Demo 3 (Consulta objetivo): Los tokens de etiqueta tienen el tipo 12 -> Entropía cruzada L_2 = 1.0

Con opt_weighted_loss_type="decay" y opt_loss_decay_factor = 0.5:

  • Peso de la demo 1: 0.5 (3 - 1 - 0) = 0.5 2 = 0.25
  • Peso de la demo 2: 0.5 (3 - 1 - 1) = 0.5 1 = 0.50
  • Peso de la demo 3: 0.5 (3 - 1 - 2) = 0.5 0 = 1.00

Pérdida ponderada: loss = (0.25 2.0 + 0.50 1.6 + 1.00 * 1.0) / 3 = (0.5 + 0.8 + 1.0) / 3 = 2.3 / 3 = 0.7666…

forward

< >

( indices ) → torch.Tensor

Parámetros

  • indices (torch.Tensor) — Índices de los tokens que se van a incrustar.

Devuelve

torch.Tensor

Suma de los embeddings del prompt y los embeddings delta.

Calcula los embeddings del prompt y aplica ajustes delta.

get_projection

< >

( )

Aplica una proyección basada en epsilon a los embeddings delta para controlar su norma.

set_updated_tokens

< >

( )

Configura un hook de retropropagación para actualizar selectivamente los gradientes de los tokens según la máscara de tipo de token de CPT.

Update on GitHub