PEFT documentation
Tipos de PEFT
Comenzar
Guías
Configuraciones y modelosIntegraciones Entrenamiento eficiente en memoriaFusión de modelosCuantizaciónModelos personalizadosInyección de adaptadoresMezcla de métodos PEFTtorch.compileContribuir a PEFTSolución de problemasFormato de punto de control de PEFT
Entrenamiento distribuido
Métodos
Referencia de la API
Tipos de PEFT
PeftType incluye los adaptadores compatibles con PEFT, y TaskType incluye las tareas compatibles con PEFT.
PeftType
Clase Enum para los diferentes tipos de adaptadores en PEFT.
Tipos de PEFT admitidos:
- PROMPT_TUNING
- MULTITASK_PROMPT_TUNING
- P_TUNING
- PREFIX_TUNING
- LORA
- ADALORA
- BOFT
- ADAPTION_PROMPT
- IA3
- BEFT
- LOHA
- LOKR
- OFT
- XLORA
- POLY
- LN_TUNING
- VERA
- FROD
- FOURIERFT
- HRA
- BONE
- MISS
- RANDLORA
- SHIRA
- PACA
- C3A
- ROAD
- WAVEFT
- OSF
- DELORA
- GRALORA
- ADAMSS
- SHADOW
- DEFT
TaskType
Clase Enum para los diferentes tipos de tareas admitidas por PEFT.
Resumen de los tipos de tareas admitidos:
- SEQ_CLS: Clasificación de texto.
- SEQ_2_SEQ_LM: Modelado de lenguaje de secuencia a secuencia.
- CAUSAL_LM: Modelado de lenguaje causal.
- TOKEN_CLS: Clasificación de tokens.
- QUESTION_ANS: Respuesta a preguntas.
- FEATURE_EXTRACTION: Extracción de características. Proporciona los estados ocultos que pueden utilizarse como incrustaciones o características para tareas posteriores.