PEFT documentation
Entraînement efficace en mémoire
Entraînement efficace en mémoire
🤗 PEFT rend le fine-tuning efficace en termes de paramètres, mais pas automatiquement en termes de mémoire. Cette vue d’ensemble rassemble des conseils pour réduire la mémoire d’entraînement et des liens vers les guides détaillés.
Pensez toujours aux bases : choisir un modèle de base plus petit, une taille de lot plus petite ou une longueur de séquence plus courte pour réduire votre consommation mémoire.
Aperçu de la mémoire d'entraînement
Décortiquons la répartition de la mémoire d’entraînement afin de pouvoir raisonner sur les contre-mesures potentielles. Nous utiliserons comme exemple un grand modèle de langage entraîné avec l’optimiseur Adam. Lors d’un fine-tuning complet, les éléments suivants occupent de la mémoire :
- paramètres du modèle de base : la consommation mémoire dépend fortement du
dtypechoisi. Moins il y a de bits par paramètre (16 pour float16), moins cela occupe de mémoire. Un modèle de 1 Md de paramètres en float16 (16 bits/2 octets par paramètre) occupera environ1e9 × 2 byte = 1.863 GiBde mémoire. - tous les paramètres du modèle de base entraînable ×3 pour les gradients (1×) et les états de l'optimiseur Adam (2×), soit 5,59 Go de mémoire
- mémoire pour les activations intermédiaires entre les couches, difficiles à prédire mais dépendant principalement du dtype de calcul utilisé et de la longueur de séquence / taille du lot.
Un modèle de base plus petit ou l’utilisation d’un type de calcul plus réduit diminuera tous les points, tandis que l’utilisation de séquences plus courtes ou de lots plus petits affecte principalement la mémoire des gradients et des activations. L’emploi de méthodes PEFT réduira le nombre de paramètres entraînables et réduira donc considérablement à la fois les gradients et l’état de l’optimiseur, ce qui économisera beaucoup de mémoire.
Choisir la bonne méthode
Toutes les méthodes PEFT ne sont pas conçues de la même manière et certaines formulations sont plus faciles à implémenter de façon efficace en mémoire. Si vous êtes limité par la mémoire, il est judicieux de consulter la suite de comparaison des méthodes PEFT et de filtrer par utilisation maximale de la mémoire de l'accélérateur. L'utilisation moyenne de la mémoire de l'accélérateur peut être assez similaire d'une méthode à l'autre, mais toutes les méthodes n'évoluent pas de la même façon avec les activations et la longueur de la séquence ; certaines sont plus sujettes aux pics de mémoire que d'autres.
Envisagez d'utiliser des jetons entraînables lorsque vous ciblez de grandes couches, telles que les têtes de modélisation de langage ou les couches d'intégration, afin d'ajuster finement des jetons spécifiques.
Quantification
La quantification est l’un des meilleurs moyens de réduire la consommation mémoire du modèle de base et, selon la quantification utilisée, elle réduit également la mémoire d’activation. Comme les méthodes PEFT ne représentent qu’une petite partie du nombre total de paramètres, PEFT utilise par défaut une précision supérieure à celle du modèle de base. Cela peut aussi avoir pour effet que les adaptateurs atténuent une partie de la perte de qualité engendrée par les méthodes de quantification. Consultez le guide de quantification PEFT.
Compilation
Les modèles que nous entraînons sont composés d’opérations telles que des multiplications de matrices, des sommes et des affectations, où chaque opération produit un nouveau résultat et nécessite, par la suite, de l’espace mémoire. Si ces résultats intermédiaires ne sont pas nécessaires, nous pouvons fusionner ces opérations et économiser de la mémoire. Il s’agit là d’une seule parmi de nombreuses optimisations que torch.compile peut effectuer pour vous, alors consultez le guide PEFT torch.compile.
Gradient Checkpointing
Vous pouvez échanger de la mémoire contre du calcul en ne conservant que le gradient de chaque nième couche et en calculant le reste à la volée. Consultez la documentation sur le gradient checkpointing de Transformers pour en savoir plus.
Lorsque vous n'utilisez ni Diffusers ni Transformers, vous devrez peut-être implémenter votre propre logique de point de contrôle de gradient, en fonction du framework d'entraînement que vous utilisez.
Perte NLL par blocs
L'utilisation de NLLLoss est très courante lors de l'entraînement de modèles de langage (ou de tâches de classification). Vous allouez une matrice de taille batch × sequence × vocabulary. Avec des séquences ou des vocabulaires particulièrement longs, cela peut devenir coûteux très rapidement.
Lors de l'utilisation de TRL, vous pouvez soit utiliser l'intégration du noyau Liger, soit utiliser Chunked NLLLoss. Cette dernière divise la séquence en blocs de taille 256 afin de maintenir la consommation mémoire maximale constante.

Si la taille de bloc par défaut n'est pas optimale pour votre configuration, consultez le PR TRL original pour plus d'informations sur la manière d'ajuster la taille de bloc.
Update on GitHub