Transformers documentation
Lượng bộ nhớ GPU sử dụng
Lượng bộ nhớ GPU sử dụng
Việc huấn luyện một mô hình 4B tham số ở độ chính xác hỗn hợp với kích thước lô là 16 đòi hỏi khoảng 85GB bộ nhớ GPU. Việc hiểu rõ những gì chiếm dụng bộ nhớ GPU và các phép toán tính toán diễn ra trong quá trình huấn luyện sẽ giúp bạn xác định nơi có thể giảm mức sử dụng bộ nhớ.
┌─────────────────────────── TENSORS ──────────────────────────────────┐ │ │ │ MODEL WEIGHTS ████████████████████████ 6 bytes/param │ │ (mixed precision) ├── fp16 copy (2B) — forward/backward pass │ │ └── fp32 copy (4B) — stable weight updates │ │ │ │ OPTIMIZER STATES ████████████████████████████████ 8 bytes/param │ │ (Adam) ├── fp32 momentum (4B) │ │ └── fp32 variance (4B) │ │ ↳ quantized Adam (bitsandbytes) → 2 bytes/param │ │ │ │ GRADIENTS ████████████████ 4 bytes/param (fp32) │ │ └── computed in backward pass, per parameter │ │ │ │ ACTIVATIONS ████ varies — batch × seq_len × depth × hidden │ │ (forward cache) └── cached for backward; can OOM even if model │ │ fits (long seqs / large batches) │ │ bf16/fp16 if using mixed precision │ │ │ │ TEMPORARY TENSORS ▓ short-lived (softmax, matmul scratch) │ │ └── peak spikes can cause OOM │ │ │ │ OTHER OVERHEAD ▒ beam search caches, large embedding tables │ └──────────────────────────────────────────────────────────────────────┘
Bộ nhớ GPU lưu trữ hai loại đối tượng: các tensor được lưu trữ và các phép toán xử lý chúng.
Tensors
Quá trình huấn luyện yêu cầu và tạo ra nhiều loại tensor cần được lưu trữ.
Trọng số mô hình được lưu trên GPU. Trong huấn luyện độ chính xác hỗn hợp, cần hai bản sao của trọng số - một bản ở fp16 cho bước tiến/bước lùi và một bản ở fp32 làm “bản sao chính” để cập nhật trọng số ổn định. Điều này tương đương với 6 byte cho mỗi tham số.
Các trạng thái optimizer như Adam lưu trữ hai tensor bổ sung cho mỗi tham số, đó là momentum và variance, cả hai đều ở fp32. Điều này tương đương với 8 byte bổ sung cho mỗi tham số.
Bạn có thể sử dụng một optimizer khác, chẳng hạn như phiên bản lượng tử hóa của Adam từ bitsandbytes, để nén nó xuống còn 2 byte cho mỗi tham số.
Các tensor gradient được tính cho từng tham số trong bước truyền ngược. Chúng được giữ ở fp32, tức là 4 byte cho mỗi tham số.
Các kích hoạt tiến (forward activations) được tính trong bước tiến (forward pass) và được lưu đệm (cache) để bước lùi (backward pass) tính toán các gradient. Kích thước của các kích hoạt này thay đổi theo kích thước lô (batch size), độ dài chuỗi (sequence length), độ sâu mô hình và kích thước ẩn (hidden size). Đây là lý do tại sao kích thước lô hoặc độ dài chuỗi có thể làm cạn kiệt bộ nhớ GPU ngay cả khi bản thân mô hình vẫn nằm vừa trong bộ nhớ.
Các tensor tạm thời được tạo ra bởi các phép toán như softmax và nhân ma trận, sau đó được giải phóng sau mỗi phép toán. Nếu đỉnh của một phép toán đơn lẻ rất lớn, nó có thể tạo ra một đỉnh tạm thời khiến bạn hết bộ nhớ.
Một số tính năng tạo thêm chi phí riêng. Ví dụ, beam search duy trì nhiều đầu ra, và bảng nhúng cho các bảng từ vựng lớn có thể rất lớn.
Vận hành
Có ba loại chính của các thao tác huấn luyện.
Các phép nhân ma trận (matmuls) là loại toán tử chính, bao gồm các lớp tuyến tính, các phép chiếu QKV, các phép chiếu đầu ra của attention và các lớp FFN. Các thành phần chiếm dụng bộ nhớ chính là các ma trận điểm số attention, có kích thước tăng theo bình phương của độ dài chuỗi. Đây là lý do tại sao các chuỗi dài lại tốn kém và tại sao có nhiều backend attention khác nhau để tránh việc vật chất hóa toàn bộ ma trận trong bộ nhớ.
Các phép toán giảm (reduction), chẳng hạn như softmax và layer norm, đọc toàn bộ tensor, tính một thống kê trên một chiều, sau đó đọc lại tensor để áp dụng kết quả. Điều này đòi hỏi truy cập bộ nhớ nhiều lần cho mỗi phép toán.
Các phép toán theo từng phần tử, chẳng hạn như activation và dropout, áp dụng một hàm lên từng phần tử một cách độc lập và mức sử dụng bộ nhớ của chúng tỷ lệ thuận với kích thước tensor.
Các bước tiếp theo
- Xem hướng dẫn Gradient accumulation để tìm hiểu cách mô phỏng huấn luyện với kích thước batch hiệu dụng lớn hơn mà không làm tràn bộ nhớ GPU.
- Xem hướng dẫn Gradient checkpointing để tìm hiểu cách giảm mức sử dụng bộ nhớ bằng cách chỉ lưu trữ một số kích hoạt trung gian.
- Xem hướng dẫn Đào tạo độ chính xác hỗn hợp để tìm hiểu cách sử dụng các kiểu dữ liệu độ chính xác thấp hơn để giảm bộ nhớ và tăng tốc độ đào tạo.
- Xem hướng dẫn Kernels để tìm hiểu cách tăng tốc huấn luyện bằng các kernel hợp nhất tùy chỉnh.