Transformers documentation
Đào tạo không có padding
Đào tạo không có padding
Huấn luyện không padding (còn gọi là packing) nối nhiều mẫu thành một chuỗi duy nhất thay vì padding từng mẫu đến một độ dài cố định. Mô hình cần biết nơi mỗi mẫu kết thúc để (linear) attention không trộn lẫn các token giữa các mẫu.
Có hai cách để cung cấp các ranh giới đó.
- Hãy chuẩn bị trước bằng một bộ dữ liệu collator.
- Suy ra chúng từ
position_idskhi chạy.
Cách tiếp cận được khuyến nghị là data collator. Hướng dẫn này giải thích lý do và nêu rõ các lưu ý của đường dẫn position_ids.
Việc suy luận ranh giới từ
position_idskhông phải là cách tiếp cận được khuyến khích và chỉ hoạt động với các mô hình chú ý tiêu chuẩn. Các mô hình chú ý tuyến tính như Qwen3-Next và Qwen3.5 (Gated DeltaNet) cùng các mô hình dựa trên tích chập sẽ bỏ qua ranh giớiposition_idsvà yêu cầu data collator. Xem Các mô hình chú ý tuyến tính và tích chập.
Chuẩn bị ranh giới bằng một bộ sắp xếp dữ liệu
Việc chuẩn bị trước các kwargs biên loại bỏ các vấn đề nêu trên và hoạt động giống nhau bất kể bạn có biên dịch hay không.
Sử dụng DataCollatorWithFlattening để làm phẳng mỗi batch và trả về thông tin ranh giới. Đặt return_flash_attn_kwargs=True để collator tính toán trước các ranh giới thay vì để chúng được suy ra từ position_ids lúc runtime. Truyền nó vào Trainer và không thêm attention_mask, vì batch đã làm phẳng mã hóa sẵn các ranh giới và mask sẽ xung đột với bố cục đã đóng gói.
Padding-free dựa vào một triển khai FlashAttention cho các mô hình chú ý tiêu chuẩn, vì chỉ các kernel của FlashAttention mới cung cấp đường dẫn độ dài biến đổi mà một batch đã được làm phẳng cần.
Cài đặt thư viện kernels, giúp tải về kernel FlashAttention đã được biên dịch sẵn mà không cần biên dịch cục bộ. Thư viện này cũng hoạt động như một phương án dự phòng khi flash-attn chưa được cài đặt cục bộ. Tải mô hình với
attn_implementation="kernels-community/flash-attn2".
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments
model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
attn_implementation="flash_attention_2",
device_map="auto",
)
dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
lambda example: tokenizer(example["text"], truncation=True, max_length=512),
remove_columns=dataset.column_names,
)
# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)
trainer = Trainer(
model=model,
args=TrainingArguments(output_dir="padding-free-llama"),
train_dataset=dataset,
data_collator=data_collator,
)
trainer.train()Suy luận ranh giới từ position_ids
FlashAttention có thể phát hiện các lô không có padding chỉ từ position_ids và vẫn được giữ lại để đảm bảo tính tương thích ngược, vì các framework hạ nguồn như TRL phụ thuộc vào nó.
Việc dựa vào position_ids có hai vấn đề.
- Việc phát hiện các chuỗi được đóng gói từ
position_idslà một kiểm tra động, phụ thuộc vào dữ liệu. Cách này hoạt động mà không cần biên dịch, nhưng dướitorch.compilenó gây ra các điểm ngắt đồ thị. Hiện tại, kiểm tra này bị giới hạn ởbatch_size == 1để hạn chế tần suất thực thi, vì kích thước batch thực tế thường lớn hơn. - Compiled FlashAttention buộc một số kwargs phải là các
intPython thuần. Việc suy luận chúng từposition_idstại thời điểm chạy sẽ gây ra các đồng bộ hóa từ thiết bị sang host, và trên các phiên bản PyTorch cũ hơn, còn gây thêm một điểm ngắt đồ thị do quá trình chuyển đổi từ tensor sang int.
Mô hình chú ý tuyến tính và tích chập
Gated DeltaNet (GDN), các lớp linear-attention khác và convolution nhân quả không có đường dẫn chỉ dùng position_ids, theo thiết kế. Chuẩn bị dữ liệu bằng collator là tùy chọn duy nhất được hỗ trợ cho các mô hình này.
Đừng chỉ dựa vào
position_idscho các mô hình GDN, linear-attention hoặc causal convolution. Hãy chuẩn bị các kwargs ranh giới, bao gồmseq_idx, bằng data collator.
Đối với các mô hình này, hãy đặt cả return_flash_attn_kwargs=True và return_seq_idx=True.
from transformers import DataCollatorWithFlattening
data_collator = DataCollatorWithFlattening(
return_flash_attn_kwargs=True,
return_seq_idx=True,
)Các gói kernel cụ thể phụ thuộc vào cài đặt gốc của mô hình. Các mô hình Gated DeltaNet như Qwen3-Next và Qwen3.5 sử dụng flash-linear-attention, còn các mô hình dựa trên Mamba như Bamba sử dụng mamba-ssm. Cả hai đều dựa vào causal-conv1d cho phép tích chập. Nếu thiếu các kernel phù hợp, mô hình sẽ chuyển sang các cài đặt tham chiếu, bỏ qua các kwargs boundary và trộn lẫn các token giữa các mẫu.
Nhiều kernel trong số này cũng có sẵn thông qua thư viện kernels, có thể tải về bản build tương thích cho bạn. flash-linear-attention thường vẫn cần cài đặt trực tiếp.
Khi các kwargs biên bị thiếu, các kernel sẽ âm thầm coi toàn bộ batch là một chuỗi duy nhất. Không có lỗi hay cảnh báo nào được phát sinh, vì một kiểm tra thời gian chạy sẽ thêm một nhánh phụ thuộc vào dữ liệu, gây xung đột với torch.compile.
Các bước tiếp theo
- Xem hướng dẫn về data collators để biết thêm về các collator khác.
- Xem tài liệu tham khảo API của DataCollatorWithFlattening để biết đầy đủ các đối số.
- Đọc Cải thiện hiệu suất huấn luyện Hugging Face thông qua Packing với Flash Attention để xem các benchmark và hướng dẫn chi tiết hơn.