Transformers documentation

Đào tạo không có padding

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Đào tạo không có padding

Huấn luyện không padding (còn gọi là packing) nối nhiều mẫu thành một chuỗi duy nhất thay vì padding từng mẫu đến một độ dài cố định. Mô hình cần biết nơi mỗi mẫu kết thúc để (linear) attention không trộn lẫn các token giữa các mẫu.

Có hai cách để cung cấp các ranh giới đó.

  • Hãy chuẩn bị trước bằng một bộ dữ liệu collator.
  • Suy ra chúng từ position_ids khi chạy.

Cách tiếp cận được khuyến nghị là data collator. Hướng dẫn này giải thích lý do và nêu rõ các lưu ý của đường dẫn position_ids.

Việc suy luận ranh giới từ position_ids không phải là cách tiếp cận được khuyến khích và chỉ hoạt động với các mô hình chú ý tiêu chuẩn. Các mô hình chú ý tuyến tính như Qwen3-Next và Qwen3.5 (Gated DeltaNet) cùng các mô hình dựa trên tích chập sẽ bỏ qua ranh giới position_ids và yêu cầu data collator. Xem Các mô hình chú ý tuyến tính và tích chập.

Chuẩn bị ranh giới bằng một bộ sắp xếp dữ liệu

Việc chuẩn bị trước các kwargs biên loại bỏ các vấn đề nêu trên và hoạt động giống nhau bất kể bạn có biên dịch hay không.

Sử dụng DataCollatorWithFlattening để làm phẳng mỗi batch và trả về thông tin ranh giới. Đặt return_flash_attn_kwargs=True để collator tính toán trước các ranh giới thay vì để chúng được suy ra từ position_ids lúc runtime. Truyền nó vào Trainer và không thêm attention_mask, vì batch đã làm phẳng mã hóa sẵn các ranh giới và mask sẽ xung đột với bố cục đã đóng gói.

Padding-free dựa vào một triển khai FlashAttention cho các mô hình chú ý tiêu chuẩn, vì chỉ các kernel của FlashAttention mới cung cấp đường dẫn độ dài biến đổi mà một batch đã được làm phẳng cần.

Cài đặt thư viện kernels, giúp tải về kernel FlashAttention đã được biên dịch sẵn mà không cần biên dịch cục bộ. Thư viện này cũng hoạt động như một phương án dự phòng khi flash-attn chưa được cài đặt cục bộ. Tải mô hình với attn_implementation="kernels-community/flash-attn2".

import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorWithFlattening, Trainer, TrainingArguments

model_id = "meta-llama/Llama-3.2-1B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

dataset = load_dataset("Salesforce/wikitext", "wikitext-2-raw-v1", split="train")
dataset = dataset.map(
    lambda example: tokenizer(example["text"], truncation=True, max_length=512),
    remove_columns=dataset.column_names,
)

# return_flash_attn_kwargs=True precomputes the sequence boundaries
data_collator = DataCollatorWithFlattening(return_flash_attn_kwargs=True)

trainer = Trainer(
    model=model,
    args=TrainingArguments(output_dir="padding-free-llama"),
    train_dataset=dataset,
    data_collator=data_collator,
)
trainer.train()

Suy luận ranh giới từ position_ids

FlashAttention có thể phát hiện các lô không có padding chỉ từ position_ids và vẫn được giữ lại để đảm bảo tính tương thích ngược, vì các framework hạ nguồn như TRL phụ thuộc vào nó.

Việc dựa vào position_ids có hai vấn đề.

  • Việc phát hiện các chuỗi được đóng gói từ position_ids là một kiểm tra động, phụ thuộc vào dữ liệu. Cách này hoạt động mà không cần biên dịch, nhưng dưới torch.compile nó gây ra các điểm ngắt đồ thị. Hiện tại, kiểm tra này bị giới hạn ở batch_size == 1 để hạn chế tần suất thực thi, vì kích thước batch thực tế thường lớn hơn.
  • Compiled FlashAttention buộc một số kwargs phải là các int Python thuần. Việc suy luận chúng từ position_ids tại thời điểm chạy sẽ gây ra các đồng bộ hóa từ thiết bị sang host, và trên các phiên bản PyTorch cũ hơn, còn gây thêm một điểm ngắt đồ thị do quá trình chuyển đổi từ tensor sang int.

Mô hình chú ý tuyến tính và tích chập

Gated DeltaNet (GDN), các lớp linear-attention khác và convolution nhân quả không có đường dẫn chỉ dùng position_ids, theo thiết kế. Chuẩn bị dữ liệu bằng collator là tùy chọn duy nhất được hỗ trợ cho các mô hình này.

Đừng chỉ dựa vào position_ids cho các mô hình GDN, linear-attention hoặc causal convolution. Hãy chuẩn bị các kwargs ranh giới, bao gồm seq_idx, bằng data collator.

Đối với các mô hình này, hãy đặt cả return_flash_attn_kwargs=True và return_seq_idx=True.

from transformers import DataCollatorWithFlattening

data_collator = DataCollatorWithFlattening(
    return_flash_attn_kwargs=True,
    return_seq_idx=True,
)

Các gói kernel cụ thể phụ thuộc vào cài đặt gốc của mô hình. Các mô hình Gated DeltaNet như Qwen3-Next và Qwen3.5 sử dụng flash-linear-attention, còn các mô hình dựa trên Mamba như Bamba sử dụng mamba-ssm. Cả hai đều dựa vào causal-conv1d cho phép tích chập. Nếu thiếu các kernel phù hợp, mô hình sẽ chuyển sang các cài đặt tham chiếu, bỏ qua các kwargs boundary và trộn lẫn các token giữa các mẫu.

Nhiều kernel trong số này cũng có sẵn thông qua thư viện kernels, có thể tải về bản build tương thích cho bạn. flash-linear-attention thường vẫn cần cài đặt trực tiếp.

Khi các kwargs biên bị thiếu, các kernel sẽ âm thầm coi toàn bộ batch là một chuỗi duy nhất. Không có lỗi hay cảnh báo nào được phát sinh, vì một kiểm tra thời gian chạy sẽ thêm một nhánh phụ thuộc vào dữ liệu, gây xung đột với torch.compile.

Các bước tiếp theo

Update on GitHub