PEFT documentation
DeLoRA: Thích ứng hạng thấp tách rời
DeLoRA: Thích ứng hạng thấp tách rời
DeLoRA là một kỹ thuật tinh chỉnh hiệu quả về tham số, duy trì ngầm một ranh giới Frobenius so với trọng số được huấn luyện trước bằng cách chuẩn hóa và mở rộng các ma trận hạng thấp có thể học được. Điều này thực chất tách biệt việc học các hướng (thành phần BA) và độ lớn (thành phần ranh giới) của các bản cập nhật trọng số, tránh những thay đổi nghiêm trọng trong các trọng số đã thích ứng và tăng cường độ bền vững đối với các lựa chọn siêu tham số.
Lưu ý:
- sử dụng tốc độ học lớn hơn 10-100 lần so với các biến thể LoRA tiêu chuẩn (các giá trị điển hình từ 1e-3/1e-2/..)
- đảm bảo tham số biên ban đầu lambda không quá nhỏ (các giá trị điển hình khoảng 10/15/..). Việc đặt các lambda khác nhau cho các lớp khác nhau là khả thi
DeLoRA hiện có các ràng buộc sau:
- Chỉ hỗ trợ các lớp nn.Linear.
- Các lớp lượng tử hóa không được hỗ trợ.
Nếu các ràng buộc này không phù hợp với trường hợp sử dụng của bạn, hãy cân nhắc các phương pháp khác.
Tóm tắt từ bài báo là:
Các phương pháp FineTuning hiệu quả theo tham số (PEFT) gần đây đã trở nên phổ biến rộng rãi nhờ sự sẵn có của các mô hình được huấn luyện trước ở quy mô lớn. Những phương pháp này cho phép thích ứng nhanh với các tác vụ hạ nguồn với chi phí tính toán tối thiểu. Tuy nhiên, các phương pháp fine-tuning phổ biến như LoRA thể hiện độ bền vững hạn chế khi lựa chọn siêu tham số hoặc trong các chế độ huấn luyện kéo dài, khiến hiệu suất mặc định không đạt được mức tối ưu. Ngược lại, các phương pháp có giới hạn, chẳng hạn như ETHER, cung cấp độ bền vững cao hơn nhưng bị giới hạn ở các thích ứng hạng cực thấp và các phép biến đổi có cường độ cố định, làm giảm sức biểu đạt trong quá trình thích ứng. Trong công trình này, chúng tôi đề xuất Decoupled Low-rank Adaptation (DeLoRA), một phương pháp fine-tuning mới, thực hiện chuẩn hóa và điều chỉnh tỷ lệ cho các ma trận hạng thấp có thể học được. Bằng cách đặt giới hạn cho khoảng cách của phép biến đổi, DeLoRA tách biệt hiệu quả việc học góc khỏi cường độ thích ứng, tăng cường độ bền vững mà không làm suy giảm hiệu suất. Thông qua các đánh giá trên tạo hình ảnh theo chủ đề, hiểu ngôn ngữ tự nhiên và điều chỉnh theo hướng dẫn, chúng tôi cho thấy DeLoRA đạt hoặc vượt hiệu suất của các phương pháp PEFT cạnh tranh, đồng thời thể hiện độ bền vững mạnh mẽ hơn.
Tổng quan về benchmark
API
DeloraConfig
lớp peft.DeloraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8delora_lambda: int = 15module_dropout: float = 0.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: Literal['none', 'all', 'delora_only'] = 'none'init_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonerank_pattern: Optional[dict] = <factory>lambda_pattern: Optional[dict] = <factory>modules_to_save: Optional[list[str]] = None )
Tham số
- r (
int) — Bậc (rank) của bộ thích ứng DeLoRA. - delora_lambda (
int) — Giá trị ban đầu của biên của bộ thích ứng DeLoRA. Biến này đặt một giới hạn trên cho chuẩn Frobenius của sự thay đổi trọng số, tránh để mô hình tinh chỉnh lệch quá xa so với mô hình gốc. - module_dropout (
float) — Xác suất dropout để vô hiệu hóa các module DeLoRA trong quá trình huấn luyện. - target_modules (
Optional[Union[List[str], str]]) — Tên của các module cần áp dụng adapter. Nếu được chỉ định, chỉ các module có tên được chỉ định sẽ được thay thế. Khi truyền một chuỗi, một phép khớp regex sẽ được thực hiện. Khi truyền một danh sách các chuỗi, một phép khớp chính xác sẽ được thực hiện hoặc kiểm tra xem tên của module có kết thúc bằng bất kỳ chuỗi nào được truyền hay không. Nếu được chỉ định là ‘all-linear’, thì tất cả các module linear/Conv1D sẽ được chọn, ngoại trừ lớp output. Nếu không được chỉ định, các module sẽ được chọn theo kiến trúc của model. Nếu kiến trúc không được biết đến, một lỗi sẽ được ném ra — trong trường hợp này, bạn nên chỉ định các module đích một cách thủ công. - exclude_modules (
Optional[Union[List[str], str]]) — Tên của các module không áp dụng adapter. Khi truyền một chuỗi, một phép khớp regex sẽ được thực hiện. Khi truyền một danh sách các chuỗi, một phép khớp chính xác sẽ được thực hiện hoặc kiểm tra xem tên của module có kết thúc bằng bất kỳ chuỗi nào được truyền vào hay không. - bias (
str) — Loại bias cho DeLoRA. Có thể là ‘none’, ‘all’ hoặc ‘delora_only’. Nếu là ‘all’ hoặc ‘delora_only’, các bias tương ứng sẽ được cập nhật trong quá trình huấn luyện. Lưu ý rằng điều này có nghĩa là, ngay cả khi vô hiệu hóa các adapter, mô hình sẽ không tạo ra cùng đầu ra như mô hình gốc nếu không có thích ứng. - init_weights (
bool) — Có thực hiện khởi tạo trọng số của adapter hay không. NếuTrue(mặc định): A được khởi tạo bằng kaiming uniform, trong khi B được khởi tạo bằng số 0. NếuFalse: cả A và B đều được khởi tạo bằng kaiming uniform, ngay lập tức đóng góp một delta khác 0. Điều này thường không được khuyến khích cho việc sử dụng thông thường. - layers_to_transform (
Union[List[int], int]) — Các chỉ số lớp cần biến đổi. Nếu truyền vào một danh sách các số nguyên, adapter sẽ được áp dụng cho các chỉ số lớp được chỉ định trong danh sách này. Nếu truyền vào một số nguyên duy nhất, các phép biến đổi sẽ được áp dụng cho lớp tại chỉ số này. - layers_pattern (
Optional[Union[List[str], str]]) — Tên mẫu lớp, chỉ được sử dụng nếulayers_to_transformkhácNone. Giá trị này cần nhắm đếnnn.ModuleListcủa mô hình, thường được gọi là'layers'hoặc'h'. - rank_pattern (
dict) — Bản ánh xạ từ tên lớp hoặc biểu thức chính quy đến các rank khác với rank mặc định được chỉ định bởir. Ví dụ,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - lambda_pattern (
dict) — Bản ánh xạ từ tên lớp hoặc biểu thức chính quy đến các lambda khác với lambda mặc định được chỉ định bởidelora_lambda. Ví dụ,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - modules_to_save (
Optional[List[str]]) — Danh sách các module ngoài các lớp adapter cần được đặt là có thể huấn luyện và lưu trong checkpoint cuối cùng.
Đây là lớp cấu hình để lưu trữ cấu hình của một DeloraModel.
DeloraModel
lớp peft.DeloraModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Tham số
- model (
torch.nn.Module) — Mô hình cần được thích ứng. - config (DeloraConfig) — Cấu hình của mô hình DeLoRA.
- adapter_name (
str) — Tên của adapter, mặc định là"default".
Trả về
torch.nn.Module
Mô hình DeLoRA.
Tạo mô hình DeLoRA từ một mô hình transformers được huấn luyện trước.
Phương pháp này được mô tả chi tiết trong DeLoRA: Decoupled Low-rank Adaptation.
Thuộc tính:
- model (PreTrainedModel) — Mô hình cần được thích ứng.
- peft_config (DeloraConfig): Cấu hình của mô hình DeLoRA.