PEFT documentation
WaveFT: Fine-Tuning Wavelet
WaveFT: Fine-Tuning Wavelet
WaveFT là một phương pháp tinh chỉnh hiệu quả tham số (PEFT) mới, đưa các cập nhật thưa vào lĩnh vực wavelet của các ma trận dư. Khác với LoRA, vốn bị giới hạn bởi các lựa chọn hạng thấp rời rạc, WaveFT cho phép kiểm soát chi tiết số lượng tham số có thể huấn luyện bằng cách trực tiếp học một tập hệ số thưa trong không gian đã biến đổi. Các hệ số này sau đó được ánh xạ ngược lại về lĩnh vực trọng số thông qua Biến đổi Wavelet Rời rạc Nghịch đảo (IDWT), tạo ra các cập nhật hạng cao mà không gây thêm chi phí suy luận.
WaveFT hiện có ràng buộc sau:
- Chỉ hỗ trợ các lớp
nn.Linear.
Tóm tắt từ bài báo là:
Việc thích ứng hiệu quả các mô hình nền tảng lớn là rất quan trọng, đặc biệt khi ngân sách tính toán và bộ nhớ bị hạn chế. Các phương pháp Fine-Tuning hiệu quả về tham số (PEFT) như LoRA cung cấp mức độ chi tiết và hiệu quả hạn chế trong các chế độ có ít tham số. Chúng tôi đề xuất Wavelet Fine-Tuning (WaveFT), một phương pháp PEFT mới học các cập nhật cực kỳ thưa trong miền wavelet của các ma trận residual. WaveFT cho phép kiểm soát chính xác các tham số có thể huấn luyện, cung cấp khả năng điều chỉnh dung lượng chi tiết và đạt hiệu suất vượt trội với số lượng tham số cực thấp, có thể ít hơn nhiều so với mức tối thiểu của LoRA—lý tưởng cho các kịch bản hiệu quả tham số cực đoan. Được đánh giá trên việc tạo ảnh từ văn bản cá nhân hóa sử dụng Stable Diffusion XL làm baseline, WaveFT vượt trội đáng kể so với LoRA và các phương pháp PEFT khác, đặc biệt là ở số lượng tham số thấp; đạt được độ trung thực chủ thể, sự khớp với prompt và sự đa dạng của ảnh vượt trội.
Tổng quan về benchmark
API
WaveFTConfig
lớp peft.WaveFTConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 2592scaling: float = 25.0wavelet_family: str = 'db1'use_idwt: bool = Truerandom_loc_seed: int = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>proportional_parameters: bool = Falseinit_weights: bool = True )
Tham số
- n_frequency (
int) — Số hệ số wavelet có thể học cho phép biến đổi Wavelet rời rạc (DWT). ‘n_frequency’ là một số nguyên lớn hơn 0 và nhỏ hơn hoặc bằng tổng số phần tử trong ma trận trọng số gốc (d_out * d_in). Tham số này trực tiếp kiểm soát số lượng tham số có thể huấn luyện cho mỗi lớp đã thích ứng. ‘n_frequency’ cao hơn thường dẫn đến hiệu suất tốt hơn nhưng cũng làm tăng mức sử dụng bộ nhớ GPU, với tác động nhỏ đến tốc độ huấn luyện. - scaling (
float) — Hệ số tỷ lệ được áp dụng cho ma trận delta W tái tạo. Đây là một siêu tham số quan trọng, tương tự nhưlora_alphatrong LoRA. Nó có thể được tinh chỉnh trong quá trình tìm kiếm siêu tham số. Giá trị mặc định của chúng tôi cho việc cá nhân hóa SDXL là 25. - wavelet_family (
str) — Họ wavelet (ví dụ: ‘db1’, ‘sym2’, ‘coif1’) được sử dụng cho DWT và IDWT. Mặc định là ‘db1’ (Haar wavelet). Các họ wavelet khác nhau có độ dài bộ lọc khác nhau, ảnh hưởng đáng kể đến thời gian huấn luyện - use_idwt (
bool) — Đặt thành False để thích ứng hiệu quả. Xác định có sử dụng Biến đổi Wavelet Nghịch đảo (IDWT) để tái tạo các trọng số delta từ các hệ số wavelet đã học hay không. NếuTrue(mặc định), IDWT sẽ được áp dụng. NếuFalse, các hệ số đã học sẽ được sử dụng trực tiếp để tạo thành một ma trận trọng số delta thưa, nhanh hơn nhưng hiệu suất kém hơn cho tác vụ cá nhân hóa SDXL. - random_loc_seed (
int) — Seed để xác định các vị trí ngẫu nhiên củan_frequencyhệ số wavelet có thể học được trong ma trận hệ số wavelet đầy đủ. - target_modules (
Union[list[str],str]) — Danh sách tên module hoặc biểu thức regex xác định các module cần được thích ứng bằng WaveFT. Ví dụ,['q_proj', 'v_proj']hoặc'.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'. Hiện tại, chỉ hỗ trợ các lớp tuyến tính (torch.nn.Linear). - exclude_modules (
Optional[Union[List[str], str]]) — Danh sách tên module hoặc biểu thức regex cho các module cần loại trừ khỏi quá trình thích ứng WaveFT. - fan_in_fan_out (
bool) — Đặt thànhTruenếu trọng số của lớp cần thay thế được lưu ở định dạng(fan_in, fan_out). Mặc định làFalse. - bias (
str) — Bias type for WaveFT. Can be ‘none’, ‘all’, or ‘waveft_only’. (‘fourier_only’ was likely a typo and has been corrected to ‘waveft_only’ if it implies bias only on adapted parameters) If ‘waveft_only’, biases are added only to the WaveFT components. If ‘all’, biases are added to both base and WaveFT components. If ‘none’, no new biases are added. - modules_to_save (
list[str]) — Danh sách các module, ngoài các lớp WaveFT, cần được đánh dấu là có thể huấn luyện và lưu trong checkpoint cuối cùng. Hữu ích cho các lớp như bộ phân loại trong các tác vụ phân loại chuỗi hoặc phân loại token, vốn được khởi tạo ngẫu nhiên và cần được huấn luyện. - layers_to_transform (
Union[list[int],int]) — Các chỉ số lớp cụ thể cần biến đổi. Nếu được cung cấp, PEFT sẽ chỉ thích ứng các lớp tại các chỉ số này. Nếu chỉ một số nguyên duy nhất được đưa ra, chỉ lớp đó sẽ được biến đổi. - layers_pattern (
Optional[Union[List[str], str]]) — Mẫu cho tên các layer, được sử dụng nếulayers_to_transformđược chỉ định và mẫu layer không phải là chuẩn (ví dụ, không phải ‘layers’ hay ‘h’). Tham số này nên nhắm đến thuộc tínhnn.ModuleListtrong model. - n_frequency_pattern (
dict) — Một từ điển ánh xạ tên lớp (hoặc regex) đến các giá trịn_frequencycụ thể, ghi đè lênn_frequencytoàn cục. Ví dụ:{"model.decoder.layers.0.encoder_attn.k_proj": 1000}. - init_weights (
bool) — Chiến lược khởi tạo cho các hệ số wavelet có thể học (phổ). NếuTrue(mặc định), các hệ số được khởi tạo bằng số không. NếuFalse, các hệ số được khởi tạo từ phân phối chuẩn bình thường được nhân với một hệ số nhỏ. - proportional_parameters (
bool) — NếuTrue,n_frequencysẽ được phân bổ theo tỷ lệ vớiinput_dim * output_dimcủa từng lớp. Mặc định làFalse. Lưu ý: Tùy chọn này được bao gồm để đảm bảo tính toàn diện trong thử nghiệm, cho phép các nhà nghiên cứu tái tạo kết quả từ bài báo, thay vì vì tính hữu dụng thực tế, vì chưa xác định được kịch bản nào mang lại lợi ích.
Đây là lớp cấu hình để lưu trữ cấu hình của WaveFTModel. Nó được sử dụng để định nghĩa các tham số cho Fine-Tuning dựa trên Wavelet (WaveFT), một phương pháp tận dụng tính thưa của phép biến đổi wavelet để fine-tuning hiệu quả tham số cho các mô hình đã được huấn luyện trước.
WaveFTModel
lớp peft.WaveFTModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )