PEFT documentation

WaveFT: Fine-Tuning Wavelet

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

WaveFT: Fine-Tuning Wavelet

WaveFT là một phương pháp tinh chỉnh hiệu quả tham số (PEFT) mới, đưa các cập nhật thưa vào lĩnh vực wavelet của các ma trận dư. Khác với LoRA, vốn bị giới hạn bởi các lựa chọn hạng thấp rời rạc, WaveFT cho phép kiểm soát chi tiết số lượng tham số có thể huấn luyện bằng cách trực tiếp học một tập hệ số thưa trong không gian đã biến đổi. Các hệ số này sau đó được ánh xạ ngược lại về lĩnh vực trọng số thông qua Biến đổi Wavelet Rời rạc Nghịch đảo (IDWT), tạo ra các cập nhật hạng cao mà không gây thêm chi phí suy luận.

WaveFT hiện có ràng buộc sau:

  • Chỉ hỗ trợ các lớp nn.Linear.

Tóm tắt từ bài báo là:

Việc thích ứng hiệu quả các mô hình nền tảng lớn là rất quan trọng, đặc biệt khi ngân sách tính toán và bộ nhớ bị hạn chế. Các phương pháp Fine-Tuning hiệu quả về tham số (PEFT) như LoRA cung cấp mức độ chi tiết và hiệu quả hạn chế trong các chế độ có ít tham số. Chúng tôi đề xuất Wavelet Fine-Tuning (WaveFT), một phương pháp PEFT mới học các cập nhật cực kỳ thưa trong miền wavelet của các ma trận residual. WaveFT cho phép kiểm soát chính xác các tham số có thể huấn luyện, cung cấp khả năng điều chỉnh dung lượng chi tiết và đạt hiệu suất vượt trội với số lượng tham số cực thấp, có thể ít hơn nhiều so với mức tối thiểu của LoRA—lý tưởng cho các kịch bản hiệu quả tham số cực đoan. Được đánh giá trên việc tạo ảnh từ văn bản cá nhân hóa sử dụng Stable Diffusion XL làm baseline, WaveFT vượt trội đáng kể so với LoRA và các phương pháp PEFT khác, đặc biệt là ở số lượng tham số thấp; đạt được độ trung thực chủ thể, sự khớp với prompt và sự đa dạng của ảnh vượt trội.

Tổng quan về benchmark

API

WaveFTConfig

lớp peft.WaveFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 2592scaling: float = 25.0wavelet_family: str = 'db1'use_idwt: bool = Truerandom_loc_seed: int = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>proportional_parameters: bool = Falseinit_weights: bool = True )

Tham số

  • n_frequency (int) — Số hệ số wavelet có thể học cho phép biến đổi Wavelet rời rạc (DWT). ‘n_frequency’ là một số nguyên lớn hơn 0 và nhỏ hơn hoặc bằng tổng số phần tử trong ma trận trọng số gốc (d_out * d_in). Tham số này trực tiếp kiểm soát số lượng tham số có thể huấn luyện cho mỗi lớp đã thích ứng. ‘n_frequency’ cao hơn thường dẫn đến hiệu suất tốt hơn nhưng cũng làm tăng mức sử dụng bộ nhớ GPU, với tác động nhỏ đến tốc độ huấn luyện.
  • scaling (float) — Hệ số tỷ lệ được áp dụng cho ma trận delta W tái tạo. Đây là một siêu tham số quan trọng, tương tự như lora_alpha trong LoRA. Nó có thể được tinh chỉnh trong quá trình tìm kiếm siêu tham số. Giá trị mặc định của chúng tôi cho việc cá nhân hóa SDXL là 25.
  • wavelet_family (str) — Họ wavelet (ví dụ: ‘db1’, ‘sym2’, ‘coif1’) được sử dụng cho DWT và IDWT. Mặc định là ‘db1’ (Haar wavelet). Các họ wavelet khác nhau có độ dài bộ lọc khác nhau, ảnh hưởng đáng kể đến thời gian huấn luyện
  • use_idwt (bool) — Đặt thành False để thích ứng hiệu quả. Xác định có sử dụng Biến đổi Wavelet Nghịch đảo (IDWT) để tái tạo các trọng số delta từ các hệ số wavelet đã học hay không. Nếu True (mặc định), IDWT sẽ được áp dụng. Nếu False, các hệ số đã học sẽ được sử dụng trực tiếp để tạo thành một ma trận trọng số delta thưa, nhanh hơn nhưng hiệu suất kém hơn cho tác vụ cá nhân hóa SDXL.
  • random_loc_seed (int) — Seed để xác định các vị trí ngẫu nhiên của n_frequency hệ số wavelet có thể học được trong ma trận hệ số wavelet đầy đủ.
  • target_modules (Union[list[str],str]) — Danh sách tên module hoặc biểu thức regex xác định các module cần được thích ứng bằng WaveFT. Ví dụ, ['q_proj', 'v_proj'] hoặc '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'. Hiện tại, chỉ hỗ trợ các lớp tuyến tính (torch.nn.Linear).
  • exclude_modules (Optional[Union[List[str], str]]) — Danh sách tên module hoặc biểu thức regex cho các module cần loại trừ khỏi quá trình thích ứng WaveFT.
  • fan_in_fan_out (bool) — Đặt thành True nếu trọng số của lớp cần thay thế được lưu ở định dạng (fan_in, fan_out). Mặc định là False.
  • bias (str) — Bias type for WaveFT. Can be ‘none’, ‘all’, or ‘waveft_only’. (‘fourier_only’ was likely a typo and has been corrected to ‘waveft_only’ if it implies bias only on adapted parameters) If ‘waveft_only’, biases are added only to the WaveFT components. If ‘all’, biases are added to both base and WaveFT components. If ‘none’, no new biases are added.
  • modules_to_save (list[str]) — Danh sách các module, ngoài các lớp WaveFT, cần được đánh dấu là có thể huấn luyện và lưu trong checkpoint cuối cùng. Hữu ích cho các lớp như bộ phân loại trong các tác vụ phân loại chuỗi hoặc phân loại token, vốn được khởi tạo ngẫu nhiên và cần được huấn luyện.
  • layers_to_transform (Union[list[int],int]) — Các chỉ số lớp cụ thể cần biến đổi. Nếu được cung cấp, PEFT sẽ chỉ thích ứng các lớp tại các chỉ số này. Nếu chỉ một số nguyên duy nhất được đưa ra, chỉ lớp đó sẽ được biến đổi.
  • layers_pattern (Optional[Union[List[str], str]]) — Mẫu cho tên các layer, được sử dụng nếu layers_to_transform được chỉ định và mẫu layer không phải là chuẩn (ví dụ, không phải ‘layers’ hay ‘h’). Tham số này nên nhắm đến thuộc tính nn.ModuleList trong model.
  • n_frequency_pattern (dict) — Một từ điển ánh xạ tên lớp (hoặc regex) đến các giá trị n_frequency cụ thể, ghi đè lên n_frequency toàn cục. Ví dụ: {"model.decoder.layers.0.encoder_attn.k_proj": 1000}.
  • init_weights (bool) — Chiến lược khởi tạo cho các hệ số wavelet có thể học (phổ). Nếu True (mặc định), các hệ số được khởi tạo bằng số không. Nếu False, các hệ số được khởi tạo từ phân phối chuẩn bình thường được nhân với một hệ số nhỏ.
  • proportional_parameters (bool) — Nếu True, n_frequency sẽ được phân bổ theo tỷ lệ với input_dim * output_dim của từng lớp. Mặc định là False. Lưu ý: Tùy chọn này được bao gồm để đảm bảo tính toàn diện trong thử nghiệm, cho phép các nhà nghiên cứu tái tạo kết quả từ bài báo, thay vì vì tính hữu dụng thực tế, vì chưa xác định được kịch bản nào mang lại lợi ích.

Đây là lớp cấu hình để lưu trữ cấu hình của WaveFTModel. Nó được sử dụng để định nghĩa các tham số cho Fine-Tuning dựa trên Wavelet (WaveFT), một phương pháp tận dụng tính thưa của phép biến đổi wavelet để fine-tuning hiệu quả tham số cho các mô hình đã được huấn luyện trước.

WaveFTModel

lớp peft.WaveFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub