PEFT documentation
PEFT
시작하기
가이드
구성 및 모델통합 메모리 효율적인 학습모델 병합양자화커스텀 모델Adapter 주입PEFT 방법 혼합torch.compilePEFT에 기여하기문제 해결PEPT 체크포인트 형식
분산 학습
메서드
API 참조
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.22.0).
PEFT
🤗 PEFT (Parameter-Efficient Fine-Tuning)는 모델의 모든 매개변수를 미세 조정하는 것이 비용 면에서 비현실적이기 때문에, 대규모 사전 학습 모델을 다양한 하위 작업에 효율적으로 적용하기 위한 라이브러리입니다. PEFT 방법은 (추가) 모델 매개변수 중 소수만 미세 조정하여 계산 및 저장 비용을 크게 줄이면서도, 전체 미세 조정 모델과 동등한 성능을 제공합니다. 이를 통해 소비자 하드웨어에서 대규모 언어 모델(LLM) 및 기타 대규모 모델을 학습하고 저장하는 것이 더 쉽게 가능해집니다.
PEFT는 Transformers, Diffusers, Accelerate 라이브러리와 통합되어 추론을 위한 대규모 모델의 로딩, 학습 및 사용 방식을 더 빠르고 쉽게 제공합니다.
기존 모델을 "적응(adapt)"하는 방법은 매우 다양하며, 모델에 깊이 통합되는 경우가 많습니다. PEFT는 모델 적응의 임의적인 방법(가중치 수정, 레이어 래핑, KV-cache 조작 등)을 위한 프레임워크로 볼 수 있으며, 동시에 많은 파인튜닝 방법의 참조 구현(reference implementation) 역할을 합니다.

Update on GitHub