PEFT documentation
PEFT
시작하기
가이드
구성 및 모델통합 메모리 효율적인 학습모델 병합양자화커스텀 모델Adapter 주입PEFT 방법 혼합torch.compilePEFT에 기여하기문제 해결PEPT 체크포인트 형식
분산 학습
메서드
API 참조
PEFT
🤗 PEFT (Parameter-Efficient Fine-Tuning)는 모델의 모든 매개변수를 미세 조정하는 것이 비용 면에서 비현실적이기 때문에, 대규모 사전 학습 모델을 다양한 하위 작업에 효율적으로 적용하기 위한 라이브러리입니다. PEFT 방법은 (추가) 모델 매개변수 중 소수만 미세 조정하여 계산 및 저장 비용을 크게 줄이면서도, 전체 미세 조정 모델과 동등한 성능을 제공합니다. 이를 통해 소비자 하드웨어에서 대규모 언어 모델(LLM) 및 기타 대규모 모델을 학습하고 저장하는 것이 더 쉽게 가능해집니다.
PEFT는 Transformers, Diffusers, Accelerate 라이브러리와 통합되어 추론을 위한 대규모 모델의 로딩, 학습 및 사용 방식을 더 빠르고 쉽게 제공합니다.
기존 모델을 "적응(adapt)"하는 방법은 매우 다양하며, 모델에 깊이 통합되는 경우가 많습니다. PEFT는 모델 적응의 임의적인 방법(가중치 수정, 레이어 래핑, KV-cache 조작 등)을 위한 프레임워크로 볼 수 있으며, 동시에 많은 파인튜닝 방법의 참조 구현(reference implementation) 역할을 합니다.

Update on GitHub