PEFT documentation

PEFT

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.22.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

PEFT

🤗 PEFT (Parameter-Efficient Fine-Tuning)는 모델의 모든 매개변수를 미세 조정하는 것이 비용 면에서 비현실적이기 때문에, 대규모 사전 학습 모델을 다양한 하위 작업에 효율적으로 적용하기 위한 라이브러리입니다. PEFT 방법은 (추가) 모델 매개변수 중 소수만 미세 조정하여 계산 및 저장 비용을 크게 줄이면서도, 전체 미세 조정 모델과 동등한 성능을 제공합니다. 이를 통해 소비자 하드웨어에서 대규모 언어 모델(LLM) 및 기타 대규모 모델을 학습하고 저장하는 것이 더 쉽게 가능해집니다.

PEFT는 Transformers, Diffusers, Accelerate 라이브러리와 통합되어 추론을 위한 대규모 모델의 로딩, 학습 및 사용 방식을 더 빠르고 쉽게 제공합니다.

기존 모델을 "적응(adapt)"하는 방법은 매우 다양하며, 모델에 깊이 통합되는 경우가 많습니다. PEFT는 모델 적응의 임의적인 방법(가중치 수정, 레이어 래핑, KV-cache 조작 등)을 위한 프레임워크로 볼 수 있으며, 동시에 많은 파인튜닝 방법의 참조 구현(reference implementation) 역할을 합니다.
Update on GitHub