LLM/Training1 LoRA와 QLoRA LoRA와 QLoRA, 전체를 다시 학습하지 않고 모델을 길들이는 법요약PEFT는 모델의 수십억 개 가중치를 전부 갱신하는 대신 소수 파라미터만 학습해 파인튜닝 비용을 낮추는 방법의 총칭이고, 그 대표가 LoRA입니다.LoRA는 파인튜닝으로 생기는 가중치 변화량을 두 작은 행렬의 곱으로 근사하고, 원래 가중치는 동결합니다. 학습하는 건 작은 행렬 두 개뿐입니다.효과가 큽니다. LoRA 논문은 GPT-3 175B 기준 학습 파라미터가 약 10,000배, GPU 메모리가 약 3배 줄었다고 보고합니다. 산출물인 어댑터가 수 MB라 태스크별로 저장하고 교체하기 쉽습니다.QLoRA는 동결된 베이스를 4비트로 양자화한 위에 LoRA를 얹습니다. 논문은 65B 모델을 단일 48GB GPU에서 파인튜닝하면서 16비트 .. 2024. 4. 17. 이전 1 다음