Low-Rank Adaptation of Large Language Models
주요 목적
- 모델의 파라미터 수를 줄이기
- 학습 및 추론 비용 절감
HOW?
Low-Rank Adaption
: 고차원 행렬을 저차원 근사로 대체하여 효율성을 높이는 방법
이때 d >>> r
기존 Fine Tuning 방식
- 모든 parameter를 재학습
- load가 너무 큼,, 계산 자원, 메모리 등…
- 대부분의 layer를 freeze 후 마지막 몇 개 layer만 학습
- 고정된 레이어는 학습되지 않기 때문에 새로운 작업에 최적화하는 데 한계가 있을 수도,,
LoRA의 방식
- Pretrained Weights: 기존 모델에 맞추어 학습되어있던 parameter들
- A, B: 새로운 모델에 맞추어 학습시키려는 parameter 집합
- Pretrained Weights는 건들지 않고, A, B만 update 시킴
⇒ 원래 성능 유지한 채로 A, B 결과를 추가해 더 높은 성능 기대!
다음 시간,,
- LoRA 방식을 이용해 실제로 fine tuning 시키는 예제를 찾고, 작동시켜보기