LoRA 정리
“LLM을 조금 더 효율적으로 학습시키기 위한 기법“
기존 모델에서 파라미터만 하나하나 update 하던 방식에 변화를 줌
→ parameter를 low-rank로 분해!
e.g. 기존 param mxn 행렬 W가 존재한다하자
이 W행렬을 mxr A, rxn B행렬의 곱으로 나타낼 수 있음
r << m,n이면 parameter의 개수를 획기적으로 줄일 수 있음
( mxn개에서 mxr+rxn개로, 우리는 후자만 업데이트하면 됨!!)
⇒ 파라미터 자체가 줄어듦으로써 저장공간, 계산 resource 감소!
fine tuning도 효율적으로 할 수 있음
W_new = W + deltaW
deltaW = A x B(업데이트 한)
- A, B는 특정한 작업에 대해 학습됨(새롭게 tuning해서 쓰려는 학습같은 것들,,)
⇒ 원래 파라미터는 고정되어있으므로 성능이 어느정도 보장된 상태임
Memo.
- 타겟층?
단순히 감정 표현하는 그림 그리기니까 없어도 될 것 같기도 하다. 그리고 데이터 많이 모으려면 별로 안 중요함. 이게 ref가 있을까?
- 구체적 질문 좁히기
- 느낀 감정이 드러나는 그림을 그려서
- 무슨 말인지 잘 몰겟? 예시 사진을 보고 느낀 감정이 어떤 실제 감정?!과 일치하는 것인지. 그게 그거 아닌가…
- 그림에 감정이 얼마나 잘 드러났는가에 대한
이 부분 예시 사진 아래로 넣는 게 더 흐름에 맞을 것 같
- 설문 팁(link)
보다 구체적이고, simplify 되어야함