참고 논문
arxiv.org
arxiv.org
아이디어
위 논문은 여러 LoRA layer를 사용해서 ‘다양한’ task에 적응 시키는 것 ⇒ 주로 이것과 관련된 논문 밖에 없다.
우리가 해야할 것은 여러 LoRA layer를 사용해서 ‘하나의’ task에 적용하는 것
⇒ Point: LoRA 두 번째 계층이, LoRA 첫 번째 계층의 파라미터를 이용하여 학습하게 하자
⇒ 첫 번째 LoRA 계층의 파라미터를 frozen 시키고 학습시키자
검색 키워드
- "LoRA parameter sharing"
- "LoRA hierarchical layers"
- "Modular neural networks"
- "Multitask learning with shared parameters"
적응형 LoRA 레이어 라는 이름을 붙여보자
점진적 LoRA 레이어?!
