Reference
arXiv.orgVisual Prompt Tuning
arXiv.org
TISTORY[Paper Review] Visual Prompt Tuning, ECCV 2022 논문 리뷰![[Paper Review] Visual Prompt Tuning, ECCV 2022 논문 리뷰](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2F0huTD%2Fbtr6pdyUbHl%2FcKRImw8tkzE8e71qOUyJK0%2Fimg.png)
TISTORY
[Article]
arXiv.orgVisual Prompt TuningVisual Prompt Tuning
The current modus operandi in adapting pre-trained models involves updating all the backbone parameters, ie, full fine-tuning. This paper introduces Visual Prompt Tuning (VPT) as an efficient and...
arXiv.org[Blog]
TISTORY[Paper Review] Visual Prompt Tuning, ECCV 2022 논문 리뷰[Paper Review] Visual Prompt Tuning, ECCV 2022 논문 리뷰
ECCV 2022, Visual Prompt Tuning, M. Jia et al. 논문 링크: https://arxiv.org/pdf/2203.12119.pdf 1. Introduction 최근 GPT 계열 모델과 같이 대규모 데이터와 대규모 모델을 활용한 딥러닝 연구가 많아졌다. 그러한 데이터의 경우 엔비디아나 구글과 같이 엄청난 컴퓨팅 파워를 가지고 있는 대기업이 아닌 일반인들은 Pretrain된 모델을 Fine-tuning하는 것도 어려운 상황에 이르렀다 :( 따라서 본 논문에서는 비전 분야에서 대규모 Transformer 모델을 효율적으로 활용하기 위한 새로운 fine-tuning 방법인 Visual Prompt Tuning (VPT)을 제안한다. 이는 기존의 fine-tuning 방법보다 더 ..
TISTORY[Code]
[Prompting in CV]
What
Prompting tuning이란?
fine tuning + linear probing(header layer만 추가해서 학습하는 방법) 둘의 장점만 모아둔 tuning이다(빠르고, 정확하다).
Prompting은 주로 NLP에서 사용된다.
GPT에게 "(주어)가 (분류1)일까 혹은 (분류2)일까?" 라는 prompt를 학습 시키고, 이를 바탕으로 "이 기사는 스포츠에 관련된 것이야 혹은 정치에 관련된 것이야?" 라는 질문에서 매끄러운 답변을 유도한다.
Learning Process
학습 과정은 세 단계로 이루어 진다.
- Pre-train: 바탕이 될 모델을 학습 시킨다.
- Prompt 생성: Task에 적합한 프롬프트를 생성한다. 이 프롬프트는 input 이미지와 함께 입력된다.
— How..?
- Fine-tuning: 생성된 prompt를 input으로 추가한 후, pre-trained 모델의 encoder를 고정시키고 나머지 부분을 fine-tuning한다.
중요!!!
prompt는 image size에 vector로 변환되어 입력된다.
++ 추가 사항은 공부를 더 하고 나서 알아도 될 것 같다…