- Mamba 읽기 (VIS 어디에 적용할지? segmentation or tracking?
1.5. RVOS 논문도 한번 읽어보기.
- Mamba를 Video task에 적용한 논문들 좀 찾아보기 (VIS부터 시작해서 주르륵,, keyword: tracking, video segmentation, video, etc)
- 아이디어가 떠오르면 비슷한 논문 있는지 한번 확인해보기. 이미 있다면 다시 2번으로..
- Mamba
- SSM
- zero-order hold (continuous → discrete / discrete → continuous)
- recurrent expression
- convolution
- HiPPO → long dependency ⇒ S4
- 동적 행렬 + delta
- 병렬 scan ⇒ S6: 맘바
- SSM
- state는 기억을 가지고 있다.
첫 query 생각
t가 계속 바뀌면서 shape이 계속 달라짐 (t의 허용 범위는 3..) 생각
→ frame의 shape을 정해두는 것도 좋을 듯 → frame 정보를 KXC에다 cross attention을 입혀주기