arxiv.org
스토리
쿼리
키. 벨류 → 가중치로 ‘입혀주는’ 정보를 바꿔줄 수 있다.
shape print 해보기
MinVIS를 segmenter로 사용한다
VIStutorial1에서 작업하기
output 결과에 뭐가 담겨 있는지 살펴보기
mamba import해서 block 작성해보기
차원 완벽히 적고, 코드 작업 시작하기
import torch from mamba_ssm import Mamba batch, length, dim = 2, 64, 16 x = torch.randn(batch, length, dim).to("cuda") model = Mamba(d_model=dim, d_state=16, d_conv=4, expand=2).to("cuda") # Sequential processing hidden_state = None outputs = [] for i in range(length): token = x[:, i:i+1, :] # (2, 1, 16) if hidden_state is None: output, hidden_state = model(token, return_state=True) else: output, hidden_state = model(token, state=hidden_state, return_state=True) outputs.append(output) y = torch.cat(outputs, dim=1) # (2, 64, 16)
온라인 정규화