나의 이해: 둘 다 transformer를 사용해서 recurrent를 더 정교하게 한 방식(?)
GPT: 단방향 (auto-regressive+transformer) auto-regressive는 RNN과 같이 단방향 맥락을 활용하는 구조라고 이해하면 될 것 같다.
BERT: 양방향 (auto-encoding)
Question
입력은 가변적인데, 어떻게 받을까?:
→ 내부적으로는 max_len = 1024 크기의 position embedding 테이블을 가졌지만,
→ 실제 계산에선 입력 길이 5개에 해당하는 앞부분만 사용