Mar 26, 2022

오늘은 한 게 거의 없다

- kobigbird 제출.
- 성능이 엄청 좋지는 않지만 엄청 나쁘지도 않다. 나중에 앙상블용으로 쓰면 좋을 것 같다.
- 그냥 모델만 바꿔도 돌아가긴 하지만 warning 메시지를 읽어보니 조금 손보는 게 좋을 것 같다.
- 어차피 같은 bert 기반이니 지금 시도하고 있는 trick들을 붙여서 다시 돌려보면 성능이 더 향상되지 않을까?

- 논문 읽기 시작
- Distributed Representations of Sentences and Documents(Quoc V. Le and Tomas Mikolov)
- introduction밖에 못읽었다
- 3번 연속 같은 사람 논문이라니

- tokenizer와 tokenizer.tokenize로 다르다는 것을 너무 늦게 깨달았다.
- values로 읽지 못하는 오류 계속 해결중