Apr 04, 2022

오랜만에 쓰는 회고네.
자주 쓰려고 해도 자꾸 잊는다.

지난주에 이어 BERT에 LSTM을 붙이는 작업중.

bertforclassification어쩌구가 아니고 bertmodel로 하면 마지막 hidden layer얻을 수 있음. return값의 output[1]까지 가져와야 전체를 가져올 수 있다.
근데 찾다보니 지난기수 발견, klue/roberta-large에 bi-lstm을 붙였던데..

이런 layer쌓는 작업은 tf가 더 쉬운 것 같다.
huggingface 잠깐 써봤다고 그거에 익숙해져서 pytorch로 직접 짜려면 엄두도 나지 않는다.
nn.Module로 일단 붙였음

token type ids가 unexpected하다는 에러 해결 못함
시간 안에 해결하지 못할 것 같은 느낌이 듦.