논문을 보고 구현해 보는 것이 힘든 과정이지만 논문을 깊게 이해하고 동작 원리를 파악하기 위한 가장 좋은 방법이라 할 수 있습니다.
이 포스트는 최근 자연어처리에서 가장 좋은 결과를 내는 Pretrained LM(Langauge Model)을 직접 구현해보는 과정을 정리했습니다.
1. 전처리
2. Transformer
- Transformer (Attention Is All You Need) 구현하기 (1/3)
- Transformer (Attention Is All You Need) 구현하기 (2/3)
- Transformer (Attention Is All You Need) 구현하기 (3/3)
3. GPT
4. BERT
- BERT(Bidirectional Encoder Representations from Transformers) 구현하기 (1/2)
- BERT(Bidirectional Encoder Representations from Transformers) 구현하기 (2/2)
5. T5 (Text-To-Text Transfer Transformer)
- 준비 중 입니다.
6. 참고