自分の勉強のためにtransformerを実装してみたので引っかかったところなどメモ 実装の参考にしたのは主にこの3つ http://nlp.seas.harvard.edu/2018/04/03/attention.html pytorchによる実装ともに論文の流れに沿って解説 learning rateのscheduleなど細かい…