2020-05-04から1日間の記事一覧

transformerを理解するため実装してみる(実データで学習)

以前copy taskまで実装したものについてまとめた transformerを理解するために実装 - MEMOcho- 今回はそれを実際のデータで学習するところを実装したのでメモ 目次 sentenceのtoken化 長過ぎる文を削除 fp16対応 colabでの学習 評価指標 実行結果 seq2seq tu…