機械翻訳用のデータは言語毎にファイルは別になっていて、文同士の対応は行番号が同じことによって保たれている 例えばこんな感じ # ja.txt こんにちは 私はテニスが好きです 私はペンを持っています # en.txt hello I like tennis I have a pen これをtoken…

家にあるPCで作業しているとき、もう一台のマシンでちょっと前に打ったコマンドをそのまま使いたいことがあった。 メールやチャットで自分宛てに送ればそれでOKだが、一旦外を通って戻ってくるというのがなんだか無駄に感じてしまったためマシン間で直接やり…

自分の勉強のためにtransformerを実装してみたので引っかかったところなどメモ 実装の参考にしたのは主にこの3つ http://nlp.seas.harvard.edu/2018/04/03/attention.html pytorchによる実装ともに論文の流れに沿って解説 learning rateのscheduleなど細かい…

pngで受け取った画像をjpgに変換して使いたい場面があったためメモ 一度ファイルとして保存すればもちろんOKだが特にファイルにする必要がなかったためその方法を探した そのものずばりなのがあった python: Convert from PNG to JPG without saving file to…

以下のようにファイルがあったとき row_num.txt 1 3 5 対応する行を以下のファイルから削除する test.txt aaaaa bbbbb ccccc ddddd eeeee こちらのコマンドでできる $ indexes=(`cat row_num.txt`) $ echo "${indexes[@]/%/d;}" | sed -f - test.txt bbbbb d…

deep learning系の資料として有名なこちらを読んだのでそのまとめをメモ www.deeplearningbook.org 今回は第5章 Machine Learning Basicsについて 5. Machine Learning Basics 機械学習における学習の定義 - タスクTに関して経験Eから学習し指標Pによって計…