午前中は出勤して B3 の進捗報告を聞く。NMT (fairseq) も SMT (moses) も普通に動かせているようだが、SMT の方が今は動かしにくいというのが隔世の感である。2015年当時は「これからは ニューラル翻訳」と思って舵を切ったが、こんなにすぐにツールが整うとは正直思っていなかったので……。
昼過ぎは B3 の研究室インターンシップ。「ゼロから作る Deep Learning 2」を読んでいる。第3章まで読み終わり、第4章に入る。もっと時間がかかるかと思っていたが、これは1冊全部読み終わりそうな気がする。自然言語処理の教科書、これまでは辞書・コーパスの話をしたあと形態素解析→構文解析→意味解析→談話解析みたいな要素技術からスタートし、それから機械翻訳や対話などの応用の話をする、みたいな順番で構成されていることが多かったが、深層学習時代にはこの本のようにコーパスの話をした次はいきなり単語分散表現の話になり、それから encoder-decoder の話になる、みたいな構成が標準的な感じかと思う。
ただ、2019年現在はさらに話が変わっていて、word2vec ももはや古典的な導入に過ぎず、encoder-decoder から話し始めるのがいいのかも、と思ったりする。というのも、word2vec 自体が使われることは最近はそんなになく（実用上は GloVe が使われたり、FastText が使われたり、みたいな）、BERT みたいな encoder に基づく手法で文の分散表現を得る、みたいな方法が主流になっていくかもしれない、と考えている。その皮切りに、Google のウェブ検索は BERT モデルになったらしいが、これウェブ検索全体で導入するために、どれくらいのエンジニアリングが必要だったのか（応答速度やこれまでの検索結果との整合性等、ニューラル翻訳の導入と同じだと思うが、精度がいいことがあるというだけでは切り替えられない）、ということを考えると、途方もない話である。（その場合でも、深層学習的には古典かつ基礎的だから word2vec から話を始める、という選択はあるだろうが、そういう教科書であれば、そもそも深層学習時代でも深層学習以前を無視する方が気になりそうな）
午後は M2 の学生の進捗報告をいくつか聞く。そもそも M2 にもなると、毎週聞かなくてもいいと思うのであるが、今学期はとりあえず出産までは毎週聞くことにしていたので……。
夕方は妻と次女のお見舞いのために病院へ（子どもは新生児と会うことができないので、長女は母にお迎えと面倒を頼んである）。20時までが面会時間なので、18-19時に着くように行って1時間くらい滞在する。生まれてから2日目で、だんだん出産直後の少しむくんだりしているのが取れてきて、きれいな顔立ちになっている。まだ1日のほとんどを寝ているので、退院するまでは起きている場面に遭遇することができるかどうか、みたいな感じかな。
