何にせよ楽しいことをしてほしい

午前中は国際会議の camera ready の論文の添削。今年の国際会議、2本目と3本目の採択は以下である。

• Tosho Hirasawa, Hayahide Yamagishi, Yukio Matsumura, Mamoru Komachi. Multimodal Machine Translation with Embedding Prediction. In NAACL Student Research Workshop (SRW) 2019. June, 2019. (oral)
• Masahiro Kaneko and Mamoru Komachi. Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection. In 20th International Conference on Computational Linguistics and Intelligent Text Processing (CICLing). April, 2019. (poster)

上記の1件目はマルチモーダル機械翻訳に関する研究で、デコーダで単語を生成するときに順次単語を生成するのではなく、単語ベクトルを生成して類似度に基づいて単語を選択する、という手法を採用し、そこで選択する単語を決める単語分散表現を入れ替えると翻訳性能が上がる、という話である。マルチモーダル機械翻訳は画像の情報を見れば見るほど精度が悪化する（基本的に画像の情報はほとんど見ない方がいいし、見て悪くなる手法の方が多い）ということが知られているので、むしろこうやればマルチモーダル機械翻訳でも翻訳がよくなる方法を見つけた、という位置付けかなと思う。去年4月に研究生として研究室に来てまだ1年経っていないが、こうして通したのは立派（4月から修士1年）。

2件目は英語の文法誤り検出の研究で、BERT が登場したから文法誤り検出に組み込んでみたらあっさり世界最高精度になったので、論文書いていいですか、と言われて書いてもらった論文である。BERT を使うだけだと本当に「やってみたらこうなりました」研究なので、少し工夫しているところはあり、マルチヘッド・多層アテンションと組み合わせることで、どのあたりの層を見ているのかが分析できたり、少しだけ精度が上がったり、というポイントがある（ただ、あまり想定したようになっていないので、アテンションで何かを分析するのは無理がある気がする）。筆頭著者の @kanekokaneko123 くん、リバプールに行った直後で、そちらの研究に集中したらどうかと思っていたのだが、普通にフルペーパーを自力で書いていたので、さすが D1 と思ったものである（今年の4月からは学振 DC2）。

お昼は妻の職場に行き、荷物持ちのお仕事。1人でやると、重たい荷物があるので……

午後は娘と2人で三鷹の絵本の家へ。ここに来ると決まっておままごとをしたがって、おままごとだけで1時間以上遊ぶのだが、おままごとをすると強烈な眠気が襲ってくるという問題がある。絵本を読むのはそこまで眠くはならないのだが、なんでだろう？

最近、「月とアポロとマーガレット」という絵本が展示してあって、これはとてもいい話。アポロ計画に携わった女性プログラマーの物語なのだが、娘はこういうふうに育ってほしいなぁ。Wikipedia に載っている NASA 時代やアポロ計画時代の写真、本当に楽しそう。

月とアポロとマーガレット: 月着陸をささえたプログラマー (児童図書館・絵本の部屋)