午前中は今日から NAACL-HLT 2019 読み会 で、とりあえず1回あたり4人ずつ割り当ててみている（その後、1回で4人は無理で3人に再調整したが）。今回紹介してもらった論文の中では
- Emmanouil Antonios Platanios, Otilia Stretcu, Graham Neubig, Barnabas Poczos, Tom M. Mitchell. Competence-based Curriculum Learning for Neural Machine Translation. NAACL HLT 2019.
に考えさせられた。これ、ニューラル機械翻訳の学習のときにどういう順序で対訳文を見せればいいかという話で、簡単な事例から見せて徐々に難しい事例で学習するカリキュラム学習という手法を応用しているのだが、（ニューラル）翻訳ではどういう文が（モデルを学習するのに）難しいのか？というのはあまり自明ではなく、むむむ……と思ったりする。
最近 Microsoft Translator Blog に投稿された Neural Machine Translation Enabling Human Parity Innovations In the Cloud という記事が色々 Microsoft のニューラル機械翻訳で何をやっているのか書かれていておもしろかった。Teacher-Student で訓練すると greedy decoding でも十分な精度が出る（Teacher モデルはビームサーチで候補を出す）とか、このモデルだとデコーダは Transformer ではなく RNN でデコードが高速だが精度は落ちないとか、ニューラル機械翻訳のかなりの部分はエンジニアリングになったと思うのだが、こういう細かい作り込みも好きなのである。
午後は機械翻訳グループの進捗報告。人数が減ったから時間も少ないかと思いきや、いつも毎回2時間やっていて、議論することがいろいろある。十分知見が溜まってきているからディスカッションできるわけだが、このフェーズが一番楽しい。
夕方は国際会議のプログラムに関するミーティング。だいたい1-2回はオンラインでミーティングをして論文の採否を決めるのだが、今回はだいたいのボーダーラインの確認と、議論が必要な論文をリストアップする作業。会場の制約だとか過去の会議の水準とか、いくつかの制約があったりするが、そんなに問題なくスムーズに打ち合わせは終了。明日のミーティングの方がメインかな。
