午前6時から1時間半ほどメール処理。最近こういうサイクルが定着しつつある。
出勤して午前中は最先端の論文紹介。2本紹介してもらったが、取り上げたいのはこちら。
- Toan Nguyen and David Chiang. Improving Lexical Choice in Neural Machine Translation. NAACL 2018.
この論文、ニューラル機械翻訳が文脈を無視して頻度の高い単語を出しやすい問題の対策として、アテンションの隠れ層の正規化と、ソース側の単語の語彙翻訳確率を考慮するという手法を提案している。かなりアドホックに見えるのだが、要はアテンションの隠れ層のノルムと単語埋め込みのノルムがかなり違うので、それのスケールを揃えるように正規化しているようである。これに気が付いたというのは一本取られたという感じだが、そもそもなんでこんなことが起きる（ので正規化しなければならない）のだろうか？
お昼からしばらくメール処理をしてから南大沢に行き、全学の教務委員会、次いで基礎教育部会、そして基盤・教養科目部会と委員会3連続。今日は（13時から開催されていれば参加可能な）コース会議が流会になり、学科会議は全く参加できないし、こんなにコース会議が流会になるなら、学科会議とコース会議の順番を逆にしておいてほしかった……（他のコースの都合もあるので今年度は変えようがない）。
