GAN によりさらに調整難しく

午前中は最先端論文紹介で、諸事情により今日だけ先行してNAACL 2018 読み会をする。いくつか紹介してもらったが、1つ挙げるなら以下か。

  • Zhen Yang, Wei Chen, Feng Wang and Bo Xu. Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets. NAACL 2018.

GAN を使ってニューラル機械翻訳をよくするという話だが、どうも GAN の部分だけではなく BLEU を使った強化学習もしている。まあ、GAN 部分での精度向上が大きいのでいいのかもしれないが、強化学習部分が付け足しに見える(単純に使うとむしろ人手評価は悪くなっているし)。

この論文は arXiv に出たときから知っていたが、アクセプトされるまでに1年以上かかったのか、という印象。明らかにパラメータ調整が難しそうで、実際パラメータ調整が難しく、扱いにくいのが日の目を見るまでに時間がかかった理由だろうか。

昼から共同研究に関するミーティング。データをどうするかというのが最大の課題だが、方向性は決まったと思うので、今年度はちゃんと進められそう。

インターンシップや共同研究が盛んである(教員が奨励している)ということでうちの研究室を希望する人が学内外でいるようだが、内部生はどれくらい研究開発能力があるのか分からないので、今年度からは筆記試験免除(推薦)に合格した人にやってもらおうと思っている。筆記試験免除は GPA で決まるのだが、GPA はちゃんと授業に出たり、〆切を守ったり、人の話を聞いている(ちゃんと理解していて、理解していないなら何を理解してないのかを確認してくれる)かと高い相関があり、外部の人と何かをするに当たっては、これらの能力がないとご迷惑をおかけしてしまう可能性があるので……(あとは、そのフォローに自分が時間を使うことが多く、その時間がもったいない、という理由も大きい)。外部生は判断が難しいのだが、最近はほとんど社会人経験者しか受験を認めていないので、特に問題はないかなぁ。

午後は本郷三丁目に移動して、お仕事のミーティング。色々難しい点もあるのだが、このお仕事でしか得られない知見もあるので、割と勉強になっている。結局どれくらい時間をかけるか、ということに尽きると思うのだが……。