日本では夜の時間のプログラム

午前中は EMNLP 読み会。スライド

  • Wang and Zheng. Improving Grammatical Error Correction Models with Purpose-Built Adversarial Examples. EMNLP 2020.

文法誤り訂正で敵対的な事例(置換すると予測が変わるような単語を置き換える)を生成して学習することで、頑健な訂正モデルが学習できますよ、という話。手法としては結構調整が面倒そうな印象があるが、SOTA を追求するような話でもなく、素直に考えるとこうなるよね、という感じでしっかり実験していて、EMNLP 的に良い話だった。

うちもあっと驚くような斬新なアイデアを連発しまくるのは難しいかもしれないが、(インクリメンタルな研究をするのはそんなに苦ではないので)地道にこういう研究ができるとよいなと思っている。そういう前提で、足りないのは実験を綿密に計画して実行するところであるが、計算機資源が潤沢にあったら少なくとももっと試行できるはずなので、ちょっと申し訳なく感じている。

ただ、一昨年くらいから感じているのだが、トップカンファレンスで発表されるネタの1年後くらいを追いかけている形になっている気がするので(みんながやっていることを国際会議で発表された研究ベースでフォローしてやろうとすると、どうしてもそうなる。)、ニッチなテーマでないとアウトプットに持っていくのが難しい。まあ、自分としてはニッチなところに行けばいいのでは、と思っているわけだが、ニッチ感はだいぶ知見がないと分からないようにも思うので、簡単なことではない(学生が研究テーマを自分で考えているうちの研究室のスタイルと相性が悪い)。

午後は NLP 応用グループのミーティング。COLING がすでにオンライン開催されているのだが、日本時間的には深夜の時間帯に行われているので、参加がなかなか厳しそうである。