EMNLP 2020 がスタートしているが、通勤時間帯に動画で見るくらいしか見る時間がないので、なかなかリアルタイムのディスカッションに参加できない。非同期でやりとりできる RocketChat と Gather.town の組み合わせは割とよいと思うのだが、やはり時間をブロックして参加できる（せざるを得ない）国際会議と参加体験はかなり違う。
ただ、そもそも国際会議が幅を利かせている情報系の分野が特殊であり、他の分野は基本的に論文誌や書籍での発表がメインであることを考えると、特に国際会議での厳しい査読を経た上での論文発表の発表を伴う交流は研究をする上で必須の要素ではないと思うし、論文誌の査読を早くした上で情報系も論文誌ファースト（ただし希望者が国際会議で論文誌の内容を発表できる形式）になればいいのではなかろうか。（テック系のカンファレンスの文化もあるので、情報系で技術交流のためのカンファレンスの存在自体を否定するものではないのだが、それと研究業績が連動している必然性はない、という意味）
というわけで午前中は EMNLP 2020 読み会。本当は EMNLP 2020 の発表の方を聞きたいところだが、EMNLP に参加していない学生の方が圧倒的大多数なので、こちらを優先さぜるを得ないわけである。今日の論文紹介はどれもおもしろかったが、1本挙げるならこれかな。
- Shen et al. Blank Language Models. EMNLP 2020.
これはマスク言語モデルのような言語モデルについての研究で、text infilling と呼ばれる（任意の場所にある、任意の長さの）穴の空いたところを埋めるタスクなのだが、どの順番でどういうふうに埋めるかを含めて効率的に学習することで、少ないデータでも高精度な言語モデルが学習できる、という話。ただ計算は（効率的とはいえ）結構重たそうに見えるし、学習方法を複雑にするより大規模なデータで簡単な学習方法でスケールする方が現実的には好まれそうではある（少量のデータで学習したい、みたいな設定で効果がありそう）。ちなみにこれやっぱり BLM と言いたかったんだろうか。
午後は NLP 応用グループの進捗報告。大学でやっている研究テーマ別にグループを分けているので、修論なり卒論なりの研究テーマの他に、共同研究に関する進捗報告もあるのをよく忘れてしまう。共同研究でペアになっている学生が同じ研究グループにいればスムーズなのだが、必ずしも同じ研究グループにいないというのも問題をややこしくしがち。
夕方は国際会議のワークショップ関係のお仕事。どうも日中はほとんど大学の仕事で時間を使い果たしてしまい、この時間にならないとメールができない。本当は朝に一度メールの返事をして、夕方にももう一度メールの確認・返事をするのがいいとは思うのだが……。
