今日は一日中研究室関係のイベントということで、10時半スタートで、間に30分の昼休みと1時間半の研究会（研究室の全体ゼミ）を挟んだだけで、18時近くまでずっと EACL/NAACL 2021 読み会。
トップカンファレンス・メジャーカンファレンスの論文は、読み過ぎても論文が書けなくなると思うが、読まなさ過ぎても論文が書けないので、いい塩梅で読むことが大事で、色々試行錯誤した結果、研究室では年3回程度の国際会議の論文読み会を開催している。
論文読み会は原則全員参加で、1人1本紹介してもらうのだが、その1本を選ぶとき、紹介する論文が1本見つかればそれだけ読めば OK という形ではなく、一応全ての論文のタイトルを眺めてもらっている。というのも、世の中でどういう研究が多く論文が発表されているのか、というのを、そういう研究を自分がするかどうかは置いておいて、知っておくことは意味があると思っているからである。
自然言語処理の論文は、今は深層学習を無視して語ることができなくなっていて、2014-2017年くらいは（発展が著しすぎたのもあるだろうが）「deep でポン」と呼ばれるような深層学習を適用しただけのような話が多くてあまりおもしろくなかったが、2019年くらいからは割と様々なタスクでベストプラクティスが落ち着いてきて（基本的には データが十分あれば Transformer を用いればいいし、なければ事前学習モデルを用いればいい）、自分的には興味深い研究も増えてきているように思っている。気になるのは巨大なモデルを学習するには計算機資源が必要であるということだが、まあこれは仕方ない（そういう研究が全てというわけでもないので）。
