優秀な人が集まる環境に

今日から妻が3連勤なので、上の子も必然的に3日連続保育園。

午前中は論文紹介。最近固有表現認識に興味が出ているので、以下の論文がちょっと気になる。

  • Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, Michael Auli. Cloze-driven Pretraining of Self-attention Networks. EMNLP 2019.

ターゲットとなる単語の左文脈と右文脈を区別して学習している、というところが特徴的な構造で、それで系列ラベリングタスクに向いている、ということのようなのだが、系列ラベリング以外では別に BERT より良いわけではないようで、どういうこっちゃ、という感じ。ちゃんと論文を読まないと分からなさそう。

最近スパンを用いた手法があれこれ提案されているようだが、結局ターゲットの中と外を区別する、ということに意味があるのでは、という気がしたりしている。これまでも単語の中は文字 Bi-LSTM で処理し、外は単語 Bi-LSTM で処理し、みたいな話はよくあったし。とりあえず単語に切って BPE でサブワードにしたら、あとは一つのモデルで学習しても、データが超大量にあったら(そしてそれを処理できるだけの GPU があったら)問題ない、ということなのかもしれないが……。

お昼からは研究会。大学院と研究生の新入生の自己紹介で、これまでに取り組んだ研究の話を聞いたりする。色んなバックグラウンドの人がいて、結構おもしろい。大学院から来る人は積極的に多様な人に来てもらおうとしているので、今後も色んな人に来て欲しいと思っている。

そういえば最近話題の「Learn or Die 死ぬ気で学べ」を読んだ。

PFN の創業にまつわる秘話と、どういうポリシーでこれまでやってきたか、そしてこれからやっていくか、という話が満載で、とても刺激的であった。当たるかどうかはともかく、ビジョンを持って未来を作ろうとしている、ということもひしひしと伝わってくるし、素敵だなぁと思う。

自分がハッとしたのは採用方針に関するところ(岡野原さんの文章は第4章、西川さんの文章は第6章)で、自分より優秀な人しか採用しない、という話。同じ話を NAIST の中村先生が着任された時にしてくれて、自分より優秀な人しか採用しなければ、その組織はよくなっていくので、採用はとびきり優秀な人を取るべき、とおっしゃっていたのを思い出す(そして着任した助教がグラムさんだったので、納得)。自分は大学の人事に1㍉も関わっているわけではないし、内部生の研究室配属に関しては裁量が一切ないが、大学院で外部からどういう学生を受け入れるのかは裁量があるので、何らかの観点で「これは」と思う人に研究室に来てほしいな、と思ったりする。

午後は Zoom の Webinar で研究費の説明会を聞いたりする。たまたま今年は新型コロナウイルスのためにこうなっているが、個人的にはいつもこういう形でオンライン開催していただきたいと思っている(あるいはオンサイトの開催が複数場所であってもいいのだが、1回はオンラインで開催してもらいたい)。

その後、翌日の都立大での自然言語処理の授業のために Google Classroom の設定をしたりする。この科目、B4 と修士の学生のどちらも履修できるようになっているのだが、今学期はなぜか B4 の履修生が両手で数えるくらいいる(例年は1人いるかいないかくらいなのだが)。B4 で単位を取得してしまうと、大学院に進学しても同じ授業では単位が取れなくなってしまうのだが、それはいいのだろうか……(面々を見ると、それは別にいいような気もするが)

夕方は色々と査読依頼をしたりする。自然言語処理も昨今のトップカンファレンスの投稿の過熱ぶりを見ると、国際会議中心の文化からジャーナル中心の文化になったほうがいいと思うので、微力ながら続けていきたい。