BERT ならなんでも解けるわけじゃない

午前中はデータ構造とアルゴリズムの演習。コーディングスタイルについて説明したうえで、Aizu Online Judge で課題を解く学生のコードをライブでリビューするのだが、これだけコーディングスタイルのことを伝えても、スタイルをガン無視で書く学生が3割くらいいる(これは毎年変わらない)。もっとも、授業ではコンパイルエラーが出たり wrong answer だったりしているコードしか見ないので、ちゃんとアクセプトされている人はしっかり書いているし、ちゃんとできない人は人の話を聞いていない(相関がある)、ということが可視化されているのかなとは思う。

午後は論文紹介と研究会。論文紹介は以下のものを紹介してもらう。

  • Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv 2018.

今年の NAACL 2018 でもベストペーパーを取った ELMo という論文がやっているのと同じタスクで、アルゴリズム的にはいくつかの手法を組み合わせているが(それぞれは既知の手法なので、この分野の研究をしていたら思いつくだろう)、ハードウェア的に力技で強力な単語と文のエンコーダを作りましたよ、という話。性能向上がめざましいが、使っているアーキテクチャ・ハードウェア的にこれを自分で学習するのは大変そう。あと、Bidirectional と言っている割にはあまり Bidirectional っぽいところはなく、ELMo という名前に引っ掛けて BERT と言いたかったのだろうな、という印象(セサミストリートのキャラクター)。

これで自然言語処理が終わりだ、というほど過大評価する必要はないが、エンジニアリングを含めしっかりしている部分を過小評価すべきでもなく、よくも悪くも記念碑的な研究になると思っている。うちの研究室でも、去年の終わりに ELMo が出て「単語や文のエンコーダの研究はもう終わりが近い、これからは言語生成のデコーダに言語的な知識を入れる方向に進むべき」と思って今年はいくつかの研究に取り組みはじめ、どのアイデアも予想通りには行っていないのだが、良好な結果が出ているにせよそうでないにせよ、世の中の人が騒いでいるその先を手探りで進んでいるのは楽しいものである。(こういうのが楽しいと思う人でないと、楽しさは分からないかもしれないが)

あと、個人的に「あっ」と思ったのはラストオーサーの所属。Kristina は自分が Microsoft Research (MSR) でインターンシップをしていたとき同じグループで研究員をしていて、その後 NAACL のプログラム委員に声をかけてくれたり、国際会議で会って話したりしていて、自分が世界の研究者コミュニティとつながるきっかけを作ってくれた恩人の一人なのだが、彼女はずっと MSR だったのが、Google に移籍していたとは。そもそも Google はいくつ研究グループがあるのだろうか……。

夕方には秋入学の研究生、交換留学生と研究室インターンシップの B3 の4名の歓迎会。「いまはまっているもの」を自己紹介がわりにスピーチしてもらったら、みんな好き好きに話してくれておもしろかった。自分が最近やっているのは口コミ投稿で、iPhone でできること、というと Twitter に書ける程度の分量のテキスト(と写真)くらいしかアウトプットできないので、割り切って書いている(インプットに時間を使った方がいい気がしなくもないが、目を酷使すると仕事に差し障りがあるので、余暇にできることにも身体的な制約がある)。

帰りは交換留学生を調布の宿舎まで送ったが、こんなところに宿舎があるのか〜。グローバル人材育成入試で入学した国際副専攻の学生に、ルームシェアしたりするチューターとして入ってもらったりしていると聞いていたが、日本にいながらにしてルームシェアでいろんな人と交流できるのはいい制度だと思う。自分はオーストラリア留学で初めてルームシェアしたが、若い人はもっとルームシェアしたらいいと思っている(首都大生は自宅通学の学生が多いのだが)。