午前中はオフィスアワーで進捗を聞く。前回の報告から1ヶ月経っていたそうだが、そもそもその前回の報告もオフィスアワーだったので、オフィスアワーの機会に聞いていない人は前回聞いたのから2ヶ月以上聞いていないのでは、という気がする。
昼過ぎは論文読み会で、2本の論文を紹介してもらう。1本は、最近出て話題になっていた以下の論文。
- Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv 2019.
論文を読んだ訳ではなく紹介を聞いただけだが、全ての層でパラメータを共有するといい、というのは去年くらいからチラホラ出ていた話で（うちの研究室でも、前の文の情報を入れると翻訳が少しよくなるのは、前の文の情報を入れているからというよりは、前の文を処理するネットワークも同じパラメータを共有しているからでは、というような議論を2018年の半ばごろからしていた）、そこは納得（単語分散表現を分解して学習するのがいい、というのはパラメータ共有している場合の話なので、そこまで特筆すべき貢献ではないと思う）。実験結果を見ても、同じくらいの精度で BERT と比較すると特に速くはなっていない（というかむしろ数倍遅いくらい）ので、Lite と言っても速いところを売りにするのではなく、モデルが小さくなるというのがポイントなのだろうけど。
あと、次の文の予測ではなく隣接する2文の順番を予測する問題の方がよい、というのは確かにそうかもと思うし（次の文を予測する場合、何を負例にするのがいいのかよく分からない）、こちらがこの研究的には本質的な貢献になりそうな気がする。文間の関係に関する情報をどのように考慮すればいいのか数年前までよく分かっておらず、推論タスクなんかは（人間と比べると）自然言語処理では壊滅的にできなかったのであるが、深層学習でようやくできるようになってきた、というのはエポックメイキングである。そもそもこれくらいの文数を使って生コーパスから教師あり学習する、というのは深層学習でなくてもできたと思われる（なので、データの問題ではないはず）が、学習の仕組みとしてニューラルでないとできなかった、というのは予想できなかったなぁ。
自分はアーリーマジョリティ寄りのアーリーアダプターだと思う（決してイノベーターではない）のだが、このあたりの目利きの能力をもう少し上げてみたい。
午後は研究会（全体ゼミ）で、インターンシップ（Lang-8）の参加報告と研究所（国語研、理研 AIP、NICT）の紹介。数年前からだいたいこのスタイルでやっていて、夏休み明けは夏休みのインターンシップの報告、そして RA やアルバイト等をしている研究所の紹介、そして共同研究・受託研究の紹介をしてもらっているのである。研究室インターンシップで来ている B3 の人に向けて企業や研究所の話をしてもらうのに加えて、そもそも同じ研究室の中でも意外に他の人が何をしているのか知らなかったりする（教員は把握しているが、学生同士は違うグループだとあまり交流がないこともある）ので、全員の前で共有してもらっているのである。NAIST にいたときも、博士後期課程の学生なら研究室の任意の学生の研究を代わりに説明できるくらいは把握しているよね、みたいなことを言われたことがあり、うちの研究室でも研究室3年目の人はそれくらいできるといいかなと思っている。
ちなみに Lang-8 では 開発者を募集中らしいので、興味ある方はどうぞ。
夕方は研究室の新入生歓迎会。10月からの留学生と B3 の研究室インターンシップの学生の歓迎会で、毎年この時期に実施している。以前はクリスマス会も開催して、B3 の人も（自宅に）呼んでいたのだが、研究室の学生数が多くなりすぎたのと、娘が小さくインフルエンザや風邪をもらう可能性を考えると呼びにくい、ということで、自宅開催は最近はやれていない（年によって、忘年会はすることがある）。1時間くらいで帰ろうかと思っていたが、昔の思い出話をしたりしていたら2時間くらいいたようで、慌てて帰る。
今年は研究室配属でうちの研究室に来たいと言っている B3 の学生がすでに2人いるので（前期から基礎勉強会に出たりしていたし、現在もすでに国語研のアルバイトをやってもらったりしているが）、なんだか例年と様子が違いそうである。早くから専門を始めることに関してはいい面も悪い面も両方あるし、自分自身ふらふらしてから自然言語処理に来ているのであまり早くから始めない方がいいと思うのだが、余力のある人が好きに色々やるのはいいと考えている。専門を決めて特化するために早くからスタートするのではなく、たまたまそのとき興味のあることをガーっとやればいいという気持ちで、複数の知識を持った人が増えるのはよいことである（自分の分野の専門家を育てたい人からすると他のところに行かれるのは嫌かもしれないが、自分は特にそうは思っておらず、色んなところに自然言語処理や機械学習の知識のある人が増えれば満足なので）。
