精度だけ競争しても意味がない

午前中は論文紹介を聞く。今日は下記の論文を紹介してもらう。

  • Chunting Zhou, Graham Neubig, Jiatao Gu. Understanding Knowledge Distillation in Non-autoregressive Machine Translation. ICLR 2020.

論文自体はよく書かれているようだが、知識蒸留の観点から非自己回帰モデルを丁寧に分析している、という趣。非自己回帰モデルは去年の夏くらいから興味があったのだが、研究室でも興味を持ってくれる人たちが出てきてくれたので、最近は少しずつ勉強を始めている。研究室には大体世の中の半年〜1年遅れくらいで流行が来るのだが、なんでなんだろう?と思っていて、最近はグループミーティングで画像や機械学習系の論文も紹介してくれる人がいて、理由がなんとなく分かる。

多分機械学習系の論文(ICLR、NeurIPS、ICML 等)や人工知能系の論文(AAAI、IJCAI 等)を研究室であまり読んでおらず、ACL/NAACL/EMNLP 等を主に読んで、そこからアプローチを考えたりするので、タイムラグがあるようだ。それが悪いというわけではないのだが、アプローチで勝負するなら研究室としてもう少し手広く論文を読んだほうがいいと思うし、逆に言語で勝負するならもっと言語の知識や分析、アノテーションに力を入れたほうがいいのではないか、と思ったりする。

ちょうど ACL 2020 の基調講演で Rewriting the Past: Assessing the Field through the Lens of Language Generation というのがあって、自然言語処理の最新の話題から昔の話題まで、色々な研究者にインタビューしながら取り上げる、というとても面白い企画だったのだが、最後に「リーダーボードでトップに立ちましたというような研究ばかりではなく、地に足つけた言語の分析をしましょう」という話があって、そうだよなーと思ったりする。元々自分は言語寄りのスタンスであるにせよ、リーダーボードで世界最高精度!(state-of-the-art)というのも(あるいは誰かの提案した共通タスクに取り組むのも)研究の導入としてそこまで悪いとは思っていない(少なくとも研究グループの形成には役に立つ)のだが、それが研究の全てだと思われると、それは違うと言いたい。

ちなみに、論文を読み書きしていると「ここにエラー分析を入れてほしい」「これでできないことは何なのか考察してほしい」みたいに思うことがあるが、エラー分析は入れなくてもいいとは思っている人もいるのはまだ分かる(他の論文でも入れていないし、というのは「赤信号みんなで渡れば怖くない」と同じで、あまり理由になってないと思うが、エラーの理由がよく分からないので取り上げにくい、というのはニューラルの特性上仕方ない)が、むしろエラー分析を入れないほうがいいと思っている人もいる(定性的に恣意的な事例を見せられても説得力がないというのが理由)ようで、入口のとっつきやすさと入った後の大変さは違うなーと思ったりする。

昼には博士後期課程の受験希望者とオンラインで面談。最初から博士後期課程に入るのではなく、まず研究生になってはどうか、という話をする。研究生だと特に試験はなく、書類選考だけで、基本的に指導教員が OK と言えば入れるし、半年ごとに更新可能で最大2年間まで延長でき、やっぱり無理となったらお互い半年ごとに見直すことができるし、長くても2年で一区切りできる。

前は博士後期課程に進学するのは常にウェルカムだったのだが、仕事が研究職ではなく、進学してから3年以内に取れそうではない場合、最初から6年計画で(3年分の学費で)履修する長期履修制度もあるのだが、まず研究生をして(うちの研究室での)研究サイクルを把握してから進学したほうがいいのでは、という趣旨である。うちの修士はどんな形でもいいので(予稿がなくてもいいので)対外発表を1回する、というのが修士論文の提出要件になっているので、それと揃える、という意味もある(逆に、すでに学会発表をしたことがあるなら特に研究生をやらなくてもいい)。

うちの研究室で博士後期課程に進学した人の中で、これまでに博士号を取得した人が1人、単位取得満期退学した人が1人、退学した人が1人いて、恐らく今年度は2021年3月に3人新しく博士号を取得する人がいるのだが、3年で取りきれず留年する学生も新たに発生する見込みなので、博士後期課程の学生の受け入れ方針をどうするのがいいのかまだ悩んでいる。社会人や育児中の人は長期履修制度があるが、フルタイムの学生には長期履修制度は適用されないし、フルタイムの学生が博士号を取れないのは、受け入れ側にも責任があると思うので(これまでも、3年で取れなそうな人には、入学前からその旨を伝えているけど)。

あと、博士前期課程の受験希望の研究生(99%留学生)はこんな感じのウェルカムさではなく、博士前期課程の受験承諾書を出すのと同じかそれ以上に厳しく選抜している。研究生として受け入れたら、基本的には博士前期課程の受験承諾書は出すことになると思うし、そこで落ちたらお互い不幸になるので……(受験希望なだけなら他大学の併願もしてもらいやすいが、うちの研究生をしている学生に他大学の出願はしてもらいにくいので、落ちたら試合終了)。

午後は研究会で若手の会シンポジウムに向けた B4 の進捗報告を聞く。すでに実験もみんなスタートしていて、ベースラインの結果も出ているし、順調である。今年の若手の会はオンライン開催で、9/23に開催となったが、表彰もないので、研究が順調に進展していたら、原稿を書いてもらってもいいのかもしれない。

夕方は ACL Student Research Workshop の発表。人が来てくれるかなぁと心配していたが、チャットで呼び込みをしたりしたら少し来てくれて、チャットでも Zoom の Live QA でも盛り上がったので、よかった。聴く側としてはそもそもどの Live QA に人がいるか分からないという問題があるので、Twitter 等で宣伝をする、というのは割と効果があるのかもしれない (今回は Twitter で宣伝したわけではないが)。