卒論は一人で書けるいい機会

午前中は EMNLP 2019 読み会。スライド

  • Abhijeet Awasthi, Sunita Sarawagi, Rasna Goyal, Sabyasachi Ghosh, Vihari Piratla. Parallel Iterative Edit Models for Local Sequence Transduction. EMNLP 2019.

最近は(というか去年の今ごろから) Non-autoregressive model というのに注目していて、これまで自然言語処理の言語生成では autoregressive model つまり文の先頭から順番に単語を生成していく(N-gram による生成が代表的だが、encoder-decoder モデルによる seq2seq でも大体そう)のが普通だが、そうではなく一気に出力を出す、というモデルである。利点としては autoregressive model は既に生成した過去の履歴しか参照できないが、non-autoregressive model は(masked language model のように)左右のコンテクストを考慮することができる、というものである(その代わり、1回出せば終わりという訳ではなく、出力をさらに入力に入れたりして、何回か繰り返す)。まあ、精度が向上する、という話ではなく、高速に動作する、という話ではあるが。この研究は文法誤り訂正、スペリング誤り訂正、OCR 誤り訂正といったタスクでその有効性を検証している(5-15倍高速になるというのは、割と効果が出ている気がする)。我々も昔に統計的機械翻訳の時代に文法誤り訂正で出力を何回か繰り返し入力に入れて、変化しなくなるまでやる、みたいなことを試したことがあって(NL 研か何かでコメントをもらってやってみた、みたいな感じだったと思うが)、精度は少しよくなった記憶があるので、速度だけでなく精度も上がりうるのではないかと思うのだが……。

昼から M2 の進捗報告を聞き、その後教授会。教授会はすぐ終わるのかと思いきや、定例の会だったので1時間くらいあった。自分が申請していた学内の研究費、学部内の推薦順位2番で全学に推薦する、という報告があった。原則40歳までという若手向けの研究費で、自分は今年41歳なので、推薦順位2番になるのは了承済みであるが(40歳を超えていても応募は大丈夫、というのも確認済み)、全学で総額1,000万円までの採択で、推薦順に採択され、自分が希望している金額は200万円なので、通るかどうかは他の人次第である(他の学部およびうちの学部の推薦順位1番の人を含め、1,000万円を超えたら自分には回ってこない)。

夕方は学部教務の仕事をしたり、研究室の学生の卒論を見たり。うちの研究室では最初こそ全員に卒論を書かせていたのだが、最近は大学院進学希望で全国大会や国際会議等で外部に公開される予稿がある場合(LaTeX のスタイルファイルを変えてコンパイルし直して提出するだけであり、その作業にほとんど意味がないと思うため)、卒論を書くことは免除している。そのため、最近は年1人くらいしか卒業論文は書いていない。とはいえ、進学予定ではない場合は、卒論を出してもらっている。進学予定ではない人に卒論を書いてもらうのは、もしかしたら単著の文章を書くのは一生でこれが最後かもしれないから、記念の意味も込めて書いてもらっているのである(進学する人は、修士論文は単著で書くので、この限りではない)。

そういえば、昔はある程度みんなにできるようになってほしいと思っていて、大学院進学者全員に(arXiv でもいいので)英語による論文投稿を義務付けたりしていたのだが、査読付きの国際会議等に投稿できるか微妙な研究結果なのに必死になって英語で論文を書くのは労力に見合わないと思うようになり、最近はこの要件を緩和した(ただし、成績には反映させる。大学院生にとって、成績にどれくらい意味があるのかは分からないが)。特に、外部受験生かつ博士後期課程に進学しない人にとって、2年間で国際会議に投稿して発表する、というのは学生にとっても教員にとっても相当ハードであり、それができるのは学生数が10人くらいの研究室のころで、いまはもううちの研究室ではできないだろう(入学前から研修生や研究生で研究室に出入りしているとか、学部時代に機械学習を用いる研究をしていたとか、社会人経験者でソフトウェア開発できるとか、そういう場合はいいのだが)。

結局、内部進学生については、進学後ちゃんとした論文が書けるかどうかは卒論の段階でほぼ分かる。言い換えると、ちゃんと実験してしっかり論文のフォーマットで書けるかどうかは、ミーティングや添削の往復をすれば分かる。ちなみに、B4 で学会発表ができた、あるいは国際会議に卒研の内容を投稿できたか、で能力が分かるわけではなく、国際会議に投稿できれば一定の能力があることは保証できるが、できなかったからといって能力がない訳ではない(たまたま選んだ研究テーマがよくなかった、という場合がありうるし、それは本人のせいではない。)、ということは、強調しておく必要がある。よくない研究テーマなら見切りをつけて他のことをすればいいのだが、タイミング的に見切りがつけられない、というのはありうるし、卒研が終わったら新しいことに挑戦すればいいので、卒研が対外発表につながるかどうかは、自分はあまり重要視していない。