今日も妻の出勤日（午前中）なので、午前中は在宅。ただ、今日はどうも下の子の機嫌があまりよくなかったので仕事はできず、昼から交替して出勤。
昼は研究室公開で、学部生が2人見学に来ていた。一昨年くらいまでは11-12月に1-2回やっていて、1回は10人近く来る回があったのだが、どうも「この研究室に行きたい」というのではなく、単に研究室公開に来て（うちの研究室というわけではなく、一般的に）研究室配属について知りたい、という人がほとんどのようなので、去年からは1月に開催することにしたのである。こうすると、ほとんどの人は他の研究室公開を既に聞いているので、うちの研究室に特化した部分だけをピンポイントに話すことができて、割とよい。他の研究室の研究室公開にフリーライドしている面もあるのだろうけど、先にやる方が聞く学生に強い印象を残せると思うので、どっちもどっちかな。
昼からは論文読み会。スライド
- Jiatao Gu, Changhan Wang, Jake Zhao. Levenshtein Transformer. NeurIPS 2019.
研究室の中でも進捗報告で何度か話題にしていたので、興味津々であった。seq2seq みたいなタスクだと普通は出力側は RNN 等を用いて左から右に順番に生成していくのだが、最近流行っている non-autoregressive な手法というのは、出力を一気に生成するというアプローチ。利点としては（n-gram 言語モデルのような）既に生成された左側の情報だけでなく（マスク言語モデルのように）右側の情報も用いることができるという点だが、欠点としては直接左右の履歴を考慮できないということで、層を深くしたりしないといけないのかなと思ったりしている（固定長までの出力しか出せないという話もあるが、そもそも長い出力は出しても意味がないことが多くデータから消したりするので、ほとんどのタスクでは大きな問題ではないと考えている）。この手法は一度生成された出力をさらにリファインするというやり方で改善している。精度が向上するという主張ではなく、RNN のように順番に生成する必要がないので（モデルのパラメータは多くなるだろうけど）高速に動作する、という主張（Gu et al. (2018) の non-autoregressive NMT も速度の向上がポイントだったと思う）。先行研究と比べてどこがポイントなのかいまいち分かりにくかったが、模倣学習するところだろうか。ちなみにコードもあるのですぐ試せる。
我々も、機械翻訳と比べるとほとんどの単語のコピーで対応できる文法誤り訂正こそ編集操作でやるのが向いているのでは、と思って2017年から2018年にかけて実験したりしていたのだが、そのときはあまり精度的には向上しないという結果で、そのまま止めてしまっていた。速度とか他のポイントを見た方がよかったか。文法誤り訂正では誤り検出したあとは BERT で訂正する、みたいな手法の報告もあるし、non-autoregressive なモデルは BERT とも相性がよく、デコーダ側に深層言語表現モデルを活用するのに向いてそうなので、研究室で誰かやらないかな（ということを、去年のこの時期も言っていたのだが……）。
- Yiyuan Li, Antonios Anastasopoulos, Alan W Black. Towards Minimal Supervision BERT-based Grammar Error Correction. arXiv 2020.
研究会は言語処理学会年次大会の進捗報告。基本的にはもう全員初稿はもらっているし、仮投稿を済ませた人もいるし、あとはブラッシュアップしていくだけである。しかし今年自分は学外の人とも2本一緒に書いているので、そちらの仕上がりが心配。試行錯誤の結果、11月末に目次発表、12月下旬に初稿という流れでやっていて、これが〆切前にバタバタしないスケジュール感なので、この段階で初稿が完成していないと（〆切直前に見たりしないといけない可能性があったりして）不安になる。
夕方は博士後期課程の学生の進捗報告。話を聞くといろいろ進んでいるのがさすが博士後期課程の学生である。誰かが発表したことを後追いでやるのではなく、自分しかやっていないことをやるというのは気持ちのいいものである。
