午前中は論文紹介。1本目は以下。
- Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer. Deep contextualized word representations. NAACL 2018.
単語分散表現は学習時には文脈を考慮してベクトルを訓練するが、使うときには文脈を考慮することができないという問題があるため、分散表現を得るためのデコーダを用意して単語ベクトルを得る、という話。word2vec や GloVe のような単語分散表現は扱いが簡単で効率的だが、単語トークンに対する分散表現を得ることができず、単語タイプに対する分散表現しか分からないので、このような拡張をするというのは理に叶っていて、いい感じ。
しかし単純な単語分散表現と違ってこのモデルでは双方向の RNN（リカレントニューラルネットワーク）のレイヤー数分パラメータを持たないといけないので、実際に使うときに必要なパラメータ数がものすごく増えていて、これで精度が上がったと言ってもあまり嬉しくない（その増えたパラメータ数は、ここで使うのではなく上流のタスクで使った方がいいのかもしれない）。あと、計算が重たいという問題もあり、単にトークンに対応する分散表現を得るだけなら CNN ベースの手法でいいのではないか、という気がする。一番気になるのはニューラル機械翻訳のデコーダなどにこういうのを使うという設定で、エンコーダには簡単に入れられるが、デコーダに入れる方法は自明ではない。
2本目は以下。
- Shamil Chollampatt, Hwee Tou Ng. A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction. AAAI 2018.
これは Facebook がニューラル機械翻訳に（よく使われる RNN ではなく）CNN（畳み込みニューラルネットワーク）を使ったという話と関連していて、英文法誤り訂正に CNN を用いたという話。文法誤り訂正のほとんどは（機械翻訳とは異なり）局所的な情報で解けるので、CNN で大部分が解けるというのはそうだろうな、という印象。Facebook の CNN の話が出たときに、誤り訂正でもやってみてはどうか、というのを学生にも提案したのだが（もっと言うと、2016年くらいから言っているのだが）、あまり興味を持ってくれる人がいなかったので流れてしまった。ちゃんとやれば AAAI のようなトップカンファレンスに普通に通るネタだと思っていただけに、先を越されて残念である（この分野、2年経っても手が着いていないことは稀なので）。
関連研究として以下を教えてもらったのだが、こちらは CNN より Transformer（self attention）が最強、という結論らしく、そちらはさらに納得。self attention は速度が遅いが長距離の依存関係も取れるし、今回のようなタスクではもっとも有効に機能するだろう（というか、メモリ等効率を度外視すると、文書要約やテキスト平易化等、単言語でやるタスクは self attention が強いのではないか？）。
- Junczys-Dowmunt et al. Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task. NAACL 2018.
今日は秘書さんの出勤日だったので、お昼はひたすら事務処理。大人の事情で4月に1ヶ月お休みしてもらっていて、いつもは年度始めは特に仕事が多くない（研究費もほとんど使えない）のでいいのだが、今年度は学生の海外出張が多いために4月なのにかなり書類が多く、申し訳ない感じ。今年は去年にも増して、効率的な経費執行に勤めたい。
午後は教授会。新組織の教授会と旧組織の教授会が連続しているが、どちらでも学部教務委員長として審議依頼する案件があり、大役である。終わったあと「去年はさんざん揉めて今年度まで長引いたのに、今年は1回で決めてすごいですね。落としどころをうまく見つけられましたね。お疲れ様でした」と言ってもらえて、少し報われた気がする。
夕方は臨時の学科会議。今年度は自分が定例の学科会議に全く参加できないという問題があり、自分が関係する審議案件があったために、急遽開催を依頼したのであった。こちらも2件無事承認されたが、色々やるべきことも増えてしまった感がある。
