シンプルな手法は使い勝手いい

午前中はアルゴリズム演習。今日が自分の分担の最終日だったので、試験を実施したのだが、いつもの1.5倍くらいの参加者がいてびっくりする。内容ができていれば特に授業を聞く必要はないと思っているので、普段は課題さえ出せば出席不要にしていて、毎年同じスタイルなのだが、今年は人数少ないな、と思っていたので(うちは1コース50人ほどなので、学年によってかなり雰囲気違う)。

午後は論文紹介を聞く。(スライド。リンク先のアドレスが変だが、一応見られる)

  • Makoto Morishita, Jun Suzuki and Masaaki Nagata. Improving Neural Machine Translation by Incorporating Hierarchical Subword Features. COLING 2018.

最近、研究室では機械翻訳の単位としてどういう単位がいいのか、ということをチクチクと考えていて、エラー分析の結果を見たりすると単語やフレーズの構成性が重要なのでは、と思っていたのだが、単語より小さい単位をうまくデコーダにつなげるにはどうしたらいいかなぁ、と思っていたら、この論文がちょうどそういう問題を扱っていた(言語処理学会年次大会のとき、話に聞いてはいたが)。

結局この論文というか手法というか知見としては、階層的な部分単語だけではなく任意の単語に関する素性を(パラメータを増やさずに)入れられるということで、シンプルだけど割と汎用性が高くかつ使い勝手もよさそうな話。工学的な有用性を離れると、知りたいのはとても深いネットワークを使うと有用な表現がちゃんと得られるか、というところなのだけど、そういうことをしようと思うと単語(?)から出発するのではなく文から出発しないといけない気がするし、Skip-Thought から Quick-Thought そして BERT みたいなのにつながるように、文単位で何かを教師なしに学習する、というような機構が必要そうに思っている。大規模テキストをうまく用いて、文のエンコーダとデコーダがちゃんと作れるといいなぁと考えたりしている。

夕方は論文誌の査読対応。最近は国際会議にばかり投稿しているので、論文誌のカルチャーになかなか慣れないが、自分も論文誌やフルペーパー重視に変えていきたい(自分が学生時代はそうだったが、助教になって少しショートペーパー重視になっていた)し、丁寧な研究を心がけたい。