文法をデコーダ側で考慮する

今日は東工大すずかけ台キャンパスにて ACL 2017 読み会@すずかけ台に参加。こじんまりした部屋でできるので、割と好きな会である。

自分はというとこちらでは以下の論文を紹介。

  • Wu et al. Sequence-to-Dependency Neural Machine Translation. ACL 2017.

詳しくは紹介スライドに譲りたいが、構文情報をどのようにニューラル機械翻訳に入れるか、という研究で、入力は単語列で出力は依存構造を考慮したい、というモチベーションであり、出力を少し工夫して shift-reduce の系列変換を学習することで、この問題に対処している。アンサンブルどうやるんだろうとか、強化学習(模倣学習)的にやった方がいいんじゃないか、とかいくつかコメントはあるが、シンプルなアイデアでちゃんと結果が出ていていい研究だと思う。

これは口頭で捕捉したが、去年の夏ごろニューラル日英機械翻訳に構文情報を入れる方法を検討していて、NLP 若手の会シンポジウムでも発表したのだが、文節情報を入れようと色々やってもなかなかうまく行かず、断念したのがあったのだが、[twitter:@shonosuke_i] くんが英日で以下の論文を発表していて、なるほど、英日なら日本語側のチャンク情報としてデコーダに入れればよかったのか〜、と思った次第。

  • Ishiwatari et al. Chunk-based Decoder for Neural Machine Translation. ACL 2017.

惜しむらくはあまり時間がなく BBQ にも参加できず、皆さんとほとんど話せなかった件であるが、こればかりは仕方ない。せっかく [twitter:@chokkanorg] さんも東京に戻っていらした([twitter:@hitoshi_ni] さんも帰国された)ことなので、関西に重心があった自然言語処理で、東京のプレゼンスを上げていきたい。