今日は第9回最先端 NLP 勉強会参加のためにリクルート MTL カフェへ。
この勉強会は毎年この時期に開催され、最前線で活躍する人たちがみんなが読みたいと思っている論文を紹介する、という趣旨で開催されている勉強会で、読む前に論文の投票があったりなんだりと、独特のプロセスがある。
自分はというと今年は以下の論文を紹介。
- Ding et al. Visualizing and Understanding Neural Machine Translation. ACL 2017.
詳しくは紹介スライドを見てもらえるといいのだが、ニューラル機械翻訳を可視化したいというモチベーションで、ニューラル機械翻訳ではデコード時のアテンションを見ることで少しは見当が付くのだが、それでは全然十分ではないのでもっと細かく見たい、という話（アテンションはアライメントとも違うので、解釈しにくい）。
あとで [twitter:@cacaho] さんに指摘されるまでこれが outstanding paper であることを知らなかったのだが、ニューラル機械翻訳の可視化という意味ではかなり汎用性が高い手法であると思う。手法ごとに作らないといけないのが若干厄介だが、難しい話ではないので、OpenNMT とかユーザが多いツールには誰かが実装しそう。
他の人の話では [twitter:@sho_yokoi] さんの紹介した以下の論文が断トツにおもしろかった。
- Nickel and Kiela. Poincaré Embeddings for Learning Hierarchical Representations. NIPS 2017.
詳しくはこの論文の紹介記事（異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開）や紹介スライドに譲るが、word2vec を超えて、言語処理に向いた word embeddings とは何か、という問題に取り組んだ研究で、リーマン多様体上の最適化が必要ではあるが、圧倒的に低次元で高い性能を叩き出しているし、すごい話である。まあ、最終的なタスクが決まっているときに分散表現を学習するなら10次元もなくても高い性能が出せる、というような話は隠れ分布を用いたモデルの研究でも聞いたので、性能が高いというのだけで評価するのは性急だろうが、間違いなく新しい分野を切り拓く研究で、極めて独創性が高かった。
今年の勉強会は休憩時間にそこそこ余裕があり、色んな人と話すことができて満足度が高かった。言語処理学会年次大会に参加するより満足感があったような……。（今年筑波日帰りの1日のみの参加で、しかも筑波でもほとんど ACL の author response を書くか、そのためのミーティングをせざるを得なかったせいだが）
