今日は最先端 NLP 勉強会参加のために東大本郷キャンパスへ。
自分はABCNN という、アテンションに基づく CNN（畳み込みニューラルネットワーク）を用いた文の類似度のお話（TACL 2016）。深層学習ではアテンションがアライメントと同様の役割を果たしていると思われるのだが、最近うちの研究室の [twitter:@moguranosenshi] くんが単語やフレーズのアライメントを考慮した文の類似度がけっこういい、という一連の研究をしているので、これをニューラル的にやるとどうなるか？ということで紹介したのである。
仕組みは複雑ではないし、複数の実装が存在するようで、試すのも簡単であり、割とよい手法ではないかと思う。結局、ニューラルにしたのがいいというより、単語なりフレーズなりのアライメントを見るのが有効なタスクが多くある（二つの文が似ていなければ似ていないほど、アライメントを見ないといけない、という逆説的な状況だが）、ということだと考えている。ニューラル手法あるあるだが、何が学習されているのかよく分からない（一応可視化はできるが、可視化してもぼんやりとしか分からない）、という問題はあるが……。
今回の最先端 NLP 勉強会、休憩時間やランチの時間での交流はとても素晴らしかったのだが、肝腎の発表に関する質疑があまり盛り上がらなかった印象（初日は盛り上がったのかもしれないけど）。紹介したい（紹介してほしい）論文をノミネートしたりする手間の割には、あまり効果がないような……。聴講だけしたい人にはいい会だったのかな。やはりうちの研究室でもちゃんと読み会を開催して、全員何らかの形で発表してもらおう、と思った。
