午前中から午後まで、EMNLP 2014 読み会である。
今回はどの論文もおもしろく、取り上げるのに苦労するのだが、フルペーパーとショートペーパーそれそれ挙げると（ほとんど全員フルペーパーを紹介していたが）
- Chen et al. A Unified Model for Word Sense Representation and Disambiguation. EMNLP 2014. スライド
- Apostolova and Tomuro. Combining Visual and Textual Features for Information Extraction from Online Flyers. EMNLP 2014. スライド
である。
前者は流行りの単語の分散表現学習を語義曖昧性解消と同時に解く、というストーリーで、語義曖昧性解消も左から右に決定的に解いたり、easiest-first のように語義の曖昧性がないところから決めたり、アプローチが至極真っ当である。語義を決めたら周辺の単語ベクトルも更新するので、one sense per discourse のように、似ている語義が同時に用いられやすい、というような制約（選好）を自然と考慮できている。ちょうど先日 WebDB Forum で[twitter:@keyakkie] さんの語義曖昧性解消に関するポスター発表を聞いて、やっぱり全体で最適化できるといいなぁ、と思っていたので、納得度が高かった。
一方、後者はオンライン広告（この論文では不動産）から、見栄えに関する素性を抽出したら固有表現認識に役立ったという話で、素性の抽出方法は微妙だが（もっとちゃんとしてたらフルペーパーだろう）、テキスト以外の手がかりも使って自然言語処理のタスクをよくする、というのは個人的な趣味とマッチしていて、好きな研究である。画像や動画とテキスト、みたいなマルチモーダルな処理も、深層学習の発展でますます注目を浴びているし、まともに使えるようになってきたのかもなぁ。
自分が紹介したのはちなみに以下。
- Zhang and Wang. Go Climb a Dependency Tree and Correct the Grammatical Errors. EMNLP 2014. スライド
依存構造解析を使って英文誤り訂正を行なうという話。構文解析の結果は英語学習者の文法誤り訂正にいかにも効きそうなのだが、実際入れてみるとほとんど効果がない（むしろ性能が悪化する）、ということが往々にしてあり、一体どのように入れたら使えるのか？と常日頃思っていて、その一つの解かなと思う。手法はシンプルで、適当に枝狩りした係り受けの部分木上で n-gram 言語モデル（TreeNode Language Model）を学習するというもの。実装も簡単。遠距離の依存関係を考慮できるという利点と、構文解析の誤りの影響を最小限に抑える n-gram 言語モデルの組み合わせとで、効果があるのかもしれない。
実は我々も Berkeley Language Model の Treelet Language Model というのを使って同じデータで英語学習者の文法誤り訂正をしてみたことがあるのだが、そのときも（期待に反して）全然うまく行かず、頭を抱えていたのである（この論文でも、ベースラインの一つとして、我々の研究について言及されている）。Treelet Language Model は計算量もさることながら、学習者の書いた文章は誤りが多々含まれるので、普通の構文解析器ではうまく解析できない、というのが一番の問題だろうか。
英語の論文を読んでスライドを作って説明するのにもみんな慣れてきたようで、質疑込みでだいたい1人20〜30分である。来年度、これは1日では終わらないので、全員が何か発表するというのをやめるか、2日間にするか再検討しないと。
今日から妻が仕事を再開したので、保育園の送り迎えを年度内は木曜日だけ担当することになったのだが、木曜日は教授会があったりして遅くなりがちなので、気をつけないと……。
