午前中から午後にかけて、NAACL 読み会。ようやく少し時間が取れそうなので、残った学生分をこの日にしてもらったのである。
今日はおもしろい話が多く、
- Liu et al. Agreement on Target-bidirectioanl Neural Machine Translation. NAACL 2016 (short).
- Huang et al. Visual Storytelling. NAACL 2016 (short).
- Zhang et al. Top-down Tree Long Short-Term Memory Networks. NAACL 2016 (long).
が記憶に残る。
1つ目の論文は、左と右の両方から翻訳して一致するように翻訳するだけで精度が上がる、という話なのだが、えっ、こんな簡単でいいの？ とちょっとびっくり。attention を入れていないような手法だと、間違った訳語を生成するとそこから先に伝播してぐちゃぐちゃになるという影響が強いだろうし、一致を見る意味がありそうだが、attention を入れている手法でもこれだけ上がるということは、誤りの伝播を真面目に考える必要がありそう。ニューラルな翻訳は文全体がきれいに翻訳できるかあるいは全体がぐちゃぐちゃになる、というような現象が確認されているが、これまでの機械翻訳の評価尺度ではうまくニューラル翻訳を評価できないのでは、という気がしている。
2つ目の論文は、Some picks from NAACL 2016 でも取り上げられているものであるが、個々の画像に説明をつけるというのと、一連の画像に説明をつけるのとの違いにフォーカスを当てて、データセットを作った、という話。つながりを考慮するのはけっこう難しいタスクだと思うのだが、言語処理の技術の問題もさることながら、評価もどういうふうにするのがいいんだろうか、というのがよく分からない（言語生成のタスクすべてに共通する問題でもあるが）。
3つ目の論文は、依存構造木の root からトップダウンに計算するような統語的言語モデルを作った、という話で、自分も一時期 syntax-based な言語モデルを英語の文法誤り訂正のために使えるかとあれこれ見ていた時期があり、ニューラルにやるといまでは確かにこういう感じかなぁ、という意味で納得度が高かった。要は、本当は木構造で再帰的に計算したいところを、リカレントな枠組みも使って表現すると、割とうまくいく、というような知見なのではないかと思う。
やはりときどきはこういう論文読み会を開催したいと思うので、今年はあと ACL と EMNLP の読み会かな。
夕方は早めに保育園に帰り、娘をかかりつけの医院に連れていく。特に体調が悪いわけではないのだが、虫刺されがひどいので、ステロイド入りの軟膏をもらう。いつも短パン半袖になりたがるので、保育園で外に遊びに行くと、いつも刺されるのである……。
