朝、今日も娘を連れて出勤か、さすがに保育園に行ってもらわないとそろそろまずい、と思っていたら電話がかかってきて、今日のお迎えから実家で見てくれるとのこと。火曜日に始まり、今週いっぱいはほぼ（仕事をしながら）ワンオペ育児かと思って死にそうになっていただけに、ありがたい。とりあえずプリン1個と引き換えに今日は保育園に行ってくれるそうで、なんとか乗り切れそう。
土曜日に日野キャンパスでオープンキャンパスがあり、実家で見てもらうあてが外れて急遽土曜保育をお願いしたり（本来、1週間を切ってから依頼してはいけないのだが、事情が事情だけに OK してくれた）、バタバタしていたが、お願いしていた土曜保育をさらにキャンセルしたりして、混乱に拍車をかける（保育者さんたちも混乱していて、自分と妻の両方に SMS で確認が来たりしていた）。申し訳ない……。
午前中は古典論文紹介で、
- Chris Callison-Burch Miles Osborne Philipp Koehn．Re-evaluating the Role of BLEU in Machine Translation Research. EACL 2006.
を紹介してもらう。機械翻訳の研究を大きく進めた一つの技術に BLEU という自動評価尺度があるのは疑いがないが、BLEU に問題がある、と言う（言いたい）人が多いのも事実で、この論文はいかに BLEU がダメか、ということを前半では理論的に、後半では実証的に示した研究である。
前半では BLEU が n-gram の精度で測ってるからこのようにランダムに並べ替えて意味が全く通らない文でも高いスコアになってしまう、ということを延々説明しているのだが、実際はそれらの文は言語モデルスコアが低くシステム出力とはなりえないので、この議論はちょっとどうか？と思わなくもない。
後半は、確かに BLEU と人手評価の相関は、仕組みが全然違う手法では比較できないよね、ということが示されていて、そこは特に異論はないのだが、これは BLEU を使う人としては割と周知の事実だと思うので、今さらそれを言われても、という気がする。ただ、それはこの論文が初めて言っていて、それをもって自分もこれが常識だと思っているかもしれないので、そうだとしたらこの論文には意義があると思うのだが、自分が統計的機械翻訳の研究を始めたのもちょうど 2006 年で、その頃を思い出しても、例えばルールベースのような手法は BLEU が低くても人手評価は必ずしも低くない、ということはよく知られた事実だったような……。
最近考えているのはニューラル機械翻訳の評価に適した自動評価尺度であるが、可能な限り教師なしにしたい反面、結果の再現性や説明のシンプルさ、使いやすさも大事だと思っていて、相関は高いがモデルが大きい、みたいにならないで動くようなアプローチがないものか、と折に触れて考えたりしている。
昼からは EACL 2017 読み会。たまたま午前中のも EACL だったので、10年ジャンプしたことになる。
印象に残ったのは
- Alexis Conneau; Holger Schwenk; Loïc Barrault; Yann Lecun. Very Deep Convolutional Networks for Text Classification. EACL 2017.
で、画像認識のように何十層も積んだニューラルネットワークを初めて自然言語処理で適用した、という内容。それまで自然言語処理でも CNN を使った研究はあったのだが、せいぜい数層で、確かにそんなに深いのは最近までなかった（Google のニューラル機械翻訳は8層積んでいたと思うので、全くないわけではない）。まあ、入力が単語で8層というのと文字で27層（4単語くらいに相当？）というのは意味が違うので、very deep といえどあまり文脈は見ていない感がある（もちろん、長距離の文脈を見ることに意味があるという主張ではないだろうから、それはいいのだけど）。
こういう研究が2017年に出るというのは古いなと思ったが、元々は2016年6月に arXiv に投稿されたもので、日付的には EMNLP 2016 に投稿され（て落ち）た研究のようで、まあ2016年6月と言われると納得。EMNLP 向きの内容だと思うが、実験結果がいまいち（確かに、文字単位で very deep にするといい、という実験結果というよりは、文字単位でも very deep にすればいい、あるいは very deep にするなら文字単位にすればいい？）なので通らなかったのだろうか？
しかしこう研究の速度が速いと、大きなラボが有利になるし、口コミ的なノウハウが決定的になったりもするし、なんか我々の向かうべき方向ではないように思うのだが、こういう世の中でいいんだろうか。
