自然言語処理研究の現在の価値観とその問題点

高村さんのページを見て考えさせられる。少し引用しておく。(NLP というのは自然言語処理のことである)

優秀な人材を有する民間企業を目前にし、研究機関としての大学の研究室の存在
意義がわからなくなっている人たち(特に若者)がいるようである。原因は、学
術界の迷走にある。学術界と産業界の間に本来存在すべき境界線を彼ら彼女らに
見せることに、我々は失敗している。  

このような状況において、今、自分が自分の思う方向にいくらかでも歩める立場
になった。とりあえずしばらくの間、次に述べるような方向性でやってみようと
思う。いくらかextremeであるが、燦々たる状況を考えると致し方ない。 

1. NLP communityの現在の価値観に迎合しない。つまり、論文を会議に通すため
の努力を最小限に抑える。通らなくても気にしない(ただし、自分の学生を徒に
危険に巻き込むわけにはいかないので、そこのバランスはkeepする)。 

2. 「役に立つ」という言葉の呪縛から逃れる。人の役に立つことを忘れるので
なく、真の意味で人の役に立つべく、自分の果たすべき本来の役割を全うする。

両方ごもっとも。自分も陰ながらそうあろうと努力しよう。実際そこまで論文を通すことに躍起になりたいわけではない(と言うと各方面から怒られそうだが)し、いい仕事をした結果優れた論文が書けて国際会議で発表できるのはいいのだが、なんでもかんでも「◯◯(←国際会議の開催場所の地名が入る)に行きたい」と言って論文を書くような段階は自分的にはもういいかなと思っている。そういうわけで、しばらく論文としてのアウトプットは減るかとは思うが、暖かい目(?)で見守ってほしい。今後は学生さんたちががんばってもらえればなと。自分より優秀な学生さんたくさんいるし、そういう人たちが世に出るのを手伝いたいという気持ちもあるし。

同様にNLP blog でも似たような話が出ていて、こちらも少し引用する。

I think I probably have two high level "complaints" about the program this year. First, I feel like we're seeing more and more "I downloaded blah blah blah data and trained a model using entirely standard features to predict something and it kind of worked" papers. I apologize if I've just described your paper, but these papers really rub me the wrong way. I feel like I just don't learn anything from them: we already know that machine learning works surprisingly well and I don't really need more evidence of that. Now, if my sentence described your paper, but your paper additionally had a really interesting analysis that helps us understand something about language, then you rock! Second, I saw a lot of presentations were speakers were somewhat embarassingly unaware of very prominent very relevant prior work. (In none of these cases was the prior work my own: it was work that's much more famous.) Sometimes the papers were cited (and it was more of a "why didn't you compare against that" issue) but very frequently they were not. Obviously not everyone knows about all papers, but I recognized this even for papers that aren't even close to my area.

全部英語で書いていて読まない人もいるとなんなので(というか読んでほしいところだが)前半部分だけ訳してみる:

今年このプログラムについて2つのハイレベルな「不満」があると思う。1つ目は、学会で以前よりますます「自分はほげほげのデータをダウンロードし、なにかを予測するためのモデルを全く普通の素性で訓練し、なんとなく動いた」という論文を目にするようになってきた気がする。あなたの論文について言っちゃってたらごめんなさい。でも、こういう論文は本当に癇に障る。そんな論文からはなにも学ぶことがないように感じる。機械学習が信じがたいくらいうまくいくことはみんな知っているし、それに対するこれ以上の証拠は必要ないのだ。で、もしさっきの文があなたの論文のことを言っていたとしても、それが言語についてなにか理解するための手助けになる興味深い分析もしているのであれば、それはいいのだ!

同じようなことを高村さんも書いている:

NLPという学問領域に身を置きながら、この学問領域は一体どこへ向かおうとし
ているのだろうと思うことがしばしばある。確かに、名の通った会議の論文など
を読んで、そこに書かれた自分の思いつかないアイデアや技術に関心することも
ある。しかし、そうでないことの方がずっと多い。こういう場合はこのように処
理し、また別のこういう場合はこのように処理する、などと手続きがひたすら書
かれているだけで、実験上の処理性能は向上しているのかもしれないが、そこに
visionを感じないことが多い。
[...] 
同じ年代の研究者の方々と話すと、同じ印象を持っている方が多い。皆、現在の
このcommunityの価値観に飽き飽きしているのだ。 

たぶん我々(自然言語処理を標榜する人たち)は、もっと言語についての洞察が得られるようなことをしないといけないのだと思う。自分はたとえば意味解析という分野について興味があるし、この分野に注目する人が増えたり研究が盛んになってくるのは嬉しいのだが、別に意味論について言語学の本を読んでいる人が増えているという印象もなければ、実際のデータを見てなにか興味深い現象を発見して分析している、というような感じではなく、思いつきで「こうやればうまく行きそう」という一発ネタを延々やっている印象。もう少し前に進むための努力が必要だろうし、統計や機械学習言語学両方の知識が必要なしんどい作業ではあるのだが、そこを融合することこそやるべきだと思うし、言語から離れられないのが自然言語処理なんではないかなぁ。

ちなみに上記の NLP blog のエントリのリンク先をたどってもらえると分かるが、彼が「これが今回の会議でいい論文だった」として引き合いに出しているのは tetsu-na さん(松本研の卒業生)の論文である。ベタ褒めである。確かに(その研究の論文読んだことなかったのだが)解説を読むと「なるほど」という感じである。自分もそういう研究がしたいものですなー