NLP2016 2日目: ニューラルな手法とアテンションモデル

言語処理学会年次大会の本会議2日目。朝一のセッションは招待論文セッションで、論文誌の優秀賞に選ばれた3件が発表する(3件中1件が最優秀論文賞であるが、どれがそれかは当日に発表)、というセッションである。数年前からこの形式で開催されているが、論文誌の中でもクオリティの高い研究の話が聞けるので、かなりよい取り組みだと思う。

国際会議でも TACL という論文誌が、論文誌でありながら希望者は国際会議でも発表できる、という仕組みを数年前から導入しており、一定の評価を得ている(最近は以前ならトップカンファレンスにフルペーパーを書いていた勢が軒並み TACL に移動しているという話)。言語処理学会も、並列査読にして論文誌の査読日数が大幅に短くなったのもよかったが、求心力のある年次大会と論文誌をもっとリンクさせるといいのでは、と思ったりする。(今 Mac の「ライブ変換」で書いているのだが、「いいのでは」と入れたらかななのに、「いいのでは、」と読点を入れた瞬間「良いのでは、」と漢字に変換されるのが、大変ストレスフルである。「よろしく」「いたします」も、突然漢字に変換されてしまう傾向がある)

午前中のポスターは1件あったが、[twitter:@mhangyo] さんとの共著論文である。@mhangyo さんと共同研究してすごいなと思うのはメールの速さと内容で、すごく的確なコメントと教育的なアドバイスを丁寧にしてくださって、本当に東に足を向けて寝られない。原島さんもいつも有益なコメントをくださるのだが、黒橋研で博士号を取得して企業で働いている方々は、地に足のついた研究をされている、と感服することしきりである。

現実のデータを前にしてどのような課題があるのかを分析し、それを解決する手段を考える、という王道のスタイル。機械学習は手段に過ぎず、ルールを書くことが妥当であればルールでよいし、モデルとして綺麗であるかどうかより、現実のデータを解析するために必要十分な手法を提案する(データが必要であればデータも自ら作成する)のである。

自分の目指すところも割合近いところにあり、こういう意識の学生を輩出していけたらいいだろうな、と参考になる。一つ違いそうに思うのは、自分は学生に世界で通用するエンジニアになってほしいと思っているので、(可能であればメジャーな)国際会議に論文を投稿することのプライオリティが高いのだが、そこの重みは自分の方が重視してそう。ただ、何事もバランスであり、論文を書くことの比重を高めると相対的に犠牲になることがあるのだが、自分の研究室ではプロダクトレベルのコーディング能力である。研究をするために必要なコーディング能力は身につけてもらっている(平均的な情報系の大学院生よりは、はるかに書ける)と思うが、そこから先は個々人の努力次第かな……。

お昼は共同研究先の企業の方たちとミーティング。新しいことにチャレンジしよう、という意欲が強く、失敗しても構わないから色々試してほしい、という情熱が感じられて、とても話しやすい。お金は出せないがデータは出せる、というのは割とスタートアップ的な企業の方々と共同研究する時にやりやすいパターンであるが、これ論文に結びつけることがアカデミア側としては最重要課題であって、お互い実りあるものにしようと思うと、こちらはなんとかして論文にしたい。

午後のセッションはあちこち覗いてみたが、以下の発表が考えさせられた。

  • 永田亮. 文法誤り訂正における問題点の考察と新タスクの提案. NLP2016.

要は文法誤り検出・訂正は学習支援か作文支援かで大きく目的が異なり、学習支援の文脈だと最大化すべきは学習効果であり、文法誤り訂正を高精度にすればいい、というような話ではなく、本人に何らかの負荷をかけて身につけさせないといけないし、次から自分で書けるようになぜ誤ったのかをフィードバックしたほうがよい(その方が身につく)、という問題提起。そこで、本人がどの文法項目を分かっていてどの文法項目を分かっていないのか推定する、というタスクを学習支援のために提案する、という話である。

何を文法項目として立てるべきか、というところで議論がありそうだ、ということと、実は学習者の語学能力は隠れ状態になっているので、そもそも正解が分からない(どのような状態になっているのかはくっきり分けらけるようなものではなく、グラデーションあるいは複数の状態の重ね合わせになっていたり)、というような細かい点はあるが、方向性としては大いに賛同する。今月に出る hiromi-o さんの論文でも、日本語学習者の誤用のタイプを自動で分類する、という研究に取り組んだ(というか、かれこれ3-4年越しの研究)のだが、誤用の種類を分類してフィードバックする、というのは教える側としてもほしい機能で、自分もこういうタスクが必要だよね、と思っていたのであった。

夕方のセッションは学生3人の発表をはしごする。最初は機械翻訳のセッションで、あとは読解支援関係の話。

機械翻訳の話は、ニューラル並べ替えモデルという、深層学習(recursive neural network)を用いた並べ替えモデルがあるのだが、それを改善した、という内容。現時点では若干よくなった程度(ベースラインの Moses には有意差があるが、先行研究のニューラル並べ替えモデルとは有意差がない)で、このままでは微妙な感じだが、ここからまだ1年あるので、色々試してもらいたい。次の

が attention を用いた機械翻訳の話で、おもしろい。木構造をどのように入れる(あるいは入れない)のかがポイントだと思うのだが、ニューラル版 tree-to-string のような形になっているようで、我々もこういう研究をしたいと昨年からずっと思っているのだが(ニューラルな手法で木構造を使うのは案外難しい)、最近ようやくニューラル日英翻訳に取り組む学生が出てきてくれたので、ちょっと楽しみである。(日英だと、やはり究極的には下から全部組み上げていくのでは? と思うのだが)

読解支援の話は、日本語の複合動詞の言い換えと、2字からなる漢字の言い換えの話だったのだが、質疑で色々厳し目のコメントをいただき、どれもごもっとも、と思ったりする。どちらの話も結果的には国際会議には持っていけなさそうな展開なのだが、今年度の教訓としては、新入生に取り組んでもらうタスクとして、1年間取り組んだらどこかの国際会議には投稿できそうなネタかどうか、を事前にディスカッションすべき、ということである。一応タスクを振る前に確認したのは、9月の NLP 若手の会シンポジウムで発表できるネタかどうか、ということは擦り合わせたのだが、その後言語処理学会年次大会まで半年以上取り組むのであれば、国際会議に持っていけるネタでないと、半年も費やすのがもったいない。

夜は懇親会に行かない組でご飯に行く。松本研の Ander さん、初めまして、かと思いきや、「小町先生とは実は3年前にメールをしていますよ。それで NAIST に来ることにしたのです」と言われてびっくり。確かにメールを見せてもらうと思い出したが、そういうメールもあった。3年越しで日本に来てもらえるというのは嬉しいことである。基本的に問い合わせのメールには(受け入れられない、という場合も)返事を書いているのだが、こうやってメールをくれた人が声をかけてくれると、無駄なことをしているわけではないのだな、と励みになる。