機械学習とか統計的自然言語処理の国際会議、EMNLP (Empirical Methods in Natural Language Processing)の初日。EMNLP は基本的に単独開催しないので、いつもこうやってなにか他の会議に寄生するのである。
たまにはのんびりしようかなと思って新聞読みながら朝食を取り、会場に行くとPatrick Pantel さんが一人でいたので話しかける。いつも誰かと話しているので声をかけづらいが、今日は朝一のセッションの座長らしく、それで招待講演に出ないで会場の空調とか音響を確認したりしていたので、一人でいたようだ(他の人たちは招待講演を聴いている)。
Patrick Pantel さんは、ときどきこの日記でも書いているが、南カリフォルニア大学の特任助教で、現在はサバティカルを利用してシリコンバレーの Yahoo! Labs で働いている。たまたま自分の博士論文の研究テーマが彼の研究テーマに関係していたので、NAIST の「海外の研究者を博士論文の審査委員に招聘できる」という制度を利用して(たぶん自分が一号)、博士論文の審査委員にも加わってもらっている。いったいどうやって入ってもらえたの、という質問を受けることも多いが、単にメールを書いて「入ってもらえませんか」とお願いしたら、二つ返事で引き受けてくれたのである。こういうふうにメール一つでなんとかなることも多い(逆にメールしても全く返事もなにもないこともあるが)ので、こういう機会がある人は積極的に利用するとよいと思う。去年の秋に1回博士論文の指導のために奈良まで来てもらったのと、あと博士論文が書けてからどこか(NAIST は外部に公開する公聴会のあと、学生と審査する教員だけで行われる審査会と2回ある)で1回来てもらう渡航費用を大学が出してくれるのだ。(いい制度だと思う)
ちょっと7月は忙しかったので行かれなかったが、8月の下旬に Yahoo! Labs に遊びに行く予定。「ランチだけで来る？それともトークする？」と言われて、トークは考えてなかった……と即答できなかったが、よくよく考えるともう英語で作ったスライドは持っているので、トークしようかな。実は今回の会議で検索クエリとか検索クリックスルー、検索セッションのログを使った研究がかなりの数ある(5,6個は確実にある)ので、今回やったクリックスルーを使った自然言語処理の話も楽しんでもらえるかなと思った(Yahoo! 研究所でやった仕事だし)。
さて本日は最初 Semantic Parsing のセッションに出る。オープニングに出ていなかったので知らなかったが、
- Hoifung Poon; Pedro Domingos. Unsupervised Semantic Parsing. PDF
が EMNLP のベストペーパーだそうだ。内容としては Markov Logic Network というのを使って意味解析をする、という内容なのだが、Markov Logic Network というのは最近出てきた手法で、松本研でも katsumasa-y くんが今回それを使って ACL-IJCNLP に論文を通しているのだが(研究室でレクチャーお願いします！笑)、要はそれまで推論は0/1で前提が成り立ったら帰結も成り立つ、というような論理でやっていたが、それを確率的にできる(この前提からこの帰結が導ける確率はいくらですよ、と計算できる)仕組みだそうだ。一階述語論理を記述する能力があるらしい。これまでは Prolog とかで計算していたのだが、最近の計算機の高性能化とアルゴリズムの進歩により、割と大きなネットワークでもこうした確率を計算できるようになったので、これまで不可能であった推論が可能になりつつあるということで、パラダイムシフトが起きる可能性がある。
似た手法で最近使われるようになってきたものには整数計画問題(Integer Linear Programming: ILP)があるが、そちらは満たさなければいけない制約を論理式でいろいろ書いて計算するのだが、ILP では制約をしこしこ人手で書かないといけないのだが、Markov Logic Network は(系列ラベリングなんかで使われているように)素性のテンプレートみたいな感じで記述しておくことができ、あとは自動で素性を展開して使える素性を選んでくれるとのこと(このあたり使っていないので分からない)。機械学習で素性選択を人手でやらなくてよくなったのは一つの大きな前進だったと思うが、これも重要な一歩かも。ちなみに試したい人はMakrov thebeastがよいそうだ。
修士のころは述語項構造解析という研究(誰がなにをなににどうした、というようなのを解析する)していたので、こういう道具立てが登場して意味解析の研究が先に進んでいくとちょっと興奮する。
途中で1回抜けて Machine Translation のセッションに移動。なぜか知らないが今回機械翻訳のセッションがやたら多い気がする。そして機械翻訳のセッションでも翻訳じゃなくて翻訳に使う別の技術の話とか、そういうのを見かけるような……。
そして聞きたかったのは
- Mark Hopkins; Greg Langmead. Cube Pruning as Heuristic Search. PDF
なのだが、現在統計翻訳では翻訳を見つける探索空間が広すぎる(メモリも使うし CPU も使う)ので、いろいろな方法で探索空間を狭める手法が提案されていて、そのうちの一つ、Cube pruning というここ数年提案された手法が、実は A* 探索という人工知能で昔から使われている探索と本質的には同じであり、Cube pruning は最適解を求める保証がないヒューリスティックだが、A* 探索として再定式化すると、厳密解が求められなかったところを厳密解を求めることができるようになるので、計算時間をほとんど変えずに翻訳の精度を上げることができた、という内容。最近自分もまた A* 探索について調べ直しているので、なるほど〜、と思う。Bob がコメントで「あなたが言う A* 探索は一般的な用語の使い方と違うので、アジェンダを使った探索とかキューを使った探索とか言わないとだめですよ」と言っていたが、確かにそうかも。とはいえ、論旨は明快だし論文自体もけっこうおもしろかった。機械翻訳のセッションに関する詳しい解説はEMNLP での機械翻訳の論文に対するコメント一覧にあり、そちらでもこの論文が取り上げられているので、興味ある方はどうぞ。
EMNLP のほうが自分的には興味がある論文が多い。しっかり実験と評価をしていたらアイデアは平凡でも通りやすい(逆に ACL はアイデアがおもしろいなら実験や評価は綿密にやらなくても大丈夫だったり)という特徴はあるが、どっちがどっちというよりはやっぱり会議の性格の違いかなぁ？
