朝、田無駅経由で品川へ行き、そこから新幹線。複数経路があるので、検索しないとどれが最適経路か分からない……。
高の原でピックアップしてもらい、ランチを食べてからSVM勉強会へ。来年は参加できないかもしれないので、今年は参加したかったのである。
発表では、kevinduh さんの Frustratingly Hard Deep Learning for NLP がとてもおもしろかった。ちょうど1年前のこの勉強会で、Deep learning を自然言語処理に使う、というプロジェクトについて話してくれていたので、ちょうどその中間結果が出揃った感じ。前も聞いたが、Deep learning が効果ありそうなのは、
- 非線形の学習をしたいとき
- 単語の表層を素性に使うとスパースなとき
で、前者は典型的には線形の分類器ではうまく行かない（訓練データに対してテストしてもエラーが多い）場合や人手による素性エンジニアリングが難しいケース、後者は典型的には単語のクラスタリングなどをしてスパースネスを軽減するケース、がそれぞれ相当する。
いろいろ試した内容についてはここでは取り上げないが、成功したのは
- Kevin Duh, Graham Neubig, Katsuhito Sudoh, Hajime Tsukada. Adaptation Data Selection using Neural Language Models: Experiments in Machine Translation. ACL 2013.
- Masashi Tsubaki, Kevin Duh, Masashi Shimbo, and Yuji Matsumoto. Modeling and Learning Semantic Co-Compositionality through Prototype Projections and Neural Networks. EMNLP 2013.
の2つだそう。こうやってたくさんの学生が deep learning に未来を感じて必死になって実験し、やる気あふれるグループができつつあるようで、自分も元気をもらう。自分が助教になった1年目は空回りしていたような気がするが、2年目から少しずつ自分の役回りや働き方が分かってきて、新しい研究も楽しくなってきたので、松本研は今後も助教の学び舎としても続いていってほしいなと思うのである。
そういえばSVM勉強会にもいらしていた[twitter:@kiyukuta]さんが公開された自然言語処理のためのDeep Learning は大変参考になる。直接お話できてよかったが、せっかくこれだけ勉強したのにまだ研究では役立たせることができていないそうで、自分も大学院に来た直後[twitter:@taku910] さんから「作ったり調べたりしたことがあったら、しょぼい学会でも研究会でもいいから、絶対発表しておいたほうがいい。発表して形に残さないと、すぐ忘れてしまうし、それはもったいない」ということをアドバイスされたので、そのままアドバイスをバトンタッチする。こうやってスライドを公開してくれるだけでもとてもありがたいのだが、ぜひNL研でもいいので、何かのタスクで適用した結果を話してもらうことを期待している :)
さて、懇親会では自分が奈良を離れてからのみなさんの近況を聞いたりする。離れたといってもつい半年前のことなので、そんなに変わっているはずもないのだが、就職活動が終わって半年あったことを考えると、もう少し進展があってもよさそうな気もする。まあ、例年秋から冬にかけて、怒濤の追い込みがあるので、タスクさえブレなければなんとかなるとは思うが……。（タスクが変わるとサーベイからやり直しになるのでしんどい）
懇親会後、学生室でさらにみなさんの近況を聞いたり。博士に進学する学生が数人いる（とりあえず確定しているだけで3人）、というのがうらやましくも、松本先生が懇親会でおっしゃっていた「博士の学生は博士号を取ったあとの就職の心配もしないといけないから、進学してくれるのは善し悪しだよ」というお話も耳に残る。松本先生も、博士に進学して就職が厳しくなりそうな人は、修士で就職するよう勧めたりしているようだし……。
