今日はスマートニュース株式会社で最先端 NLP 勉強会。夏から秋にかけて、2日間で最先端の国際会議・ジャーナル論文を読む、という勉強会である。とはいえ、さすがに土日連続は出られないので、土曜日だけである（懇親会も参加しない）。
最初、スマートニュースは渋谷かと思って行ってみたら、Google Maps が全然違う場所を指し、おかしいなぁと思ったら、移転していたようだ……。これ、渋谷というよりは明治神宮前だが、少し早めに出ていてよかった。
代々木から原宿にかけては、予備校時代（代ゼミ代々木校に通っていた）に毎日行っていたので、懐かしい。原宿にも代ゼミの医学部受験用の校舎があり、一部の科目はそこに受けに行っていたりしたのである。基本的には、先生のおっかけで、取りたい授業が代々木校でバッティングした場合、他の校舎で同じテキストを使う授業に潜るのである。あるいは、バッティングしなくても、テキストは同じ科目で、この先生に教えてほしい、という場合もある。「本科」と呼ばれていた浪人生コースは、科目単位で授業料を払うわけではないので、他の授業にもぐったりすることには寛容であった。（逆に「単科」と呼ばれる授業単位で開講される浪人・現役生共通科目は、受講証チェックがあったりして厳しかった）
浪人生のころや学部生のころは、今日は1日新宿でぶらぶらしよう、あるいは午後授業がないので美術館に行こう、なんてことをしたりしていたが、今は1時間寄り道する時間の余裕もない。将来こんな生活をしているなんて思っていなかったが、そもそも結婚して仕事をして子どもが生まれている、ということ自体想像できていなかった。宮下公園を通るのも人生2回目だと思うが、あのときの2倍近く生きているというのは不思議なことである。
自分の人生をやり直したいとは思っていないが、やり直すとしたらきっと18歳の自分だろうな。
さて、自分は
- Angeliki Lazaridou, Georgiana Dinu, Marco Baroni. Hubness and Pollution: Delving into Cross-Space Mapping for Zero-Shot Learning. ACL-IJCNLP 2015.
を紹介した（発表スライド）。Zero-shot learning というのは最近流行っている機械学習の話なのだが、学習時には未知のラベルを推定する、という問題で、たとえば画像にキャプションや説明文をつけたりするようなタスクがこれに当たる（画像のカテゴリ推定をするとき、大規模な学習データがあれば普通の教師あり学習だが、ここでは出力したいカテゴリのデータが十分ない、という状況）。
この論文のポイントは、目的関数を線形回帰（最小2乗誤差で最適化）にした場合、必ずハブが出現する、という話。実は同じ指摘は NAIST 松本研の yutaro-s くんがしていて、今年7月の NL 研（情報処理学会自然言語処理研究会）でも発表していたのだが、その問題の対処方法がこの論文と yutaro-s くんの手法とで違う。個人的には彼の方法のほうがいいと思ったし、ハブが出現する理由の説明も分かりやすいと感じたのだが、ECML PKDD 2015 で best student paper runner-up（最優秀学生論文賞次点）に選ばれたそうで、納得。
- Yutaro Shigeto, Ikumi Suzuki, Kazuo Hara, Masashi Shimbo, and Yuji Matsumoto. Ridge Regression, Hubness, and Zero-Shot Learning. ECML PKDD 2015.
他におもしろかった発表は daiti-m さんの以下の論文。
- Greg Durrett and Dan Klein. Neural CRF parsing. ACL-IJCNLP 2015.
幸いこれはご本人の日記にスライドも含めて公開されているので、詳細はそちらに譲るが、分散表現を学習する（離散の素性を連続値にする）ことでけっこう効果があるものだな、と思う。Brown Clustering などクラス素性を入れると単純でもかなり性能が上がることは知られていたが、それと同様の効果が少なくともありそうである。
この勉強会、みんなの投票で読む論文を選ぶというプロセスの功罪があり、似た感じの論文の紹介が続いてしまうという欠点がある（一つの分野を集中的に網羅できる、という利点でもある）。個人的には、もう少し多様性があってもいいのではないか、という気がする。もっとも、興味のない論文の紹介を聞かされるのは苦痛、と考える人が多い、ということだろうから、仕方ないだろうけど……。
