今日は久しぶりに首都大秋葉原キャンパス。第一回関東 MT 勉強会という機械翻訳（machine translation）に関する勉強会があるので、研究室の勉強会も秋葉原キャンパスでやることにしたのである。会場には HDMI のケーブルはない、無線 LAN はない、宅配業者は入れない、とないない尽くしで聞いていたのだが、行ってみたら全部あった（入れた）ので、肩透かし。以前（1年以上前）の秋葉原キャンパスは運営がひどかった（職員の方々の対応が控え目に言って褒められたものではなく、恐らく教員に可能な限り使いたくない気持ちにさせるようにしていた）が、少なくとも今年度に入ってからはかなり気持ちよく利用させてもらうことができ、非常によいキャンパス・スタッフの方々だと思う。
研究室の機械翻訳勉強会のメンバーは博士が2名、修士が3名、学部生が3名の合計8人。全員ニューラル勢だが、国内の研究室では最大規模ではないかと思う。[twitter:@odashi_t] くんが少しだけ参加してくれて、「M1 でこれくらいできるならかなりアクティブでは」ということをあとで言ってくれたのは嬉しかった（まあ、B4 から研究室にいる学生は M1 といえど自然言語処理2年目なので、NAIST 的な感覚では M2 相当）。
ただ、量と質は必ずしも関係なく、人数が多いからといって強いグループという訳ではない。とはいえ、研究室2年目の学生なら大体自力でニューラル機械翻訳を実装できるくらいの実力はあるので、悲観するほどでもない。ニューラル機械翻訳は実装力のある人なら1人でも研究開発できる、というのが利点だし、そのような形で1人だけ飛び抜けた学生がいる研究室もちらほら見かけるが、うちは大体みんなニューラル機械翻訳の実装程度ならできると思われる、というのは誇っていいと思っている（ニューラル機械翻訳はレッドオーシャンすぎるので、実装ができるところからトップカンファレンスに通すまでのハードルが高すぎるという問題が深刻だが）。
あとで何人かの人に聞いたのだが、京大黒橋研の機械翻訳チームがほとんどいなくなった（来年度以降は学生1人？）のと、NAIST 中村研の主力メンバーの博士の学生が今年度度で卒業してしまうので、歴史ある研究室での伝統が途切れてしまうと危惧しているが、愛媛大の二宮研究室が今後機械翻訳ガチ勢になるのでは、という噂なので、少し楽しみにしている。
会場は2部屋を連結して定員54人だったがほぼ満席。こんなに機械翻訳の研究をしている人が世の中にいるのか？と少々疑問だったが、研究をしている人が聞きに来ている訳でもないので、そういうものかもしれない。あと、オープニングで参加者の属性の分布が紹介され、最多の組織は首都大と東大が同数だったそうだが、我々は9人いたので、鶴岡研の主力メンバーがいないにもかかわらず東大に9人も機械翻訳の研究に興味のある人がいた、というのも驚きであった（自然言語処理の研究室の人数的には東工大からそれくらいの参加があるならまだ分かるが）。
発表でおもしろかったのは東大松尾研 M2 富山さんの「画像とテキストの潜在的な意味情報を用いたニューラル翻訳モデルの提案」であった。こういう研究が自然言語処理の研究室から出る訳ではない、というのが個人的には残念に思っているが（うちの研究室からも、少なくともしばらくは出せないだろう）、
- Zhang et al. Variational Neural Machine Translation. EMNLP 2016.
に基づいて、これを画像を扱えるように拡張した、という研究。この論文、今年の機械翻訳勉強会で紹介してもらってみんなで読んだのだが、学習が難しそうという印象で、小規模なデータでまともに学習できるのだろうか、と思ったりする（最初に普通の NMT を事前学習するようだが、ちゃんと文が出てくるようなデコーダがないと学習できなさそうに見える）。
強化学習についてもう少し勉強したい感が高まっている。一つはデータが少なく状況でも頑健に学習ができると嬉しいというのと、もう一つは強化学習というか構造予測がしたいのだが、「（文あるいはコーパス）全体を考えると、間違えるにしてもこっちに間違えた方がいい」みたいなモデルができると嬉しいというもの。Ponanza の話で以下のようなのを読んで、ほほー、と思ったりする。
ディープラーニングは今までの学習機より、入力と出力の自由度はすごい高いのですが、自由自在にコントロールがきくわけじゃないんです。ヒントを与えることはできると思ったんですが。そこで1回諦めて、違うアプローチをしてみようと。将棋の手の数って4600パターンくらいしかないんですよ。fromとtoと成ったか成らないかって。そして、将棋盤を含めて4600の「クラス分け問題」にしたんです。画像があってそこに何が写っていますか、というディープラーニングでよく使われるシナリオです。将棋盤の画像を突っ込んで4600パターンの手にクラス分けしましょうというお題を与えました。
先日の情熱大陸を見ても思ったが、こういうのを思いついてサクッと試して結果が分かったりするの、おもしろいだろうなぁ。サバティカル申請の案内が回ってきていたが、首都大は7年勤務したらサバティカルが取得できるらしいので、自分もサバティカルを取得して色々やってみたい（現在5年目なので、あと2年。まあ、2年もしたら深層学習フィーバーは過ぎているだろうが）。
懇親会で色々と話を聞いたりして、最近懇親会はおろか外部の勉強会に（現地で）参加することもほとんどなかったので、久しぶりに楽しかった。懇親会もアルコール抜きかつ20時までに終わる、というものなら参加できるのだが、ほとんどの場合そうではないので……（コースの忘年会・新年会も割と1時間で中座させてもらったりしているし）。これはあと10年くらい、このままかなぁと思ったりする。
