解説で VAE を理解する

お世話になった(なっている方)から依頼されたプログラム委員、時期と数をちゃんと確認せず気軽に引き受けた国際会議の査読、5本を今週に読んで返す必要があり、瀕死の体になっている……。

出勤してすぐ年度末の引き継ぎの確認。この時期にやるのはちょっとしんどいが、ここしか予定が確保できないようで、仕方ない。午前中は修士論文の発表練習をしたが、研究室で高熱を出す学生が徐々に増えていて、不気味な感じである。インフルエンザ陽性だったのは現時点までで1名だけだが、隣の研究室は秘書さんとポスドクの人以外全員が何かに感染しているようで、この時期危険すぎる。研究室に来ないのが正解ではないか?

お昼からは共同研究のミーティング。今年度で終了予定なので、どうやってデモ等を引き継ぐのかが問題である。デモ的には作り込まないと使い物にはならないだろうが、そこまで作り込むモチベーションがうちにはない(研究の開始時点から、そもそも作り込むための予算は共同研究先で確保してもらう、という話になっていた)ので……。

午後は daiti-m さんに「研究室の変分ベイズ勉強会メンバーに向けてゲストスピーカーとしてトークしてほしい」という無茶振りを聞いていただき、特別講義をしてもらう。自分は NAIST 松本研 OB として毎年夏の SVM 勉強会で daiti-m さんのトークを聞いていて、理論的な話をコンパクトに解説される姿にほれぼれしているのだが、研究室では機械学習関係の勉強会のカルチャーがなかなか定着しない(勉強会の長時間化につながるので、善し悪しあるが)ので、こうやって真打ちの研究者の謦咳に接することができる機会は折に触れて提供したいと思っている(来年度以降、学外の方をお招きして学部生向けにトークしていただく授業もなくなってしまうし)。

具体的には上記の資料に詳しいのだが、Variational Auto-encoder (VAE) がよく理解できていなかったので、式展開の気持ちも含めて解説してもらい、納得できてよかった。大いなる誤解をしていた。恥をしのんで誤解の部分を書くと、VAE は画像や言語が生成できるような「シード」を空間に埋め込むのだと思っていて、その「シード」としてガウス分布を使うのは、自然にガウス分布のようなノイズが乗る画像はまだしも、言語では合っていないのでは?と思っていたのだが、そういう意図でガウス分布が使われているのではなく、生成のための情報を埋め込む方法としてガウス分布の性質が使いやすいから使われているだけで、言語云々は関係ない、ということであった。

VAE で色んな画像が生成できるところにスタートし、最近では LSTM を組み合わせて言語も生成できるということが知られているが、これは(超)大規模データで過学習させれば、過学習していても現実的には問題ない、という(ことだと自分は理解している)、これまでのニューラル生成の知見の延長線上にあることなのかなと思ったりする。(過学習しないようなハイパーパラメータチューニングもしないといけないというのは皮肉だが……)

夕方は企業の採用に関する説明会。毎年来ていただいていて、ありがたいことである。今年度はうちから就職した学生もリクルータとして訪問してくれて、こうやって活躍している姿を見るのは嬉しいものである(修論の成果も国際会議に採録され、この代の修士論文で唯一国際会議の本会議に採録された研究になった)。採用につながってもつながらなくても変わらず訪問していただける企業の方は、研究室内での説明会も優先順位を上げている(参加者が多そうな日時を選んでいる)ので、末永くお付き合いしたいと考えている。(少しずつ採用活動に卒業生が来てくれるようになってきた)