昨晩は久しぶりに24時近くまで起きていたので、朝起きたら7時。いつもは8-9時に寝ているので、娘の夜泣きがなくても5時くらいに自然と目がさめるのだが……（最近は5時台で明るくなってくるので、起きても眠くならない）。
午前中はメール処理。デスクトップの Google Inbox は、メールの作成ウィンドウの大きさと位置が変更できないところが使いにくい。（画面の小さい）ノート PC に最適化されているのかもしれないが、iMac だと広大な画面があるので広々と作業したいのである。まあ、作成ウィンドウを小さくすることで長文メールを書かせない（書きたくなくなる）ようにして、仕事の効率を上げる、という「親切心」でそうしているような気もするし、メールの送受信のスタイルを変えられない自分の方がオールドタイプなのだろう。
昼から研究会。今日も M2 の3人がそれぞれ自分の取り組んでいる研究について話してくれる。新入生の人たちも、一通り研究室の各メンバーがどういうタスクに取り組んでいるのか知ると、そういうタスクもあるのか、と認識が変わったりするので、GW 前に全部できればよかったのだが、来週と再来週の水曜日はたまたまお休みで、次は3週間後である。まあ、水曜日の授業回数は他の曜日と同じ回数あるはずなので、わざわざ他の曜日に振り替えなくてもいいかなと……。
研究会のあとは論文紹介。[twitter:@so1owingpixy] くんに
- Socher et al., Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection, NIPS 2011.
を紹介してもらう。深層学習を用いて言い換える、という研究で、ポイントは再帰的自己符号化器（recursive autoencoder）を用いて構文木に従ってフレーズや文のベクトル表現を得る、というところと、長さの違う文やフレーズ同士を比較可能にするために動的プーリング（dynamic pooling）を導入したところである。
深層学習の論文としては勉強になったが、自分の感想は言い換え研究エキスパートの[twitter:@moguranosenshi] くんがツッコミを入れてくれたのと同じで、別に深層学習を使わなくても表層的な類似度だけで解けそうな事例を出されても、あまり手法の有効性が分からない、という感じ。
元々のモチベーションは、長さや構文構造が違っても同じ意味を表す断片を見つけたい（たとえば「父の退職」と「オヤジが仕事を辞めた」みたいな）、というところにあったはずなのに、この手法では同じ構文構造の部分木で単語だけ置き換わったような断片が見つかるはずで（実際例を見てもそう）、それは（精度は確かに上がっているとはいえ）解きたい問題を解いていることになっていないのでは？と思うのである。
プーリングに関しては、画像だと自然にプーリングできるのに対し、言語だとどのようにプーリングすればいいのか自明ではないので、このやり方で効果があった、というのは意味のある知見だと思う。ただ、画像とのアナロジーで言うと、こういうふうに構文木を用いてプーリングするより、単語 n-gram みたいな感じで（階層的に）プーリングした方が頑健に動きそうな気もする（語順の制約が強い言語でないと意味がないかもしれないが）。
自然言語処理や機械学習のツールを適用して結果を得たりするのは独学でもできるように思うが、自然言語処理の研究室で2年なり3年なり学んで意味があるのは「この数式だとこういう意味なので、この設定で性能が出るわけがない」「このモデルは確かにこれまでの手法の問題を克服しているので、うまく行くだろう」「このデータは作り方からしてこの手法・評価だと不適切」というような「数式・モデル・データの読み方」を身につけることだと思う。これ、一朝一夕に身に付くものではないので、自分で論文を読むときも意識する必要があるし、他の人の論文紹介のときも「いったいこの論文は本質的にどういう問題を解いているのか？」と考えたりする訓練をしたほうがよいだろう。
そういえば研究室で初めて NIPS の論文を紹介してもらったと思う。これを機に ICML も含めた機械学習系の論文や KDD、CIKM、WSDM、SIGIR のような（ウェブ）マイニング系の国際会議の論文を読んだり紹介したりする人が出てくるといいな。
論文紹介のあと、実験に関する倫理委員会についての質問を受ける。日野キャンパスでも倫理委員会があるので、被験者実験など倫理的に問題がありそうなケースは倫理委員会を通す必要があるのだ。情報系の分野では、倫理委員会を通っていないと論文が発表できない、などということはまだないのだが、そのうちそうなってもおかしくないなぁ。
