依存する方がいいのか悪いのか

最近娘(3歳半)が納豆だけ食べるのだが、ご飯を食べずに納豆だけでおいしいのだろうか。2パック食べたりするのだが。

午前中は論文紹介を聞く。IBIS開催中なので(あまり関係ないが)少し人が少ない。

  • Lei et al. Training RNNs as Fast as CNNs. arXiv 2017.

これ特殊な構造の RNN を使うことで CNN と同じくらいの速度で RNN を学習する、という話だが、いくつかバージョンがあるようで、2017年9月のバージョンを紹介してくれた。Simple Recurrent Unit という時間方向の依存関係を極力取り除いたユニットを提案しているのだが、どうやらこれまで提案されていた QRNN の特殊な形とほぼ同じようである(最近のバージョンにはそう書いてあるそうだ)。そもそも LSTM が自然言語処理でよく使われるのは時間方向の長距離依存関係を扱えるというのがポイントだと思うが、ギリギリまで表現能力を落としてメモリが少しで済むとか学習が速いとか色々なバリエーションがあるものだ。しかし多層で役に立つと言われても自然言語処理ではあまり(時間方向以外に)層を重ねないので、自然言語処理でこの手法がどこまで役に立つかは分からないかな。

そういえば3年前は勉強会を午前と午後に入れて意図的に昼休みを長く取っていた(基礎勉強会の問題を解いたりする時間)が、もしかすると午前中にやるべきは論文紹介ではなく進捗報告ではないか?と思ったりする。進捗報告を論文紹介で挟むとか。

午後は機械翻訳勉強会。今学期は英語による進捗報告にしていて、そのこと自体は大した問題ではない(話が通じないときは、恐らく英語の問題ではなく、研究的に通じていない)のだが、せっかく英語でやっていても聞いている人がいないと時間がもったいない気がする。耳学問できるようにわざわざ研究室でやれるようにしていたのだが、研究室の人数が増えてきてあまり意味がなくなってきたようで、進捗報告の部屋を研究室とは別に取った方がいいのかもしれない。(そもそも、NAIST 松本研でも進捗報告のときは部屋は別だったし)