論文を読んで身につくこともある

午前中は最先端論文紹介ということで2本紹介してもらう。

• A. Conneau, G. Lample, L. Denoyer, MA. Ranzato, H. Jégou. Word Translation Without Parallel Data. ICLR 2018.

こちら、ちゃんと読んだのは初めてだったが、パラレルコーパスがなくても単語の翻訳ができるという話で一時話題になった論文である（その後、単語じゃなく普通の文も翻訳できる、という展開があるのだが）。

読んでみると、基本は Mikolov et al. (2013) のやり方で二言語の単語埋め込みを学習したあと、相互 k 近傍グラフを使ったり、グラフにおけるハブの問題の対処のために平均を引いて cos 類似度を取ったりしつつ、（恐らく語順がかなり似ている言語でないとうまくいかない）ヒューリスティックでなんとか単語翻訳をできるようにしている、という印象。暗号解読でも単語の頻度を見て単語対応をつける、というのは基本中の基本で、第2次世界大戦までの暗号のほとんどはこういう頻度分析で解ける暗号ばかりだったし、そういう背景を知っていれば、そんなに発想に飛躍はなく、地道に頑張ったな、という感想である。興味ある人はサイモン・シンの「暗号解読」を読むことをお勧めする（無茶苦茶おもしろい。）。

暗号解読（上） (新潮文庫)

しかし相互 k 近傍グラフといいセンタリングによるハブネスの解消といい、こんなに NAIST 松本研勢（自分が共著のものも含む）のアイデアを次々に使っているなら確実に論文を読んでいるはずなのに、一切リファーしていないのはいかがなものか……。

もう1本は

• Shuai Li, Wanqing Li, Chris Cook, Ce Zhu, Yanbo Gao. Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN. CVPR 2018.

こちらは RNN を改善するという話で、CNN と同様 RNN の層を深くしたいというモチベーション。自然言語処理で画像認識のように層を深くしないといけないタスクは何かよく分からないが、単語よりも小さな単位から層を重ねていく、というアプローチを考えると、層を深くしたいというモチベーションは分からなくもない。パラメータ数をそんなに増やすことなく層を深くできる、というのは効果的なタスクもありそうだし、CVPR の論文を見てみるのも必要なのかもなと思ったりする。うちの研究室で組織的に読むほどではないので、こういう論文紹介で紹介してもらえるのはありがたい。ICLR も読み会をするかどうか微妙なところで、深層学習の研究をしていない人が読んでもあまり意味がないので、全体で読み会をすべきではないとは思っている。

そういえばうちの研究室での論文読み会は基本的に全員1本は必ず紹介してもらうのが特徴で、その年の国際会議の論文リストをざっとでも眺めてもらう（少なくともタイトルのキーワード検索くらいはしてもらう）という気持ちがある。NAIST で参加していた読み会や、各地で開催されている読み会は、読みたい人あるいは読んでほしい人（読みたくても、読み手としての能力が低いと判断されると、紹介者になれない読み会もある）しか読まないというのが主流だが、うちの研究室は論文を紹介することによる教育的効果が最も重要だと考えているので、ちょっと負荷は高いのだが、意図的に全員にやってもらっているのである。

お昼からはコース会議。今月からは新組織（学科会議=情報科学科）と旧組織（コース会議=情報通信システムコース）が同じ日に開催されることになっているのだが、今年度は全学（南大沢開催）の教務委員会との兼ね合いで、自分はコース会議の方にしか出られないことが確定している。コース会議はすぐ終わったが、教務委員会の方が長く、2時間半くらい（教務委員会と基礎教育部会という2つの委員会が連続しているせいだが）。毎月こんな感じで進んでいくのか……。