午前中は日野キャンパスで共同研究のミーティング。自分が受けている共同研究には2パターンあり、1パターンは企業との共同研究で開発重視の研究応用をするというもの、もう1パターンは研究所や他大学との共同研究で新しい基礎研究に取り組むというもので、これは後者のパターン。
共同研究について、「共同研究の9割は失敗（だが、1割の成功のためにやっている）」と企業の方が言っていたという記事をどこかで読んだ記憶があり、NAIST にいたころは「やるなら片手間ではなく、学生の修論のテーマにするくらい、もっとガッツリやればいいのでは」と思っていたのだが、首都大に来ていくつか試してみて、そう簡単にもいかないものだと最近は考えている。
根本的な問題は、共同研究というフォーマットに起因するもので、共同研究を締結すると大学は業務として研究をする義務が発生するのに対して、学生は企業に雇用されているわけではないので、プロジェクトの遂行を安定して行うのが難しいというものである。臨時職員の形で共同研究のメンバーとして雇用することはできるが、これもお互いの合意がないと（つまり、学生が同意してくれないと）できないし、学生としては任意のタイミングで辞めることができるので、最終的にはなんとか巻き取れる体制にしないといけないのである。最近は学生を2人以上アサインして、1人が何らかの事情で離れても直ちに支障が出ないようにはしてあるが（これはこれで学生に負担をかけている気がするが、教育的効果もあるのでいまのところはベストプラクティス）、研究室立ち上げ時期の共同研究では、自分がコードを書いて納品したこともある（いまはそんな対応は時間的にできない）。
一周して企業との共同研究は結局 NAIST 松本研で見ていたような共同研究の形態になっているわけだが、やはりそうなっているのには理由があった、ということであった。研究所との共同研究はそれとは別で、これはこれでいろんなのがあっておもしろいのだが、自分の時間との兼ね合いである。
昼からは ACL 読み会。今月は南大沢での授業のため、1本しか聞けない。（スライド）
- Ben Athiwaratkun, Andrew Wilson, Anima Anandkumar. Probabilistic FastText for Multi-Sense Word Embeddings. ACL 2018.
最近は文字単位や文字より小さい単位（部首）での自然言語処理に取り組んでいるので、こういう話には興味があるのだが、これは fastText という単語分散表現を得る手法を確率的な形で（混合ガウス分布を用いて）多義語に対応させたという研究。だいぶ前に聞いたのでうろ覚えであるが、式を見た感じでは興味深いような感じではなく、しかもサブワードの情報の入れ方と単語の情報の入れ方がアドホックに見える。もっとも、サブワードとしての文脈（？）の情報の入れ方と単語としての文脈の情報の入れ方は同じがいいという保証はないし、そもそもサブワードの分散表現は単語の分散表現と独立ではなく強い依存関係を持っていると考えるのが自然なので、fastText の枠組みの中で（確率的に）多義語を扱おうと思うとこうなるのが妥当なのかもしれない。
夕方は南大沢に移動して B1 の自然言語処理概論の授業。（主にニューラル）機械翻訳について喋る。ニューラル以外の機械翻訳についても話したが、やはり2018年現在に機械翻訳の話を（前提知識がない人に対して）するなら、ニューラル以前の機械翻訳についてはバッサリ落として話した方が話しやすい（これまでも、入門的な話で説明するときは、学習の話はほとんどせずにデコードの話を中心にしていたが）。もっとも、その代わりに学習も含めてちゃんと説明するためにはニューラルネットワークについて説明しないといけなくなっているので、理工系以外の人に説明するハードルは上がっている気はするが（統計的手法までは頻度とのアナロジーで説明できたが、ニューラル手法だと学習するところでどうしても微分が出てくる）。
