入門は何を話すか難しい

午前中はオフィスアワー。

昼から ACL 読み会。(スライド

  • Avishek Joey Bose, Huan Ling, Yanshuai Cao. Adversarial Contrastive Estimation. ACL 2018.

例によって授業のためにちゃんと聞けていないのであるが、この論文は GAN によって Noise Contrastive Estimation の改良をしているというモチベーションは分かるのだが、実験設定が詳しく書いていないし、本当に改良になっているのか不明……(言語処理タスクだというのは分かるのだが、なぜ機械学習系ではなく ACL に投稿しているのだろうか)。Discriminator を用いて負例の良さを測る、というのはいまうちの研究室でやっていることに近いので、なるほどと思ったが、そうすると GAN に関する設定がかなり重要であって、(少なくとも言語処理の論文としては)そこをちゃんと書いてほしかった。

夕方は自然言語処理概論の中間試験。たまたまこの回が中間試験に当たってしまったのであるが、講義を30分くらいして中間試験。オムニバスの授業なので特に成績を厳しくつける動機もないし、4コマしか使えない中1コマを中間試験で使うのはもったいないし、レポートでもよかったかなと思ったりする(まだ後半もあるので、とりあえず来年も同じスタイルでやってからの判断になるが)。

裏では言語処理学会言語処理技術セミナーが開催されていて、盛況だったようである。この手のセミナーは参加者層をコントロールするのが一番悩ましく、ちゃんと広報しないと本来受けなくていい人が受けてしまって不満につながるので、あまり大々的に宣伝すべきではない(たくさんの人数が受講することではなく、妥当な人数の受講で満足度の高い方がいい)、と思っていたが、結果的にほぼ満員。単発企画ではなく少なくとも2-3年やるのかと思いきや、特にそういう制約があるわけでもないようで、受講者の方々からのフィードバック等も考慮して今後の方針を決めていくそうなので、参加した方々からはご意見いただければ(あるいは、参加していない方々からも、こんなふうな企画があれば参加したいとか)。

しかし今は本当にこういう企画が難しくて、入門的な話でどこまであるいはどういうスタンスで深層学習に触れるかのさじ加減が悩ましい。一時期のカンブリア爆発みたいなのは落ち着いてある程度コモディティ化した気もする(たとえば PyTorch も 1.0 が出ればしばらくこれを仮定してもいい)ので、これから資料を作る人はもう全部深層学習ベースで作るのがいいと思うのだけど。これまでは用いる機械学習の手法に対応して「分類」「回帰」「構造予測」みたいな分け方で説明したのだろうが、いまは「分類」「回帰」「系列変換」にするとか、あるいは出力で分けるのではなく入力で分けて「単語分散表現」「CNN/RNN」「Transformer」とか(この構成だと、落ち着くまでまだ1-2年くらいかかりそうだが)。何を話すかより何を話さないかをしっかり決める必要がある。