朝は9時から学部教務委員会。昨年度に申し送りをした事項を少しずつ片付けたり。
午前中は古典論文紹介で以下を紹介してもらう。
- Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng and Christopher Potts. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. EMNLP 2013.
これは評価極性分析に深層学習を適用したもので、現在も広く使われる Stanford Sentiment Treebank の構築に関する論文でもある。これまでのタスクの問題点を指摘して、新たなデータセットを作成し、それを解くための新しいモデルも提案する、という三拍子揃った（今となっては）古典の論文である。これが発表された当初は自分もニューラルネットワークがよく分かっていなかったのであるが、その後評価極性分析に Stacked Denoising Autoencoder を使った研究をしていた学生や、フレーズにアテンションを張って評価極性分析をする研究をする学生がいて、少しずつ理解が深まっていったので、思い出深い。
ただ、2018年以降、わざわざこういう複雑なモデルを作るのではなく、エンコーダ側で BERT のような大規模な言語表現モデルを学習しておいて、少しのデータで最適化するだけで高い精度が達成できる世の中になっていて、複雑な意味計算を行わなくてもよかったのでは、というのが現状であるが、自分自身はもっと文の意味の計算に興味があるので、現実的には bag-of-words を少し賢くしたような Transformer ベースの手法はそれはそれとして、ちゃんと意味の構成性も考慮するような（計算の仕方が理解できるような）モデルでこれを乗り越えたいと思っている。
夕方は B1 の基礎ゼミナールの授業で南大沢へ。今日は「20歳のころ」の中間発表で、説明1人3分質疑90秒で説明してもらう。今回の授業はとにかく時間を決めてたくさん話してもらうトレーニングのつもりなので、少しずつみんな堂々と話せるようになっているのを見ていると頼もしい。
