トークンのラベルなくてもゼロショット

朝の6時から1時間半ほどメール処理。なんとか論文投稿の目処も立ってきてほっとしている。

午前中は NAACL 2018 論文読み会で3本紹介してもらう。うち、以下の論文が一番興味深かった。(スライド

  • Marek Rei and Anders Søgaard. Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens. NAACL 2018.

これは文単位でしかタグが付いていないデータからトークン(単語)単位のタグの学習をする、という話で、2値分類の場合にしか使えない手法なのであるが、往々にしてトークン単位のラベルより文単位のラベルの方が大量に得られるので、かなり有効に見える。アイデアは簡単で、アテンションにシグモイドをかけたものでトークンのラベルをつける、というものだが、ILP(整数線形計画法)のようにトークンのラベルの(ソフトな)制約をタスクに合わせて入れることで教師なし学習(ゼロショット学習)できているのではないかな。

お昼にはしばらくメール処理をしてから本郷三丁目に移動。すっかり定例化しているが、定期的に話が聞けると少しずつ進展があってよい。Jupyter Notebook で説明を聞くのだが、研究室でも進捗報告はスライドではなく Jupyter Notebook でも Google Docs でもいいので、結果が書きやすいようなフォーマットの方がいいのかな、と思ったりする。(毎回進捗報告では予稿の形でレジュメを書かせるという文化の研究室もあると聞くし)