今日も壁紙の貼り替えの3日目。まだ1部屋終わっていないのだが、これいつまでかかるのだろうか。エアコンの工事は電気工事の資格を持った人でないといけないそうで、一気にやるみたいだが、日曜日にならないと都合がつかないと言っていたし……。
というわけで、午前中は在宅で仕事。妻も病院に行くので仕方ない。昼からバトンタッチしてもらい、自分は第11回最先端 NLP 勉強会に参加させてもらう。壁紙の貼り替えがなければ朝から参加できたのだが、壁紙の貼り替えをここ以外の日程にしてもらうことは難しかったので……。（明日も最先端 NLP 勉強会は参加予定にしていただが、色々あってキャンセルし家で仕事をすることにした）
Slack によると午前中にもたくさんおもしろい発表があったようだが、午後のセッションで聞いた中で一番おもしろかったのは以下。
- Peters et al. Sparse Sequence-to-Sequence Models. ACL 2019. スライド
argmax と softmax の関係から導入され、α-entmax という softmax および sparsemax（ICML 2016 で発表された先行研究）を特殊系（前者がα=1、後者がα=2）に持つ新しい手法を提案している。softmax はシャノンエントロピーによる正則化、sparsemax はジニエントロピーによる正則化、α-entmax はツァリスエントロピーによる正則化に対応すると。我々も word2vec の skip-gram with negative sampling を追っかけていると、高頻度語の影響を抑えるためにレニーエントロピーやツァリスエントロピーのような特殊なエントロピーが出てくるようだと分かっているのだが、このあたりのαの値がなぜこの値が経験的にいいのか？ということをずっと考えていたのである。最近この研究止まってしまっているのだけど、もう少し深掘りしたら何か分かるかもなぁ。
