朝に小1時間ほどミーティングをしたあと、ACL 読み会の2日目。今日は昨日と違って特にこれといったテーマ感はなかったが、基本的に全部深層学習を使った話。
自分が首都大に来たとき、数年後の自然言語処理がこんなに深層学習一色になると思っていなかった。流行り始めた当初も、自然言語処理は離散的な記号処理なので深層学習は苦手だろう、だとか、なんでもかんでも深層学習で解くのは違うのでは、と思ったりしていたのだが、うちも2015年くらいから深層学習に取り組み始め、もうほとんどの研究（8割）が深層学習を用いたものになっているし、避けては通れない感じである。
まあ、全てのものに使うのも、頑なに忌避するのも両極端で両方おかしい話だと思うし、ずっと最前線で論文を書き続けている人はしのごの言わずに深層学習にもすぐ適応し、その上でさらに先を行く研究を続けているので、肯定的な見方をするにせよ否定的な見方をするにせよ、2020年現在は深層学習は単にそこにあるもの以上でも以下でもないように思っている。工学的には、大規模データで高性能の GPU でぶん回してきっちりチューニングすれば高い性能が得られると言われても、それはかなり使いにくいのではないか、と思ったりするのだが……。word2vec/FastText や BERT は使い勝手という意味ではかなりよいが、それを一歩出ると使いにくい領域が待っているし、知の高速道路と呼ばれたような状態が、深層学習でも起きているのではないかな（高速道路を降りたところで大渋滞が起きている）。
ともあれ、20人強で ACL 2020 の論文をざっと見て、色々と最近のトレンドも分かってよかった。後期には EMNLP 読み会と COLING 読み会をやるつもりだが、機械学習系の論文の読み会もやるかどうか迷っている。機械学習系の論文は、聞くのはともかく紹介するのはできない人にはかなり難しいだろうし……。自然言語処理以外の論文を紹介する会（機械学習や画像処理、言語学など好きなものを取り上げる）、のような形にするといいのかな？
