今日は卒園遠足のために府中競馬場へ。車で行くと20分くらいだろうか。ここ、無料で遊べる遊具がたくさんあるので、卒園遠足でよく来ているのである。
卒園遠足の会場に着くと、わざわざ毛布を置いてきたのに、毛布がほしいというので取りに戻ったら、車の鍵を忘れていて2往復。それだけでもうお昼の時間になってしまった。お昼ご飯を食べてから帰宅しようとすると、まだ遊びたいという娘が号泣。こうなるだろうなと予想はしていたのだが、今日は仕事なので仕方ない。日曜日に仕事はやっぱり引き受けてはいけないな……。
午後は全脳アーキテクチャ若手の会で静岡大の狩野さんと一緒に自然言語処理についてのトーク。狩野さんは実用的な NLP について話し、自分は CoVe に始まり ELMo や BERT、GPT みたいな深層言語表現モデルについて、Skip-Thought や Quick-Thought などを交えて紹介する（これを「言語モデル」と呼んでいる人がいるけど、いわゆる言語モデルとは全然違うので、「言語モデル」と呼ぶべきではないと考えている）。歴史を踏まえて考えてみると、特に BERT や GPT が斬新なアイデアだというわけではなく、これまでの技術を押さえていれば素直に思いつく手法だということが分かる（シンプルな手法でうまくいくことを示したことこそ、むしろ賞賛すべきだが）。すごいのは超多層にするとか細かいモデルの調整だとかを頑張るところで、エンジニアリング的にはものすごいと思うのだが。
知っている人がどれくらいいるのか分からないが、自然言語処理が専門の人たちではない前提で、あまり詳しい話をしてもなと思って説明を省いたところ、詳しく教えてほしいと言われたりして、難しさを感じる（しかしそのレベルで聞きたい人はそもそもこういう会に来るべきではない、あるいは招待講演をお願いする人を間違っている気もする）。高校生も来ているので説明してほしいと言われて、それは熱心と感心したのだが、自然言語処理関係では中学生でも勉強会に参加していたことも過去あるし、早すぎる専門分化には慎重に対応した方がいいと考えている（若いうちは一つのことに集中することを妨げるものではないが、それだけではなく色々と学んだ方がいい）。
パネルディスカッションは狩野さんと自然言語処理の未来について放談したので、これはとても楽しかった。自分は楽観的で狩野さんは悲観的という立場は違うものの、多分2人ともかなり考え方や現状に対する認識は共通していて、現実的な問題を解きながら言語について考えていけぱおもしろいのでは、と思っている。あとは研究室のスタイルの違いかもしれないが、自分は誰か（企業とか共同研究先とか）から頼まれてやる研究というのはほぼ存在せず、かといって自分が誰か（学生）に頼む研究というのも基本的に存在しないのだが、うちの研究室ってどういうふうに研究が進んでいるのか自分でもよく分からない（学生が好き好きに研究をしているイメージ）。
あと、今回の「若手の会」は勉強会もそうだが懇親会で微妙に思ったのは、「若手の会」と言う割にはシニアの人が半分以上で、自分は対象が若手だからと謝金もお断りして、学生の人たちの懇親会費に回してくださいと申し出たのだが、こういう会ならいただいてもよかったのではという気持ちになる（そう思うところが自分の器の小ささを示しているが）。学生の人たち何人かと話すことができて、それはそれでよかったが、シニアの人たちの仕事に関する相談であれば、大学では共同研究や技術相談でお金を払ってもらってやっているので……。
自分の中での「若手の会」の理想は合宿形式の「情報科学若手の会」（情報処理学会プログラミングシンポジウムの関連若手の会）で、これは高校生・高専生から普通に参加しているし、上もせいぜい30歳くらいで平均年齢は20代半ばくらいだと思うので、高校生や学部生で興味ある人はぜひ参加してみるといいと思う。自然言語処理の若手の会のシンポジウムも「情報科学若手の会」みたいにしようと思って自分が委員長時代に若返りの施策をいくつかし、さらに合宿形式にしたが、最近は巨大化しすぎ、かつシニアが増えすぎている気がする（それはそれでいい面もあるのだが、「超若手の会」みたいなのが言語処理学会はの裏で開催されたりしているのはすばらしい）。
