今日はまだ南大沢で授業がないので在宅勤務（後に述べるがこれは間違い）。
午前中は津田塾の採点。〆切が近いのでやむにやまれず……。
お昼は NLP 第三の会のランチ（オンライン）。集まる人数は片手で数えるくらいだが、気軽に雑談できるのがいい。人が多過ぎても1グループで話せないだろうし。
午後は雑誌の取材。最近の基盤モデルについて、デタラメ（ハルシネーション）を出力してしまう、ということについて話したりする。最初は Meta の Galactica の話をする予定であったが、ChatGPT が出たので ChatGPT の話を多めにしたり。
ChatGPT は実はかなり革命的であると思っていて、これまで専門家でないと試せなかったような言語モデルを用いた自然言語処理が、一般ユーザでも気軽に試せるようになった、というのがすごい。もちろんモデル自体がオープンではないという問題はあるにせよ、呪文のように自然言語で指示をすれば魔法のようなことができるわけで、もう人類は ChatGPT のない世界には戻れないと思う（ウェブ検索のなかった時代が想像できないように）。
技術的には研究というよりエンジニアリングの塊であるように考えていて、できるということが分かれば真似をするのは簡単な気もするのだが、まず使いものになるレベルの言語モデル（GPT-3）を用意しつつ、そこからさらに強化学習用のデータをひたすら集めて学習させるところがすごいんじゃないかと思っている。どれくらいの量を用意しているのかは分からないが、すぐには追いつけないくらいの膨大な量のアノテーションをしているのではなかろうかと思うし、それを安定的に学習させるのも大変そう。
Microsoft も30年前にビル・ゲイツがこれからは natural language interface だということで立ち上げたと聞いたことがあり、自分がインターンをしていた2007年時点でもそれが実現するのは遠い将来のことのよう（研究レベルですら自分が現役でいる間に自然言語で操作などできそうに見えなかった）に思ったものだが、そこからさらに15年が経ち、ビル・ゲイツは正しかったなと思っている。これは自然言語で操作する時代が近い将来に来るなと感じる（最近のサイクルだと3年くらいのスパン）。
夕方は機械翻訳グループのミーティング。先週、今日は月イチの対面開催の日であるとアナウンスしたにも関わらずド忘れしていて、自分以外の参加者は全員研究室に集合していたようで、平謝り（汗）。毎週の定例グループミーティング、ハイブリッド開催はマイノリティに優しくないので、完全対面の回と完全オンラインの回に分けていて、月に1回だけ対面にすることにしているのだが、月によって変えると混乱すると思い、毎月第一金曜日に対面開催することにしたのだが、今回は自分だけが忘れていたという……。1月は忘れないようにしたい。
