推論が意味理解への第一歩

先週末から娘(3歳5ヶ月)が「かーちゃんと寝る」と言い出したので自分は一人で寝ているのだが、ふと午前2時過ぎに起きたので仕事をしたりする。以前はミルクで起きていて仕事をしていたのだが、いつからか(起きたらミルクはまだ飲んでいるのだけど)起きなくなったので、最近はとんと起きた記憶がないのであった。

午前中は論文紹介に出る。[twitter:@chokkanorg] さんも 紹介されていた以下の論文を紹介してもらう。

  • Conneau et al. Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. EMNLP 2017.

文の分散表現を学習する方法として、自然言語推論のデータを使って文のエンコーダを学習するといろんなタスクで使えるよ、という話。人間が「この文とこの文は似ている」と判断するのは推論がポイントではないか、というのはなるほどという感じ。大人でも文章の読解能力はあやしい、みたいな話が東ロボプロジェクトの末期に出てきていたと思うが、あまり深く考えないようなクラウドソーシングで推論のデータを集めても(というか、むしろそのほうが)そこそこうまく行きそうな気がする。文や文書の表現をどうするか(それらの意味の計算をどうするか)、というのが自分の興味のあることの一つなのだが、文書は計算能力がそこそこないとちゃんと使えなさそうだし、まず文を攻略したいところである。

お昼は学生たちに捕まって研究相談を受ける。月曜日に進捗報告がなかったり、修論の話ではなくアルバイトの話だったりするせいだが、完全にお昼ご飯を食べるタイミングを逸する。しかし技術的には学生のほうがすぐ詳しくなるな〜、と思い、自分もなんとか勉強する時間を取らないと置いてけぼりになってしまう。

午後は新任(10月に着任されたばかり)の小野先生と打ち合わせ。音の信号処理がご専門とのことで、お互いの専門分野の動向を情報交換したりする。来年度の学部再編(情報科学科誕生)に向けて超強力な体制が着々と準備されているので、頼もしい限りである。ちなみに小野先生のアカウント名は onono で自分のアカウント名は komachi である。

その後、研究室で進捗報告を聞く。ACL や EMNLP などのトップ国際会議に向けて現在アイデアを練っているわけだが、まあ年間1本トップカンファレンスに通せれば自然言語処理の博士後期課程の学生としてはかなりのものだし、現実的には3年間で1本くらいトップカンファレンスに通せる力があるならストレートで博士号を取得できるわけで、アカデミアで研究を続けたいのではなくエンジニアとして活躍したいなら、毎年そこまでトップカンファレンスにこだわる必要もないのかなと思ったりする(それよりはちゃんと卒業することのほうが大事)。