外に出る原稿と外に出ない原稿

朝は卒論の添削。まだかなり埋まっていない人もいるけど……。今年は断念したが、やっぱり言語処理学会の年次大会には出せるくらいの感じで準備しておいたほうがいいのかなぁ。ただ、松本先生は修士論文でも全員分ちゃんと見てらっしゃったし、自分も共著になる対外的な原稿だけはしっかり見る、というようにはならないようにしたいので、来年は自分の研究室における卒論の位置付けをちゃんと考えた方がよさそう。

昼からNLPセミナーで、

  • Ryo Nagata and Kazuhide Nakatani. Evaluating Performance of Grammatical Error Detection to Maximize Learning Effect. COLING 2010.

を紹介してもらう。しっかり読んだことはなかったので、勉強になった。どのように自動誤り検出を入れれば英作文の学習効果が高くなるか、というお話。冠詞と数の誤り検出タスクで、まず英作文を書いてもらい、フィードバック(「ここが誤っているかもしれない」ということを教える)を入れて書き直してもらい、その前後で誤りが減るかどうかを調べ、減っていたら学習効果があったと見なそう、ということである。誤り適合率重視と再現率重視、という2つの自動検出法を、何もしない・人手チェック、という2つと比較。適合率重視(90%以上になるように調整したもの)のシステムは人手チェックとほぼ同等の学習効果が得られることが分かった。

同じ作文で誤りが減ることが「学習した」と言えるかどうか微妙なところはある(その後も誤りを犯さないようになることが「学習した」と言えるのでは)が、(2014-02-03 削除=永田さんからメールいただき、評価は学習後に誤りが減ったかどうかでされているそうだ)こういうアプリケーションには適合率が重要である、ということは以前から知られており、実験的にもそれが正しそうなことを示したのは有用であろう。「誤り検出タスクに関してF値で性能を測るのは妥当かどうか」という議論も提起されていて、まさしくそうだよなぁと同意する(ただし、他に妥当な尺度があるかというとなんとも言えないのであるが)。

勉強会のあと、全員の進捗を軽く聞く。資料を用意してもらったりはしなかったのだが、これくらいの進捗でいいから毎週聞いたほうがいいのかな、と思った。資料を用意してもらったところで2ページくらいしか作ってこない人もいるし、本当に小さなところで引っかかっている場合、口頭でも分かるからそれで解決できるし……。

松本研のように毎月食事会(カレーパーティー)をするとか、他の研究室のように毎週ランチミーティングをするとか、もっと研究以外も含めて気軽に話せる環境を作るのが大事なのかなと思う(これは、言うは易く行なうは難し、であるが)。

午後は翌日のコース会議の議事次第を作成・印刷したり、言語処理学会の年次大会の原稿を添削したり。後者も〆切が金曜日なので、共著者が確認・反映する時間を考えると、あまり大掛かりなコメントはできない。最後の最後まで実験結果が埋まっていないので、実験を回しながら論文を書くのは大変そうだと思いつつ、実験に関しては松本研の博士の学生たちが面倒を見てくれていることを期待して、ささやかな添削をして送り返す。やっぱり個々の実験でどうすればいいのか聞ける人がいるかどうかは大きいよな〜。論文を書くのは本当に最後の最後の段階だし……。