ブラインド査読といえどなんとなく

朝、上の子の熱を測ったら38度1分で、母に見てもらえるかと思って電話したら母も通院日だったようで、フローレンスも受診してからでないとお願いできないし、そもそも家にいて下の子にうつすリスクがあるので、大学に連れていくことに。体調がよくないようで、ときどき「気持ち悪い」と言うのをなんとか休み休み職場に連れてきて心が痛んだが、大学に来てからは大人しくしていた。

まず拡大学部教務委員会。2-3月に定例以外の会議の数が多いのだが(卒業判定や進級判定、編入生の単位認定などがあるから)、定例の会議はそんなに長引かないのでありがたい。

次に研究室で EMNLP 2019 読み会。娘は秘書さんと一緒にいる、ということで自分だけ研究室に。3本紹介してもらったが、以下の論文の切り口がおもしろかったかな。スライド

  • Cornelia Caragea, Ana Uban, Liviu P. Dinu. The Myth of Double-Blind Review Revisited: ACL vs. EMNLP 2019.

タイトル通り、いま自然言語処理の国際会議は基本的にダブルブラインド(投稿者は査読者が誰か分からないし、査読者も投稿者が誰か分からない)の査読をしているのだが、そうと言っても実際は査読者のことは分かってしまうのでは? というのを定量的に示した研究。正解率が高いよ! と言っている割には、この論文で言うところの正解率はあまり適切な評価尺度ではないように見えるので、書き方がうまいのと一発ネタ的におもしろいというのと両方あるかもしれない。

実際、査読フォームで「著者のことが分かるか、あるいは推測できるか」「推測できるとしたら、それは誰か」みたいなのを書かせる場合もあり、area chair をしていた経験からは、割と推測能力が高い人もいれば推測能力が低い人もいて、ただ推測しない人は、なんとなく推測できても慎重にそれを言わないだけではないかなとも思われたりして、よく分からない。しかし著者が明らかに分かるような書き方をしている論文(典型的にはソースコードやデモの置いてある場所から所属組織が分かるケースが多く、次に PDF のメタ情報に筆頭著者の名前が埋め込まれているケースが多い)は、そもそも著者名云々以前にリジェクトになる可能性が高い論文だし、論文の査読は専門性の高い人に依頼するので、内容を見たら「ああ、この内容ならあそこのグループしかありえないな」と分かってしまうケースも多々ある(し、概してそういう論文は質が高い)ので、著者名や所属組織が推測できてしまうというのを完全に防ぐのは無理ではないかなと思う。一度ダブルブラインドの査読にしていても、結局だいたい推測できてしまって意味がないし、そうはいっても建前的にダブルブラインドにするために著者と査読者が無駄な努力をしないといけないのは不毛なので、シングルブラインドに戻した論文誌も少なくないし。

お昼は娘と秘書さんとランチ。今日は行きたいところがある!と娘が言うので、どこかと思って聞いてみたが、どうも場所が分からないようで、結局いつもの通りに。朝はどうかと思ったが、食欲が戻ってきてよかった。

午後は M2 の進捗報告を聞く。聞いているうちに娘が寝てしまったので、起きるまで待ってから帰宅。自分といるときは昼寝はしないので、今日はやっぱり体調が悪かったんだなと思う。

夕方は娘を連れて病院に行くも、診察してもらうと「もう治りかけですね」と言われたりしつつ、翌日の病児保育のための診療書を書いてもらったり、薬をもらったり。これで治るといいな。