先日書いたように、現在査読中の EMNLP という機械学習や統計的手法を用いた自然言語処理に関する国際会議では、普通の国際会議と違って投稿者に1回だけ反論が認められている。ほぼ1週間後にもらう査読結果と同じものが事前に見せられて、それが不服だと思えば反論できる、というものなのだが、全く変わらなかったという人と、点数を下げられたという人両方いるので油断ならない。
点数を上げられたという人はまだ聞いていないので、努力しても無駄かもしれないが、一応反論をしてみた。論文誌でよくある条件付き採録とかで「これを直したら採録にしますよ」というほうがまだ納得性が高い(努力しても変わらない人と変わりうる人との違いが明らかなので)が、そもそも根本的な部分の誤読で点数が不当に低い人はそれでは救われない(でも現在の仕組みでも救われるのかなぁ)ので、いまの形式でも仕方ないような気もする。
査読しているときは査読者的には他の査読者がつけた点数は見られないのだが、査読後には他の人のコメントと点数が分かるので(もしかすると authors' response だとまだ見られないのかも?)、それを見て「なんだ、他の人はそう見ているのか」と思って点数を上げたり下げたりする、というのがあるのかも。でも他人がどう判断しているのか知ったら影響されそうだし、最終判定までコメントも評価も含めて他の査読者のものは見えない方がいいのかな……(引用で見えてしまう部分は仕方ないにせよ)。
自分がやっているのとタスク的にはほとんど同じ話が KDD 2009 という別の国際会議で発表されることを知った(それらの研究とは独立に進めていたし、採択タイトル一覧が出た時期とほぼ前後しているとはいえ)ので、今回なんとか通ってほしいのだけどな〜。落ちて次出し直すときはそこでの新規性は主張できなくなってしまうので……(彼らの手法の方がさらにいろいろ工夫しているのでなんともいえない)
