査読者としてのコメントをどう書くか

The Art of Computer Programming が届いたので夏の勉強会ページを作成したりなど。今年のSVM勉強会も日程調整が始まったようである。8月は平日はほとんど奈良にいるはずなのだが、よくよく考えると結婚式関連で土日は意外とちょこちょこと抜けるのかも……。

昼から午後にかけて国際会議論文の査読。自分は少なくとも10行、だいたい平均すると20行くらい書くことにしている(分からないところを質問するのに加え、ここをこうしたらもっとよくなる、という点を一つ一つ書くとけっこう増える)のだが、自分のコメントを投稿すると他の人の査読コメントを見ることができて、ふと見てみると3行しか書いている人がいなかったりして、驚いたり。

確かに、自分も以前この会議に投稿したときは、2人の査読者からそれぞれ2行ずつしかコメントもらわなかったが、そういう人多いんだろうか。音声系は(ページ数も4ページでフルペーパーと短いので)コメントも短いのが普通だそうで、分野によるのかもしれないが、自然言語処理の(いわゆるトップカンファレンスと呼ばれる)国際会議は割と長いコメントをするのが普通だと思うので、この会議のコメントの短さにはびっくりする。

データベース系の国際会議の基調講演のスライドだそうだが、"DBMS Research: First 50 Years, Next 50 Years"というのを見ると、情報系と言っても分野によっていろいろ違うとはいえ、やっぱり共通している問題もあったりして、考えさせられる。自然言語処理だと投稿する人は匿名で、査読する人も匿名となる double blind review が普通だが、査読する人だけ匿名な single blind review をする学会・国際会議もけっこうあるし、最近自然言語処理の国際会議でも始まったように、ソフトウェアや作ったデータを提出させたりするのがどんどん広まると、名前を隠しても大体どこの誰だか分かってしまう (その分野の専門家に査読を依頼するし、専門家だったら研究内容からどこのグループから来た論文かは大体分かる) ので、double blind でないとよくない、というのはあまりないかなぁと最近思う。

このスライドの最後のほうで言われているのはコロンブスの卵的発想で、double blind review もいわゆる single blind review も、査読者が匿名だと分野の発展に貢献しないような査読をする人がいるので、single blind でも投稿者の名前は匿名にしたまま、投稿者は誰が査読したかは分かるようにすれば、意地悪なコメント・査読はなくなるだろう、という話。確かにそれは一理ある。適当な査読をしたり難癖つけているのが分かると「あの人はちゃんと査読しない」という評判になるだろうし。逆に査読が回ってきてほしくないからそうする人もいるかもしれないが (汗) (そういう人は名前が出るならさすがに断るだろうけど)

とはいえ、自分も査読のコメントから学んだこともたくさんあるので、これまでの恩返しだと思って (あと1回投稿すると3人の査読者がつくので、1回投稿したら採録の有無にかかわらず3本までの査読は義務だとも思って) 査読をしているし、できるだけ論文をよくできるようなコメントをしていきたい。

夕方は勉強会。「確率的言語モデル」

言語と計算 (4) 確率的言語モデル

を持参したが、あまり役に立たなかった。1999年の本なので、最近の話 (と言っても10年以上前の研究) が微妙にカバーされていない (もちろんとても優れた本であることは間違いないのだが)。Speech and Language Processing, 2nd Ed. には interpolated Kneser-Ney スムージングとかちゃんと載っているらしいのだが、1999年発行の FSNLP にも載っていないし、やはりこの分野で10年というのはけっこう昔になってしまうのだなと思った。