先週の国際会議週間も今日でおしまい。そういえば東工大岡崎研とのジョイントで出ていた Video-guided Machine Translation Challenge というので（8チーム中？）1位になったらしい（リーダーボードは見てなくて、コンテストが終わった後に聞いた）。NAIST 松本研では「共通タスクに出るなら1位を取るように」と冗談めかして言われることもあったが（自分の研究に関係するタスクなら出ることを妨げないが、そうでないなら新規性を主張したりするわけでもないだろうし、勝ちに行かないと、という意図だったと思う）、自分は必ずしも1位になることを暗にも要請していないのだが、結果的にトップと聞くと少し嬉しいものである。毎年1-2件程度は共通タスクに参加しているが、1位になったのは WMT 2018 の機械翻訳の評価タスク以来かな？
いま ACL が査読システム改革に着手していて、ACL Review Form というフォームで調査をしているので、記入してみたりする。ACL/EMNLP/COLING といったメジャー国際会議は投稿数がうなぎ上りで、投稿数に対して査読者が全然追いついていないのが問題である（COLING は ACL 傘下の国際会議ではないが）。
ACL の Business meeting や Review meeting でも今回の査読者の割合について議論があったが、大半の査読者候補はそもそも ACL の査読をしたことがなく、PhD の学生だったりするようで、とにかく査読の数だけが指数関数的にやたら増えているのに、しっかり査読できる査読者の数は線形にしか増えないので、今までのやり方では早晩破綻する、というのには異論の余地はないだろう。査読しなくてはいけない論文の数を減らすか、査読者の数を増やすか、またはその両方、といったところが議論されている。
短期的な対策としては、前者に関しては、希望者は以前に査読された結果の共有ができるようにする（一部の国際会議、たとえば CICLing ではそのようなことをしていた）とか、査読結果の共有はしないまでも査読者が誰だったかという情報は共有する（同じ査読者を割り当てたり、差分を検討してもらったりできる）とかいったことが考えられる。また、ボーダーラインの論文が繰り返し投稿されて投稿数が増える問題については、ボーダーラインの論文を希望者には論文誌として採択することで、ある程度歯止めをかけることが期待されている（採択を断って他の国際会議に再度チャレンジすることは妨げない）。後者に関しては、投稿した人には半ば強制的に査読をしてもらう一方で、査読経験の少ない人に「メンター」をつけて、査読の仕方を教えてあげたりする、といった対策が考えられる（これらは今回実施されたようだが、メンターがいくら書き直すように言っても書き換えてくれない「ジュニア」査読者がいたりして、大変だったようだ）。
長期的な対策としては、TACL が採用しているようなシステムで、年に1回の締め切りではなくいつでも投稿を受け付け、採択された論文から個々の国際会議が発表を許可するかどうか選ぶ、という方式である。この方法だと、論文と査読者のマッチングは国際会議ではエリアごとになされるのだが、どちらも数が多いので、「査読者ガチャ」と言われるようにあまりよいマッチングになっていないことがある、という問題を解消することができる（このやり方だと、論文誌で編集委員が査読者を個別に依頼するのと同じで、エリアごとに責任を持って査読者を依頼できるので）。個人的には、このシステムは良いと思う。ただ、知っている人に査読を依頼しがちなので、新しい査読者のリクルーティングが難しいし、知り合いからの推薦で査読者を増やすにしても、「強い研究室（あるいは企業等）」にいるかどうかで左右されてしまうようにも思うので、これがいいのかどうかはよく分からない（普通の国際会議のプログラム委員の勧誘でも、多かれ少なかれこういうバイアスは入ってしまうので、このシステムに限った問題ではないが）。
旅行ができないという状況になると、（研究費で）海外に行きたいという人が国際会議に投稿するインセンティブが失われてしまうのだが、それでみんながみんな論文誌に投稿したくなるかというと、博士後期課程の学生でもなければそうではないと思うので、悩ましい。うちの研究室に限らず、日本の大学だと学部生〜修士の学生が研究の主力だと思うので……（卒論や修論を教員が引き取って論文誌に投稿して業績化する、というスタンスの人もいるし、それはそれでいいと思うが、自分は性格的にそれができない）。
