適切な試験問題を作るのは難しい

授業の試験問題を作成する。教科書の本文・演習問題から3/4出し、応用問題を1/4出すことに決めていたので、あまり悩むところはなく、応用問題に何を入れるかを考える。有限状態オートマトンや正規言語は今回の範囲ではないので、正規表現を書いてもらうような問題が出せないのだが、自然言語(フランス語)の文脈自由文法を書いてもらうことにした。ne … pas の否定の対応を書いてもらうのが狙いである(自然言語で離れたところに出てくる呼応関係を書いてもらえればよかったのて、ドイツ語の分離動詞や古文の係り結びでもよかったが)。

平均点が8割になるような試験問題を作るのは意外と難しく、すぐ平均点6割くらいの難しい試験になってしまう(しかも、参加者によって、同じ問題でも難しさが異なるので、余計予測が難しい)。理想的にはボリュームはそれなりにあるが、一つ一つは順序立てて考えればできる問題で、全部解き切ったら(分量があるので)満足感が得られるような、そういう問題なのだが、どうなるかな?

最近思うのは教科書を書く人は本当に偉いということで、特にちゃんとした例題や演習問題(解答付き)を載せている教科書を作るのは非常に大変。アメリカで使われる教科書なんかはこのあたりが非常によく練られていて、本文を読むのも(分量が鬼のようにあるので)勉強になるだけではなく、演習問題に授業では触れなかった興味深い事例や拡張が載っていたりして、演習問題をやってようやく1冊読んだ、と言えるような感じである。

先日も、とある教科書の査読をお願いされたので、自然言語処理に関するところを読んでコメントをお返ししたが、必ずしも専門ではない内容について書くのは大変だなぁ、と実感した次第……。ただ、教科書というのは、そういうふうに手広く書ける人が求められているのであろう。

そういえば、後期からは Speech and Language Processing(1,000ページ以上ある自然言語処理の教科書)の勉強会の時間を現在の2倍強にしようと考えているのだが、今年度だけでは終わらなさそうな雰囲気を感じている。2年かけて読み終えられればいいかな?(読み終えるまで1年以上かかる本というのもすごい話だが、教科書というものは、何冊も読む必要はないので、定評のあるものを1冊隅々まで読み通すとよい)