読解力って何？(その3) シミュレーションからわかる事
前回は、様々な仮定の下で受検者の能力の散らばりと問題の種類に応じた正答率、その不確実性などに関する数量的な関係性を表すモデルの構築を行い、
- 模試偏差値70以上はかなり高い合格率になる
- 模試偏差値60から70未満については、合格率は偏差値によらず50%近辺となっていて偏差値と合格率の間に有意な関係性が見られない（無相関）
という東葛中受検における模試偏差値別合格率の特徴や、
- 平均点20点台、ボーダーライン50点前後
という適性検査での得点の散らばりかたの特徴を再現しました。
モデルの良いところは、モデルを構成するいろいろな変数(パラメータなどと言います)を変えて結果の変化を確認する事で、モデルが表すメカニズムをより深く知ることができるところにあります。
今回は、前回構築したモデルのパラメータを変え、東葛中適性検査のあれこれについて考えてみます。
<模試偏差値と合格率の無相関性を産むもの>
上記について、当初私が想像していたのは
「千葉県の適性検査問題が非常に難しいにもかかわらず、模試の問題が易しい、あるいは質的に本番の検査問題と乖離してしまっているために、その模試で計測される偏差値がモノサシとして上手く機能していない。」
というものでした。
今回のシミュレーションでは、前段の
「千葉県の適性検査問題が非常に難しいにもかかわらず」
に対応するものとして、
問題A :能力値と正答率が比例
問題B :能力値が閾値を超えないと正答率が上がらない
の2種類に分けた上で、その配分比率について
模擬試験 :問題A 8割、問題B 2割
適性検査 :問題A 2割、問題B 8割
とする事で表現しました。
ここまでの仮定から、
「その模試で計測される偏差値がモノサシとして上手く機能していない。」
という結果はきれいに再現されます。
以下は、上記仮定のもとに再現される模試偏差値と真の偏差値の対応を表すグラフです（「受検者の能力の期待値はあらかじめ決まっていて、数値化できる」という仮定からシミュレーション上の計算としてこのような対応を考えることが可能となります）。
このグラフからは、「真の偏差値70を持つ同じ個人が模擬試験では偏差値73と判定される」事が読み取れます。
模試偏差値が適性検査を受検した際の偏差値を正確に計測するとすればグラフはきれいな45度線を描くはずですが、問題Bの正答率が上がり始める閾値あたりから上方にシフトし、適性検査での偏差値に対して模試偏差値は過大に計測されるのです。
<正答率の不確実性が鍵>
たしかに
「千葉県の適性検査問題が非常に難しいにもかかわらず、模試の問題が易しい、あるいは質的に本番の検査問題と乖離してしまっているために、その模試で計測される偏差値がモノサシとして上手く機能していない。」
ということはキレイに再現されました。
しかし、上記だけでは「模試偏差値と合格率の無相関性」は再現されません。無相関性を再現するために決定的に重要なのは、実は「正答率の不確実性」なのです。
以下、順を追って見て行きましょう。
シミュレーションでは、
- 問題Aには正答率の不確実性は存在せず、いつでも能力値によって決定される期待値通りの正答率が実現する
- 問題Bには正答率の不確実性があり、いつも期待値通りの正答率が実現するとは限らない
と仮定し、問題Bについては不確実性の大きさを表すパラメータを設定しました。
この不確実性を表すパラメータは、能力値ごとに異なる設定をしており、「問題Bの正答率の伸びが高い能力値(偏差値60から70;グラフ横軸の１から２に相当)に位置する受検者ほど値が大きくなるような設定になっています。
＜段階的シミュレーション＞
「模試偏差値と合格率の無相関性」を生み出す最大の要素が何かを調べるために、正答率の不確実性を表すパラメータについて、以下のように段階的な設定を行い、合格率のシミュレーションを行います。
- 不確実性は存在しない
- 問題Bの正答率に小さな不確実性を仮定（但し、不確実性は能力値に関わらず一定）
- 問題Bの正答率に大きな不確実性を仮定（ 但し、不確実性は能力値に関わらず一定）
- 問題Bの正答率に小さな不確実性を仮定（不確実性は正答率の伸びに比例）
- 問題Bの正答率に大きな不確実性を仮定（不確実性は正答率の伸びに比例）
無相関性が、「正答率の不確実性が大きい中で一発勝負を行わなければならない」ことと深く結びついていることが想定されるため、合格率を計算する際のシミュレーション回数は５回と設定しました。
＜シミュレーション１＞
正答率に不確実性がなければ、今回のシミュレーションは「1000人の受検者のうち、上位12%以内の人が合格する。」というものですから、最初から合格する人は「真の偏差値」で62以上の人と決まってしまいます。
ですので模試偏差値区分別の合格率に関するボックスプロットも、模試偏差値区分55〜60までは合格率0%でフラット、模試偏差値区分60〜65の区分では合格率0%から100%までばらけ、模試偏差値区分65〜70の区分より大きくなると100%でフラットな形状となります。
＜シミュレーション２＞
＜シミュレーション３＞
＜シミュレーション４＞
不確実性を入れることで各偏差値区分の合格率に散らばりが発生します。不確実性の大きさによってボックスプロットの幅が小さかったり大きかったりしますが、偏差値区分と合格率の関係は比例関係を保っています。
＜シミュレーション５＞
偏差値60から70の区分で模試偏差値と合格率のあいだに関係性が見られなくなっています。
以上のことから、模試偏差値のモノサシとしての適切性だけでは模試偏差値と合格率の無相関性を再現することはできず、「能力値別正答率の不確実性」と「不確実性の不均一性（特定の模試偏差値ゾーンで不確実性が大きくなる）」の両方が必要となることがわかりました。
それではこの、能力値別正答率の不確実性」と「不確実性の不均一性」は何故起きるのでしょうか？
次回はシミュレーションから離れて、このことについてじっくり考えてみることにします。
