読解力って何? ー新井紀子氏の著作を読むー

先日、自宅近くの書店の一角にAI関連本のコーナーが設けられており、新井紀子氏の「AI vs. 教科書が読めない子どもたち」が平積みにされていました。

 

 以前、ゆず母さんのブログでも触れられていた内容ですが、改めて本書を読んでみると、「東ロボくん」を通じたAI研究の知見が「学力とはなんなのか?」という問いの本質に迫る視点をいくつも提供してくれていることに気付かされます。

whiteboard16.hateblo.jp

 

東葛中受検とは何か?」という問いに向かい合う時、表面的には適性検査問題の出題形式の特異性や平均点の低さ、受検生の得点分布の特異性、記述問題における採点基準の厳しさに目が向けられがちですが、結局のところ、「東葛中が求める学力とは何か?」という点に帰着せざるを得ないように思います。

 

ゆず母さんも言及されていましたが、日本人のそれが低下しているとして新井氏が警鐘を鳴らす「読解力」は適性検査を通じて東葛中が受検者に求めている「適性」と深く結びついているように思えてなりません。

 

しばらくこの、新井氏の著作を引用しつつ考えて行きたいと思います。

 

【大学生数学基本調査の結果と適性検査得点分布の類似性】

 まずは新井氏に基礎的読解力調査に対する強い動機付けをもたらした「大学生数学基本調査」に関して、新井氏が著作の中で例示した「偶数・奇数問題」を用いて説明します。

 

新井氏が例示したのは、偶数と奇数を足すと答えがどうなるか、選択肢から選択させた上で、その理由について説明させるものです。

この数学基本調査は48大学、90クラス、6000人の大学生(多くが1年生)に対して行われました。問題例から分かる通り「数学基本調査」と言いつつもかなり基本的な内容を中心とする調査です。

しかし、その結果は新井氏を非常に驚かせるものでした。

例えば、「偶数・奇数問題」の正答率は全体で34%、理系学生に限っても46.4%と半数に満たなかったようです。

問題前半の、「答えがどうなるか?」は良いとして、その後の「理由の説明」の部分ができないようです。

 

私にとって興味深かったのは、「偶数・奇数問題」の大学分類別正答率と、本ブログの記事「適性検査について」で言及させていただいた、東葛中学の、模試偏差値別合格率実績の奇妙な類似でした。

 

著書にはこの問題に関する大学分類別の正答率がグラフで示されています。

大学分類はベネッセの分野分類、偏差値クラスに基づいて分類されており、国立S,A,B、私立S,A,B,C、の合計7つに分類されます。

 

この大学分類別の正答率を見ると、国立Sは「正答+準正答」が約8割で「典型的な誤答」が約2割なのに対して、それ以外の大学分類では、「典型的な誤答」がどれも5割程度でその割合と大学分類の間に有意な差が見られません。

 

「適性検査について」では、適性検査模試受験者の偏差値別合格率について、

 

・模試偏差値70以上はかなり高い合格率になる

・偏差値60から70未満については、合格率は偏差値によらず50%近辺となっていて偏差値の間に有意な相関関係が見られない

 

という特徴を述べました(合格率の傾向を分ける偏差値の閾値についてはだいぶ記憶が曖昧です)。

 

上記事実の説明として当時私が立てた仮説は、

 

「千葉県の適性検査問題が非常に難しいにもかかわらず、模試の問題が易しい、あるいは質的に本番の検査問題と乖離してしまっているために、その模試で計測される偏差値がモノサシとして上手く機能していない。」

 

というものでしたが、この大学生数学基本調査や、それに続く基礎的読解力調査に関する新井氏の考察を吟味して行くことでもう少し良い解釈にたどり着けそうです。

 

【新井氏の仮説と基礎的読解力調査】 

新井氏は、この大学分類別正答率の分布を見て「こんな問題であからさまな差がつく」と驚き、数学基本調査の答案を採点するうちに、「どこの大学に入学できるかは、学習量でも知識でも運でもない、論理的な読解と推論の力なのではないか?」との考えに至り、その仮説に説得力を与えるため、「東ロボくん」研究を通じたAI研究の知見を活用して基礎的読解力調査を開発し、調査を行います。

 

基礎的読解力調査の調査対象は、谷崎潤一郎川端康成の小説や小林秀雄の評論文の行間を読むような特別な能力ではなく、「辞書にあるとおり、文章の意味内容を理解するという、ごく当たり前の意味での読解力」です。

 

しかし、その当たり前の能力をわざわざ調査するその裏側には、「それまで誰も疑問を持っていなかった『誰もが教科書の記述は理解できるはず』という前提」に対する疑問があります。

 

基礎的読解力調査は

係り受け

②照応

③同義文判定

④推論

⑤イメージ同定

⑥具体的同定(辞書・数学)

の6つの分野で構成されており、新井氏によると、

①、②は盛んに研究が進んでおり、AIの正答率がかなり上がりつつある分野、③はAIにはまだまだ難しいとされる分野、④から⑥はAIには全く歯がたたない分野。

とのことです。

 

この基礎的読解力調査は小中高生を中心にしてこれまで2万5000人に対して調査が行われており、調査は規模を拡大しながら今も継続しています。

 

新井氏は豊富なデータの分析に基づく知見を交えながら幾つもの具体例を交えて説明を行って行くわけですが、先に述べた「適性検査合格率と模試偏差値の関係」という問題意識との関連では以下の具体例に興味を惹かれました。

 

係り受け問題とイメージ同定問題に見られる能力値別正答率の特徴】

事前にはわかりませんが、テストの結果が出ると、各問題の正答率(事後的な難易度)の分布がわかり、どの程度の難易度の問題をどれだけ正答できたのかといった情報を用いて、テスト受験者各々の能力を段階評価することが可能になります。

 

新井氏は各種問題に関してこの「能力値」別の正答率を計算し、問題設計の適正性を計ったり、受験者の思考の癖を分析するために利用を行いました。

 

先に、基礎的読解力調査の問題パターンを挙げましたが、その中でも現在のAIでは全く歯が立たないものの1つが「イメージ同定」です。イメージ同定には「文章の正確な理解力に加え、図やグラフの意味を読み取る能力」が必要とされます。

 

私が興味深く感じたのは、「係り受け」のようなAIがすでに得意としつつある問題と、この「イメージ同定」のようにAIでは歯の立たない問題における能力値別正答率や、学年別正答率の違いです。

 

係り受け」の問題では、6段階の能力値と正答率の関係が右肩上がりの綺麗な直線を描いていますが、「イメージ同定」では異なった関係がみられます。

 

「イメージ同定」では、能力値1から3がほぼ横ばいとなり、能力値3から4にかけて直線が右肩上がりに傾斜し始め、能力値4を超える領域では直線の傾きが急激に大きくなるのです。

 

すなわち、「イメージ同定」では、「能力値が一定水準(閾値)を超えると正答率が大きく上がる一方、当該閾値未満の能力値においては大して違いがみられない」のです。先に述べた偶数・奇数問題同様、適性検査試験における模試偏差値と合格率の関係に非常に良く似ていると言えます。

 

「適性検査試験における模試偏差値と合格率の関係」を読み解くためのヒントが隠されていると言えるのではないのでしょうか?

 

次回はこの点についてもう少し掘り下げて行きたいと思います。