Greetings from Oxford！昨年12月から3回に渡って、「これからの「エビデンスに基づく教育」の話をしよう」と題して、記事をお届けしてきました。
第1回の記事では、「エビデンスに基づく教育」という考え方が日本においても市民権を得始めてきていること、他方で「そもそもエビデンスとは何か」という点について十分な共通理解が醸成されていないことを指摘しました。同時に、「エビデンスの階層性・レベル（LOE）」という概念を参照しつつ、有用なエビデンスを導く上で、ランダム化比較試験（RCT）が有力なアプローチであることを確認しました。
しかし、RCTは定量的に精緻な因果推論を行う上では一つの望ましいアプローチであるものの、実際の政策・実務改善に役立てる観点からは、RCTの結果が必ずしも「理想的」なエビデンスになり得ない（RCTには苦手な問題がある）ことを、OECDの枠組みを使いつつ第2回の記事で紹介しました。
その上で、何らかの施策・取組の成果が「どのように／なぜ」生じたか（生じていないか）という問に答えようと考えた時、RCTでは抜け落ちてしまう視点があること（少なくとも平均値だけでなく分散にも着目する必要があること）、他方でLOEの観点からは「使えない」と思われがちなデータも重要なエビデンスとして活用し得ること（むしろ積極的に複合的なエビデンスを活用すべきであること）を第3回の記事で指摘しました。
以上を踏まえつつ、今回は「これからの「エビデンスに基づく教育」の話をしよう」シリーズ最終回として、複合的なエビデンスに基づいて実際の施策等を評価・検討する際の視点（特に、一つのケースから導かれた結論を異なる文脈に適用する際の視点）を、「Theory of Change（セオリー・オブ・チェンジ）」という枠組みを使いながら考えていきたいと思います。
- １．Theory of Changeとは
- ２．Theory of Changeの活用事例（栄養プログラムの事例紹介）
- ３．ケース・スタディ（少人数学級導入の効果を考える）
- ４．これからの「エビデンスに基づく教育」の話をしよう
１．Theory of Changeとは
今回の肝となるTheory of Change（以下、ToC）、あまり聞き慣れない言葉かもしれません（直訳すると「変化の理論」ですが、それだけではなかなか意味が分かりません・・・）。ToCの定義や具体的な要素は、使う人によってバラつきが見られるようですが、基本的には「何らかの施策・取組が「どのように・なぜ」どのような結果をもたらしたのか／もたらすと考えられるか」という点を、論理的に（且つ多くの場合、視覚的に）整理・記述したものを指します。より実践的な観点からは、最終的なゴール達成に向けた変化を引き起こすために、必要な施策・取組を他の諸条件に配慮しながら論理的に整理・記述したもの、と表現することもできます。例えば、Center for Theory of ChangeというNGOは、後者の観点（達成したい目標をベースに、具体的な施策・取組等を具体化）からToCを以下のようなプロセスで紹介しています。
（出所）Center for Theory of Changeのサイトより筆者意訳
このような枠組みを使うことで、例えば以下のような点に目を配ることができます。
なお、施策・取組が直接的にゴール達成にどの程度貢献したか／していないか、という点を評価する上では、これまでの記事でも強調してきたように、RCTのようなアプローチを用いて定量的な因果推論を行うことが望ましいのは言うまでもありません。それに加えて、上記のような視点を併せて用いることで、より広い視野から施策・取組を検討して有益な示唆を導けるようになる、というのが本稿のポイントになります。
２．Theory of Changeの活用事例（栄養プログラムの事例紹介）
ToCの特長の一つは、論理的に考えられる様々な要素間の関係を、視覚的に表現できる点です。全くエビデンスに基づかない筆者の超個人的な感覚では、実務的な場面でToCを視覚化する際は、最終的なゴールを最上段に描き、それに対する中間的な成果、それらを導く具体的な施策・取組などを、変化の順序とは逆に下へブレイクダウンする形で表現することが多く、他方でアカデミックな論文等では施策・取組等を左に置き、変化の順序に沿って中間的な成果や最終ゴールを右へ描いていくことが多いような気がします。（本当にエビデンスに基づいていませんので、ご注意ください！）
今回は、多様なToCのスタイルの中から、筆者が最近読んで分かりやすいと感じたオックスフォード大学准教授・Martin J. Williams氏の論文で示されている枠組みを援用していきたいと思います。この論文では、教育分野ではないのですが、バングラデシュにおける栄養プログラム（補助食品の配布と母親への栄養アドバイス）を例として、以下のようなToCを提示しています。（より実務的な視覚化の例としては、例えばCenter for Theory of Changeのサイトをご参照ください）
（出所）Williams氏の論文（p.7）
ここでは、まず栄養プログラムを実施するためのリソースを「Inputs」として整理し、それを活用して実施する取組準備（食料調達、職員の雇用・トレーニング）を「Activities」、それによって裨益者（ここでは母親など）に届くサービス（食料提供、栄養アドバイス）を「Outputs」、そこから得られる（と期待される）中間的な成果（母親の知識向上、適切な意思決定）を「Intermediate outcomes」、そして最終的に得られる（と期待される）成果（母親と幼児の栄養改善）を「Final outcomes」として図示し、Inputs～Outputsを実施段階、Outputs～Outcomesをインパクトとしています。
このように、ToCではどのような施策・取組が最終的なゴールへどのような過程で到達するかを整理することで、先述のとおり計画の改善や取組の評価を行うための視点を提供します。しかし、このようなシンプルな図だけでは、取組が望ましい成果をもたらした／もたらさなかった時に、その背景が何なのか、それを他のケースへ援用できるか否かは十分に明らかにすることができません。そこで重要になってくるのが、上述のようなロジック（InputsからOutcomesまでの流れ）を支えるコンテクスト（諸条件）の整理です。Williams氏の論文でも、この観点から上図を以下のようにさらに発展させています。
（出所）Williams氏の論文（p.12）
ここで特に着目したいのは、一言でコンテクスト（諸条件）といっても、さらに二つに分けられている点です。一つは、ロジック（InputsからOutcomesまでの流れ）を論理的に考える際に前提としている諸条件（Contextual assumptions）、もう一つは、ロジックを考える際に前提としていた諸条件が実際にどうだったか（Actual context）です。つまり、上述のように論理の背景となるコンテクストを整理し、それが実際にどうだったかを検討することで、最終的に成果が見られなかった場合に「なぜ（どの段階でどの要素が理論どおりにいかず）そうなったのか」、成果が見られた場合に「他のケースで同じような成果が期待できるか（同じコンテクストが担保されているか）」といった点を明らかにすることができるのです。
例えば、「Activities」から「Outputs」への流れを見てみると、食料調達や人材確保・育成を行うこと（Activities）で、食料提供や栄養アドバイスを適切に展開する（Outputs）ためには、前提（Contextual assumptions）として十分な食料が存在し、適切なロジスティクスが整い、有意義な人材育成が行われることが必要で、さらに食料提供や栄養アドバイスが、取組のターゲット層に適時適切に届けられることが求められます。同様に、中間成果（Intermediate outcomes）の間での流れを見ると、母親の栄養に関する知識が向上する（Intermediate outcomes 1）ことで、母親が各家庭で自身と子供に食料を提供する（Intermediate outcomes 2）ようになるためには、まずプログラムの対象となる母親が栄養アドバイスを行う場に参加し、そこで得られる知識を正しいと考えて実践に移そうとするとともに、各家庭で食料に関する意思決定権を母親が有していることが必要です。
しかし、上図の例の場合、「Activities」から「Outputs」への流れについては、ロジックを成立させるための前提条件と実際の諸条件が整合的ですが、「Intermediate outcomes」同士の関係については、実際の状況が前提条件を満たしていない（各家庭で母親が食料に関する意思決定権を有していない）ことがわかります。そうすると、仮に他の場所で成果が得られた栄養プログラムと同じ取組であっても、それを成功させる一つの条件である「家庭における意思決定権」を母親が有していない場合、想定していたような成果（栄養改善）がもたらされない可能性が非常に大きくなります。前回までの記事や畠山の記事でも触れてきたように、こうした諸条件に十分配慮しないまま特定のRCT結果を「理想的」と見做して他へ援用しようとすると、思わぬ結果をもたらしかねないことがここからも分かります。
なお往々にして、ToCのような枠組みを用いる時、「風が吹けば桶屋が儲かる」のようなノリで単に施策・取組からゴールまでの流れを論理的につなぐ（文字通り矢印で各要素の流れを可視化する）だけで終わってしまうことが少なくありません。しかし上の例からも明らかなように、それだけでは各施策・取組がどのような条件下で当該ゴールに貢献するのか分からないため適切に評価できず、特定のケースで見られた結果が他のケースでも期待できるのか見通すことができません。そのため、このような「ロジック（論理展開）」に加えて、「前提条件」及び「実際の条件」という3点セットを勘案することが非常に重要になってきます。
３．ケース・スタディ（少人数学級導入の効果を考える）
前置きが長くなりましたが、教育に関するテーマで上述の枠組みを当てはめて考えてみましょう。ここでは、これまで何度か取り上げた少人数学級を例に、上図よりも少し短縮して、「インプット（Inputs）」→「アウトプット（Outputs）」→「中間成果（Intermediate outcome）」→「最終成果（Final outcome）」の4段階で見ていきます。（分かりやすさのため、かなり簡素化していますのでご容赦ください！）
まず、論理的に考えられる流れとして、少人数学級導入に必要な資金や人材、教育インフラが「インプット」、それらを使って実際に少人数学級を導入して指導・学習を展開するのが「アウトプット」、それによって期待される「きめ細かな指導の実現」「学習者の活躍機会の増加」「教員・学習者間の関係強化」等が「中間アウトカム」、これらを通じて導きたい「学習者の能力向上」等が「最終アウトカム」、というロジックを設定します。
このうち、まず「インプット」→「アウトプット」の流れがスムーズに実現するためには、必要なリソースや関連制度が整備され、プラン通りに少人数学級が導入されることが必要ですが、例えば少人数学級の導入に伴って必要になる教員増に対応できない、少人数指導に適していると考えられる教授方法を教員養成や研修で十分に提供できない、といった事態が発生すると、そもそも実質的に意味のある少人数学級導入ができないかもしれません。
また、「中間アウトカム」の段階では、少人数学級に伴って教員の負荷軽減、適切な教材・教授方法の使用などが前提条件としてクリアされる必要がありますが、仮に少人数学級とは関係なく新たな校務分掌が発生して時間的余裕が生まれなかったり、従来と同様の教授方法を取り続けたりした場合、きめ細かい指導や教員・学習者間の関係強化が十分に実現しない恐れがあります。
さらに、「最終アウトカム」の段階では、おしなべて細やかな指導が学習者の能力向上に寄与する、活躍機会の増加が学習者のモチベーションを向上させる、といった前提がありますが、ここでも例えば学習者の属性等によって少人数指導の効果に大きなバラつきが見られる（格差が広がる）可能性もあるかもしれません。
少し言い換えると、仮に少人数学級を導入して想定していたような成果が見られなかった場合、「少人数学級」そのものが本質的に「意味がない」わけではなく、様々な前提条件のうち何か一つが欠けているために、最終アウトカムが十分に発現しない、という状況も十分にあり得ます。また、仮にどこかのケースで少人数学級導入による効果が見られた場合であっても、何か一つの条件が十分に整っていない環境下で同様の取組を展開しても、期待していたような結果が得られないことも大いにある訳です。これは、必ずしもネガティブな観点ばかりでなく、例えば「アウトプット」→「中間アウトカム」が期待通りに機能する前提条件として、少人数学級導入により教員の負荷が軽減される（学習者一人ひとりに向き合う余裕が増える）ことが挙げられますが、仮に従来の学級規模のままでも十分に教員の負荷軽減に成功している学校があった場合、少人数学級導入による負荷軽減効果が小さいため、良い意味で当該施策の効果は他の学校に比べて小さくなる、といったことも考えられます（もちろん、さらに効果が高まる、という可能性もあります）。
そのため、繰り返しになりますが、RCT等を通じて何らかの施策・取組の効果が統計的にある／ない、ということが分かったとしても、それをもって安易に他のケースへ当てはめようとしたり逆に排除したりするのではなく、施策・取組と最終的な成果（の有無）との関係をつなぐロジックと、それを成立させる前提条件を丁寧に整理し、当該条件がどの程度当てはまっているのかを慎重に検証することが極めて重要です。これにより、単純な二項論に陥らずに「どのように／なぜ」その結果が生じたかを細やかに検証することができれば、より有意義なインプリケーションを導きやすくなると考えられます。これは少し大げさに表現すれば、ToCのような枠組みを使った「演繹的なアプローチ」と、RCTのようにミクロレベルでの定量データを積み上げて因果推論を行う「帰納的なアプローチ」の融合、とも言えるかもしれません(*)。そしてこの作業を行う上でも、LOEの文脈では「使えない」と断じられてしまうような定性的なデータも、上図のようなマッピングを行い、その結果を検証する中で貴重な「エビデンス」になってくるのです。
(*) この「演繹的なアプローチ」と「帰納的なアプローチ」を融合させることの重要性は、筆者がオックスフォードで指導教員に叩き込まれた視座でもあります。。。
４．これからの「エビデンスに基づく教育」の話をしよう
今回の記事も長くなってしまいましたが、最後までお読みいただきありがとうございました。末筆ながら、これから「エビデンスに基づく教育」の話を日本で深めていくために筆者が大切だと感じていること、それは「日本は定量的なエビデンスを創出・活用するための環境・制度整備が遅れているから米英を見習おう！」という最近よく聞く話ではなく（それそれで、もちろん大事ですが）、私たち一人ひとりのリテラシーを高めていくことです。これは何も、誰もが高度なRCTを自ら実施できるようになることを意味しません。そうではなく、「エビデンスに基づく教育」を語る時、特定のアプローチや特定のケースから得られた結論を安易に受け入れるのではなく、いったん立ち止まって複合的な「エビデンス」に目を配り（少なくとも様々な視点があることを意識して）、批判的に検証していく意識・態度を広く醸成していくことが重要だと思うのです。様々な立場の人が、このように様々な観点から慎重に検証を重ねていくことは、一見、時間がかかる非効率的なプロセスのように映るかもしれません。しかし、教育に係る施策・取組を通じてポジティブなインパクトを創出していくことを目指すのであれば、十分に時間をかけるに値するプロセスですし、逆にこうした丁寧な批判を抜きにして「分かりやすいエビデンス」「格好良く見えるエビデンス」に飛びつくことは、結果的に多くのリソースを無駄にし、望ましくない結果を導くことにもなりかねません。その意味で、今回のシリーズが、これからの「エビデンスに基づく教育」の話を日本において更に前へ進める一つのきっかけになれば幸いです！
荒木啓史
---------------------------------------------------------------------------------------------
サルタックは無料メルマガを開始しました。
・本ブログ記事の更新情報
・編集後記
・日本でのイベント情報
・インターンやボランティアの募集告知
などをお送りいたします。
下記のリンクにあるようなメルマガを配信しています。
ご興味がある方は下記のリンクよりご連絡ください。
またサルタックでは常時会員と寄付を受け付けています。
サルタックと共に多くの子どもたちに有意義な教育を届けるパートナーになりませんか。
ご関心がある方は下記のリンクより会員・寄付のオプションについての詳しい説明にお進みください。
---------------------------------------------------------------------------------------------
