- 1. はじめにーエビデンス・ベースドかエビデンスインフォームドか?
- 2. なぜ効果検証にMixed Methodsが必要なのか?－OECD・DACの評価五項目から考える
- 3. Mixed Methodsとは何か
- 4. Mixed Methodsはなぜ重要か
- 5. Mixed Methodsの難しさ
はじめまして、サルタックでインターンをしている池田善孝です。
その施策はエビデンスに基づいているのか？と問うのは簡単ですが、その実践はそれほど簡単ではありません。開発援助の実践には、様々な主体がかかわり複雑性が高いうえ、測定すべき指標も広範囲にわたり、厳密な効果検証には様々な困難さが伴ってしまうのが現実です。今回は、そのようなエビデンス・ベーストの有効性を高める可能性を持つMixed Methodsについて検討します。（理事の畠山もMixed Methodsについて言及しています。こちらの記事も併せてご参照ください！）
1. はじめにーエビデンス・ベースドかエビデンスインフォームドか?
本題のMixed Methodsに入る前に、ひとつ重要な議論をしておきます。エビデンス・ベースドとエビデンス・インフォームドについて区別しましょう。「エビデンス・ベースド」は最近よく色々な研究者の方々が言及したり、メディアでも取り上げられたりしているので、ご存知の方も多いかと思います。しかし、「エビデンス・インフォームド」は比較的認知度が低いのではないでしょうか?
エビデンス・インフォームドとは、科学的な根拠（＝エビデンス）は意思決定を決めるあくまで一つの要因に過ぎない、という「エビデンス・ベースド」とはやや異なる立場を取る考え方です。現実の意思決定には、文化的なものや、コスト、公平性、実現可能性など様々な要因がかかわります。もちろん、不確かな経験則や勘に従うよりは断然マシですが、より有効に活用するには「エビデンス」に依拠しつつも、その他の要因にも配慮した意思決定が重要というわけです。こうした多角的な視点は、今回お話しするMixed Methodsにも通じる部分があります。
近頃は、「エビデンス・インフォームド」の方がエビデンスの活用を示す用語として使われる場面が増えてきています。代表的な例としては、WHOがエビデンスの実用推進のために構築したネットワークであるEVIPNet(evidence-informed Policy Network)が挙げられます。この名称は、エビデンスの使用といえば「ベースド」でなく「インフォームド」という動きを顕著に表しています。さらに、WHOの意向は他機関にも反映されやすく、UNAIDSもガイドラインにて「エビデンス・インフォームド」の使用を推奨しています。今後は、「エビデンス・インフォームド」の使用がより一般的になる傾向が予想されます。
こうした議論を踏まえると、先ほどの一文を少し修正しなければなりません。今回のテーマは、そんな「エビデンス・ベースド」よりも「エビデンス・インフォームド」の有効性を高める可能性について検討していきます。では、改めまして、”Mixed Methods”について議論していきましょう。
2. なぜ効果検証にMixed Methodsが必要なのか?－OECD・DACの評価五項目から考える
なぜMixed Methodsが、エビデンス・インフォームドな政策形成に当たって必要なのか考えるために、経済協力開発機構（OECD）の開発援助委員会（DAC）が提唱する「評価基準（Criteria for Evaluating Development Assistance）」に目を向けてみましょう。「妥当性（relevance）」「有効性（effectiveness）」「効率性（efficiency）」「インパクト（impact）」「持続可能性（sustainability）」の5項目で構成されるこの基準は、何らかの施策・取組みを考察する枠組みとして、国や文化を超えて広く参照されています。
例えば、「女子就学率を高めるために奨学金プロジェクトを実施する」という例を考えてみましょう。この場合、妥当性（relevance）とは実施国・地域において、女子就学率の向上が取組むべき価値のあるイシューであるかを表します。示し方としては、データや政策文章・国家開発計画での言及が挙げられます。続く有効性（effectiveness）とは、奨学金導入が与えた正負の影響といった短期的なアウトプットに関する項目です。効率性（efficiency）とは女子就学率の向上において奨学金の導入が最も優れた手段であるかに関連するものです。インパクト（impact）は、女子就学率向上の結果、すなわち中長期的なアウトカムを表します。女子就学率であれば、ティーンエイジャーの結婚年齢などはその一例でしょう。最後に、持続可能性（sustainability）とはプロジェクト及びその効果が継続的であるかです。
以前の記事で詳しく解説されている通り、定量的アプローチの代表格であるRCTは、「有効性」「効率性」「インパクト」の検証を比較的得意とするものの、「妥当性」「持続可能性」の検証は比較的苦手としています。
この点について、引き続き女子教育のプロジェクトを事例に説明します。RCT実施の手順は以前の記事で解説されていますが、女子（学校や村など個人レベルよりも上のものを対象にもできます）をランダムに実験群と統制群に分けて、実験群にだけ奨学金を渡し、統制群と比較してどれだけ就学率を伸びたかを計測する、というのが基本的な所です。もちろん、就学率の伸びを計測しているので「有効性」が検証できていますし、この有効性をかかった費用で割ってやって他のプロジェクトと比較すれば「効率性」の検証も出来ます。データを長期間取り続ければ、実験群と統制群の間で10代の母親になる割合がどれぐらい違うのかということも計測できるので、「インパクト」の検証も出来ます。しかし、当然ながらこの実験群と統制群の差は、このプロジェクトがその国や地域において取り組むべき価値があるイシューであったか物語ることはないため「妥当性」は未知数なままですし、確かに効果が大きいプロジェクトはドナーが撤退後も継続される可能性は高いかもしれません。ですが、効果が大きくても継続されないプロジェクトはざらにあるので、「持続可能性」についての厳密な検証はできていません。このため、関係者へのインタビューやフォーカスグループディスカッション、学校や政策形成過程の観察、政策文章の検証といったドキュメントアナリシスといった質的な調査手法で、「妥当性」や「持続可能性」を検証していく必要があります。
さらに、これも以前の記事が指摘するように、RCTが得意とする「有効性」の検証においても、あるプロジェクトが「どのように・なぜ」有効であるのかという問いについては定量的な側面だけでは語り切れません。こうした場合も、上述したような定性的なアプローチが有効な示唆を与える可能性が高いでしょう。
（以前の記事より引用）
3. Mixed Methodsとは何か
教育研究におけるMixed Methodsの活用については“Research Methods in Education 8th edition”が上手くまとめているので、この章ではこの本の内容を簡単にご紹介しようと思います。
Mixed Methodsとは、定量的・定性的なアプローチをひとつの研究において組み合わせた研究手法のことで、現実の世界は定量的・定性的な世界観の片方のみで語れないというスタンスに立っています。
定量的・定性的なアプローチの一例として、それぞれのデータに目を向けてみましょう。定量的なデータは、標本抽出された比較的大規模なデータや国勢調査のような全数調査に基づくもので、就学率などの各種教育指標などが代表的です。その一方で、定性的なデータの代表的なものとして、支援対象の地域で録音した会話や、新聞記事、日記、写真、地域の会議の議事録、インタビュー、フォーカスグループインタビュー（感想を聞くインタビューに対して議論を目的とする）、参与観察などが挙げられます。
このようにデータ1つとっても、様々な例が存在します。定量と定性をミックスしたアプローチといっても、組み合わせる対象（サンプルや、データ収集、分析など）やタイミングなど種類が多いので、意外と複雑です。ただ、大きな分類としてはParallel design、定量が先行するSequential design、定性が先行するSequential designの3パターンが挙げられます。
Parallel designとは、定量的・定性的アプローチがそれぞれ同時進行で進められるパターンです。異なるアプローチがそれぞれ独立にリサーチクエスチョンに向かうこのパターンは、Mixed Methodsの中でも特にTriangulation（三角測量）という手法に馴染み深いものです。既知の2点の角度から求める1点までの距離を測る単語が示すように、Triangulationとは複数のデータや分析を用いて信頼性・妥当性を高める手法を表します。例えば、ある地域で児童の就学率に影響する要因を分析するとしましょう。標本抽出されたデータセットに計量経済的な分析をかける一方で、児童の登校の観察や親・教師へのインタビューを行い、ともに一致する結果が出れば結果の信頼性・妥当性は片方のみの分析の場合より高まります。さらに、一致しない場合にも、特に定量分析の結果、プロジェクトが思うような結果を出せていないことが判明した時に、質的調査の結果が想定していたどのプロセスがどのようにして誤ったのかを示唆してくれます。
Sequential designとは、定量的・定性的なアプローチが交互に行われるパターンです。定量的なアプローチが先行する場合とその逆の2パターン存在します。それぞれのパターンに注目してみましょう。まず、定量的なアプローチが先行するパターンです。このアプローチは事実の描写にすぐれています。そのため、適切にコントロールした回帰分析を行えば、ある施策・取組みの目標に対する効果のあるなしが明らかになります。それに続いて、定性的なアプローチを実施すれば「なぜ」「どのように」有効であるのか、あるいは有効でないのか補完できるというわけです。続いて、定性的なアプローチが先行する場合を考えてみましょう。定性的なアプローチは関係性の説明にすぐれます。そのため、ケーススタディーを通じてある事象間に潜む関係性やイシューが発見されることがあります。それに続いて、定量的な検定を行うことで想定された関係性やイシューの重要性が明らかになるというわけです。さらに、母集団が判明していないケースにおいても、定性的なアプローチでデータが補完できる場合があります。例えば、スノーボールサンプリングという、回答者から知人を紹介してもらい雪だるま式にサンプル数を増加させる手法が代表的です。ただし、これはランダムサンプリングではないため計量経済的な検定は十分に適用できないというデメリットも存在します。
こうした両方のアプローチが同時進行するParallel designと、それぞれ順番に行われるSequential design2パターンが、Mixed Methodsの大枠となります。他にも分類はありますが、どのパターンを採用するかかは、基本的にリサーチクエスチョン次第です。ある事柄について、基本的・表面的な関係を明らかにする「何が」の問いには定量的なアプローチが比較的有効です。しかし、そうした関係がもたらされるプロセスに注目した「どのように」「なぜ」の問いには定性的なアプローチが価値を発揮します。研究が明らかにしたい問いに応じて、適切にミックスされたアプローチが肝要となります。
4. Mixed Methodsはなぜ重要か
続いては、そうしたMixed Methodsを開発支援の実践に用いる利点についてです。世界銀行が2010年に発表した”Using Mixed Methods in Monitoring and Evaluation”では、インパクト評価においてMixed Methodsを用いる必要性が説明されています。ここでは、それをプロジェクトの設計、実行、分析の各段階に分けて説明していきます。
プロジェクトの設計段階においては、より多様な対象の分析に貢献します。例えば、少数民族であったり僻地で生活している場合では、先行研究が不足し、現地における課題が分からないことがあります。加えて、家庭内暴力や売春のようなセンシティブなトピックでは母集団が判明しているとは限りません。さらに、パイロット調査のサンプル規模が僅かで効果の確認が難しいなんてケースも存在します。こうした場合にMixed なアプローチが有効になることがあります。先行研究が不足するケースでは、定性的なアプローチを先に行ってイシューを明らかにする必要性が高いでしょう。小規模なパイロット調査のケースでも、日記の解析や、インタビューなどから見た行動変化の分析といった定性的なアプローチが効果について示唆を与える可能性があります。一つのアプローチでは分析できないトピックであっても、Mixed Methodsの観点に立つことで考察できるようになる場合は決して少なくありません。
実行段階では柔軟な対応を可能とします。様々な主体がかかわる開発支援において、当初の予定通りにプロジェクトが進行することは多くありません。特に厳密な効果検証ほど要求される設計は複雑となり、不測の事態への対応が要求されます。長期的な参与観察などによる、現地に特殊的な背景の認識は、こうしたケースへの対応力の向上につながります。
さらに、より適切な評価対象群の構築にも有用です。例えば、時間的な制約から主要な支援対象のみを評価対象するプロジェクトは決して少なくありません。しかし、受益者のみの意見に基づく評価は構造的にポジティブなバイアスが発生する可能性が否定できず、評価の信頼性が懸念されます。プロジェクトに関わらない層へのインタビューなどを通じて、サンプル層の多様性を担保することで、こうした問題にも対処可能です。
最後に、分析段階ではプロジェクトの問題点の把握に活用できます。仮にあるプロジェクトが望ましい結果につながらなかった場合、その原因がそもそものプロジェクト設計に問題があるのか、それともプロジェクトの実行プロセスに問題があるのか判別することは今後に向けて重要となります。例えば、ある2つのethnic groupの収入差を改善するという例を考えてみましょう。定量的なアプローチとして、適切にコントロールした回帰分析を行った結果、教育水準の違いと収入差に有意な関係があることは判明したとします。しかし、この定量的な結果のみをもとに、教育成果の向上による収入差改善プロジェクトを実施してもうまくいくとは限りません。ここでは当初予定していたほどの収入改善が起こらなかったとします。ここで出番となるのが定性的なアプローチです。関係性の説明に優れるこのアプローチは、教育成果のベースアップが収入差を「どのように」「なぜ」生まないのか示唆を与えてくれます。例えば、高収益のグループに自らの利益を守るインセンティブが働いたことがわかるかもしれません。つまり、自分たちの子供のために資金を使って家庭教師を雇ったり、豊富なつながりを使ってインターンシップが組まれていたため、当初予定したほどの収入改善は起こらなかったというわけです。この場合の大きな失敗要因は、プロジェクトの実行段階でなく、プロジェクトの設計に見いだされるでしょう。確かに定量的なアプローチは事実の描写に優れますが、その表面的な事実の過大評価は禁物です。
5. Mixed Methodsの難しさ
そんなメリットをもつMixed Methodsですが、言うは易く行うは難しです。まず問題点として、定性的なデータの重要性の認識が十分とは限りません。プロジェクト実施国の担当者が定性的な調査を「専門性に欠ける」とみなすケースも存在します。これでは、Mixed Methodsを発展させるインセンティブが確保されません。
加えて、定量的・定性的な研究者の間に建設的な関係が築かれ易いとは言い難いです。これに関して、Imprinting（刷り込み）という、ある時点での経験がその後の価値観を規定するといった話があります。Dokko et al.(2009)という論文は、転職を題材にして、前職の職場でImprintingされた価値観は、新たな職場でパフォーマンスを低下させることを示しています。この考えによれば、定量・定性それぞれの中で共有化された規範や習慣、方法論は両者の協働を阻害する可能性が否定できません。
続いて、質的調査に明るい調査員の訓練も困難です。定量調査において特に習得を要求される技能は、調査票の作成・実行などです。その一方、質的調査にはより臨機応変な対応が求められます。例えば、インタビューにおいて目的の会話を引き出すプロービングや、観察対象と良好な関係を築くラポール形成、フィールドワークにおけるメモの取り方、等々です。これらの実行にはより柔軟な姿勢が必要になります。加えて、徒弟制度的な側面のある質的調査の訓練には、トレーニングコストも高くつきます。
さらに、その適切な運用にかかる知識・スキルにもハードルが存在します。仮に一人で運用するには、定量・定性両方の手法を習得する必要があります。二人以上で行うにしても、他方の手法にある程度精通してかつインテンシブかつ協力的な議論が必要です。こうした遂行能力は、少なくとも修士の1，2年で習得できるものでありません。
こうした背景もあって、特に国際教育協力分野においては、Mixed Methodsを用いた論文の数が十分とは言い難いのが現状です。幾つか存在する論文についても、定量・定性の単独では採択されるか怪しいものが少なくありません。続く次回では、こうしたMixed Methodsを用いた論文についてレビューしていきます！
