連載：医薬品の事業性評価の理論と応用『事業性評価の目的と意義』
なぜ、いつ、どのようにして、事業性評価を行うのか
国際医薬品情報
2021年5月24日〈通巻第1178号〉
土台が整えば、次に我々は事業性評価の目的について議論することとしよう。医薬品プロジェクト等の目的についての各論に入る前に、まずは事業性評価一般について触れることとする。
事業性評価はvaluationまたはproject valuationの訳であることは述べたが、同じ「評価」に対応する英語としてはより広くevaluationという単語があり、valuationがより定量的、金銭的な評価を意味するのに対して、evaluationは定量的だけでなく定性的なものも含めて評価一般を意味する言葉のようである。このevaluationの総論を取り扱っている今日的な文献として、英国大蔵省(TM Treasury)のマゼンタブック(Magenta Book: Central Government guidance on evaluation[1])がある。これは製薬企業のような民間セクターではなく、公的セクターである政府が自身の政策を評価する際に用いられるガイドラインであり、当局が自身の内部の評価者に対して、政策評価を行うにあたって彼らが従うべき規範を示している、その規範を公開しているものである。政策評価は公共政策学の範疇で括られる学問分野であるが、事業性評価についてはもっぱら経営学における方法論として議論され、その目的については企業価値・株主価値の最大化として一元的、所与的にしか取り扱われない傾向にあるため、ここでは事業性評価の目的について議論するにあたっては公共政策学における考え方の援用によって議論を深めてゆくことを試みることとする。
なぜ事業性評価を行うのか
マゼンタブックの緒言は以下のような表現から始まる。
“効果的(effective)な意思決定のためには、政策介入とその効果(impact)との効率性(efficiency)と有効性(effectiveness)とに関して理解することが極めて重要である”
政策介入の効率性や有効性の理解が、意思決定者による最適な意思決定を導き、もって公的支出あたりの社会的な付加価値および公共の福祉の最大化に寄与する。これが、民間企業においては、適切な事業性評価の実施が、事業に関する最適な意思決定を導き、もって企業価値の最大化に寄与するという表現に読み替えられることに特段の異論はないものと思われる。
さて、マゼンタブックには、評価のより具体的な目的として学習と説明責任とを上げている。それらについてみてみることとしよう。
学習Learning
Learningは「学習」と訳されることが多いが、語義としては「理解」「現状の把握」といった概念も含意している単語である。この場合は、評価によって現状を把握し、その理解を蓄積させることによってその介入の方法を改善、また将来実施される同様の介入の方法を模索するということである。
プロジェクトの計画においては実施前の評価として「そのプロジェクトの実施によってもたらされることが期待される効果の予測」が含まれているのが通常であるが、プロジェクトが開始されたのちも継続的に評価、すなわち過程における効果の測定を、時間を追って繰り返し行うことによって、当該プロジェクトが意図された効果を示しているのかどうかということを把握できる。多くの場合、計画の段階ではもたらされる効果の程度には不確実性が伴い、特にイノベーティブなプロジェクトの場合はその不確実性の程度はより大きくなる。そのような場合でも、効果をこのようにモニタリングすることによって、不確実性を管理することができる。例えば新製品を発売したような場合には、当然発売以前にも発売後の売上数量などの予測を行っておくが、その予測は常に不確実性をはらんでいる。そこで、新製品の発売後も継続して予測を更新してゆくことにより、予測そのものの精度を向上させ、不確実性をさらに減少させるとともに、不確実性そのものの理解（例えば分散などの統計量）も深まってゆく。
また、評価を継続して実施することによって、プロジェクトのどの部分がもっとも効果的に作用しているのか、どこをどのように改善してゆけばより効率的に意図された効果が得られそうか、といったようなプロジェクトの構造に関する分析を行うことが可能になる。このように、評価によってプロジェクトの実施方法の改善を図ることができる。
そして、評価によって学習し、抽象化された知見は、類似するプロジェクトへの応用が可能になる。したがって、例えばパイロット的なプロジェクトから初めて、そのプロジェクトを評価することから得られた知見をもってスケールアップしてゆくという計画も有意義なものになる場合もある。
学習の本質は良い判断を行うことそのものであると言ってもよい。プロジェクトを継続するか、中止して別のプロジェクトに投資を行うか、どのようにすれば改善されるか、どのようにすればリスクを最小化できるか、これらの判断を、エビデンスを提供することによって支えるのが評価の役割なのである。
説明責任Accountability
評価のもう一つの重要な役割は、説明責任を果たすということである。例えば政府であれば、国民から徴収した税を財源として様々な政策介入を行っている。また、一部の国民に不利益となるような政策を実施せざるを得ない場合もある（例えば日本政府は2020年に発生した新型コロナウイルス感染症への対策として、一部の業種に対して休業を要請した）。このような政策の実施に当たっては、政府には政策の効果として社会に還元される価値を最大化するという責務が生じている。価値の最大化を図る上では、政策介入の評価、特に継続的なモニタリングは必須であり、さらには政府がその評価の結果を広く公衆に知らしめることも極めて重要である。
この説明責任を民間企業のそれに当てはめるとすると、第一のステークホルダーである株主・投資家、さらには従業員や取引先に対する説明責任に読み替えることにはさしたる違和感はないはずである。
いつ事業性評価を行うのか
さて、このような評価であるが、どのようなタイミングで行うのが適切なのであろうか。マゼンタブックには、政策プロセスとしてROAMEFサイクルというフレームワークが提唱されている。トヨタ自動車のカンバン方式とともにかつて一世を風靡した日本型経営の代表的なキーワードであったPDCAサイクル（あるいはカイゼン）とも似るが、その内容について簡単にご紹介しよう。
ROAMEFサイクルとは、政策介入の立案から実施、そしてその検証から次の政策への反映までのプロセスを6つの段階に分けて考えるためのフレームワークである。それぞれの段階では、以下の質問に対する答えが求められている。
根拠-Rationale
政府が政策介入を行う理由を明確にすることから政策プロセスは始まる。政策介入によってどのような問題を解決しようとしているのか。これまでのエビデンスは、この問題を解決するためにはどのような方法を示唆しているのか。
目標-Objective
政策介入によって目指している効果・状態は何か。その効果やその状態に近づいている程度は、どのような指標を用いれば評価できるのか。
査定-Appraisal
目標を達成するための介入にはどのような選択肢があり、それぞれの選択肢ごとに、どの程度の効果が期待できるのか。どのようなエビデンスに基づいて、それぞれの効果が期待できると言えるのか。
モニタリング-Monitoring
R, O, Aの各段階は実施 (implementation)の前の段階であるが、モニタリングは政策が実施されている最中のプロセスである。ここでは、計画されていたような政策の効果が見られているのかどうか、その効果を示す指標は経時的にどのように変化していっているのか。
評価[2] -Evaluation
EとFとは政策介入の終了後に実施されるものを想定している。政策介入は計画されていたように実施されたのか。どのような効果があったのか。それはコストに見合ったものなのか。なぜ、このような結果に終わったのか。
フィードバック-Feedback
どのような知見が得られたか。そのような知見は、将来どのように活用できそうか。
ROAMEFサイクルは、こうした政策介入の一連のプロセスをモデル化したものであり、政策介入を実施してゆくにつれ、政策介入がよりよく実施されてゆく有様を簡潔に表現していると言える。このサイクルは民間企業のプロジェクトの実施についても十分に応用可能であろう。例えば、企業価値最大化のために希望退職者募集のプロジェクトを実施する場合、以下のようにROAMEFサイクルを当てはめて考えることができる。
| 根拠：販売費及び一般管理費を削減し、スリムな経営を目指すことで企業価値を高める
目標：人件費の30%削減、向こう12ヶ月で従業員数の20%の削減 査定：同規模の同業他社の希望退職者募集プロジェクトにおいては、退職金の支給と転職支援とのパッケージプランを用いて、全従業員の20％の従業員が応募している モニタリング：希望退職者募集の社内公募を実施した月から、毎月希望退職者の人数を報告している。また、従業員のモチベーションの変化を、モラルサーベイ等を用いて定期的に測定している 評価(狭義)：希望退職者募集プロジェクト終了後に、実際の従業員数の推移、人件費へのインパクト、従業員数が減ったことによる売上へのインパクト、従業員のモチベーションの変化、利益への影響、株価への影響を評価する。また、それが予想とどのように異なったか、その差を分析し、その理由を考察する フィードバック：次回以降、同様なプロジェクトを実施する際に可能な改善点をレポートする。 |
ところでプロジェクトの評価というのは、ここでの狭義の評価の局面、すなわち実施後の段階だけで行えばいいというものでは当然なく、目標の設定の段階や実施中であっても必要なものである。マゼンタブックではなぜ実施前や実施中にも評価が必要であると考えられるのか、その理由が以下のように記載されている。
実施前
政策介入の評価はその計画や実施の検討の段階から行われなければならない。すでに実施された他の政策介入の評価結果の検討、後述する変化の理論(Theory of Change)の検討、パイロットやドライランなどの試行は以下の点から有用である。
- 介入がどのように作用するのかを見定め、あるいはなぜそのように作用すると考えられるのか、その根拠を示すことができる
- 逆に、なぜその介入がうまく作用しないと思われるのか、その根拠を示すことができる
- どのようなリスクや不確実性が存在しているのか、考察することができる
- 隔離され、コントロールされた環境ではどのように介入が作用するのかを確認することができる
- 介入が実施されなかった場合の状況を考察し、介入による変化を比較可能にする
実施中
政策介入の実施中にも評価を行うことによって、その介入のねらいとする効果が適切に表れるように政策を誘導することができる。この時期には政策介入のデザイン、導入法、実施法、速報結果などの評価が行われ、それによって以下の項目のモニタリングが可能になる。
- 介入が計画通りに実施されているかどうか
- 介入がねらった通りの効果を上げているかどうか
- 介入が、別の対象集団に対して実施された同様の介入と同じような効果を上げているかどうか
- 介入の効果はどの程度の規模(effect size)になりそうか
- 介入は実際にはどのような手段で実施されているのか
- なにか予見できなかった状況が介入の結果招来しているかどうか、それはなにか
- 介入のデザインや実施方法の改善は可能か(in-flight adjustments)
実施後
政策介入の実施後には、より完全な形で政策全体を見渡し、そのデザイン、実施方法や結果も含めて包括的な評価が可能になる。
- 介入は機能したか
- 効果やコストはどの程度の大きさだったか（介入が行われた集団によって違いはあったか）
- 結果に対する政策の寄与度はどの程度だったか
- 査定の段階での予測とどう違ったか
- 予見できなかった効果や、逆効果となった部分はあるか
- かかったコストに見合うだけの価値はあったか(value for money)
- 学びはあったか。他の政策や介入に応用可能な知見はあったか
このように、評価は政策介入のある時点でのみ行われればよいというものではなく、およそROAMEFサイクルのすべての段階で実施されるべきものであるというのが理解されるだろう。これは医薬品のビジネスについても一般化できる。例えば特定の疾患領域においてeディテーリングの拡大のプロジェクトを行うような場合、その拡大によってもたらされる売上の増加とコストとを事前に評価するだけでなく、eディテーリングの拡大によってなぜ、どのようなセグメントの医師が行動変容を起こすと考えられるのかといった仮説の立案、その仮説に基づいてどのようにして医師の行動変容を測定するのかといった方法論の検討などが実施全に行われている必要がある。実施中にはモニタリング・トラッキングによってターゲット医師の行動変容を評価し、仮説が正しいのかどうか、必要に応じて実施方法を変更するなどの対応をおこなう。そして、プロジェクトが終了した段階で、全体を見渡して、今後の同様なプロジェクトの学びを抽出するということが、評価を行うことによって可能になるのである。
こういった施策を実施するにあたっては、その評価方法も含めて事前に計画することが非常に重要である。前向きに評価方法を設定することによって、施策と効果との因果関係を明確化し、完全なデータに基づく質の高い知見が得られる。そして、データの収集に関する恣意性を排除することができる。適切な対照群を設定し、あるいは適切に介入前のデータを収集することによって、介入が行われなかった場合にどうなっていたか(反事実的条件counterfactual)に関する前提をより適切に設定することができる。この反事実的条件での前提と比較することによってはじめて施策の評価が可能になるのであるが、この条件は事後設定に対しては常に恣意性の誘惑にさらされることになるため、正しい評価のためには常に事前の計画にそれを盛り込んでおくべきである。
評価の三類型
評価の方法には大きく分けて、以下の３つがある。
プロセス評価(process evaluation)
これは介入が実施されたプロセスについて行う評価である。すなわち、介入がどのように実施され、その実施方法が予定されていた通りのものであったかどうかについて検証する。例えばワクチンの大規模接種プログラムを実施する場合には、どのような施設でどのくらいの規模でどのタイミングでどのような方法で接種をするのかといった計画を立案するために、例えば過去に同様な事例がないかどうか文献・記録を評価し、募集をかける周辺の住民がどのくらい応募しそうなのかを予測し、実際の会場においては動線をデザインしてキャパシティとスループットとを評価する。予行演習（ドライラン）の評価を通じてデザインを修正し、介入を実施する。介入が予定通りに行われているかモニタリングを行い、それに応じて計画を微調整する。最終的に接種プログラムが終了した段階では、どのくらいの期間を要して住民の何人に接種がなされたのか、２回接種が必要なワクチンであれば１回目に接種した住民のうち２回目には現れなかったのは全体の何％であったか、ワクチンは過不足なく供給できたか、接種の手技の失敗はどのくらいあったかなどのプロセスそのものの評価を行う。
影響評価(impact evaluation)
影響評価は介入が実際にもたらした影響を評価するものである。したがって、介入が実施されなかったとしたときの反事実的条件に基づいた状態と、介入が実施された状態とを比較検討する必要がある。影響評価は測定可能な尺度に基づいて測定できなければならない。例えば大規模接種の例の場合であれば、それはその地域の住民における１日当たりの新規患者数の推移であり、または重症患者数であり、あるいは病床利用率であろう。これらについて、例えば異なる患者集団ごとに異なる値がみられるかどうかなども評価の対象になりうる。
医薬品の事業性評価の文脈では、売上予測が影響評価に対応すると言えるだろう。売上予測は企業に対してプロジェクトがもたらすインパクトの大きさを評価しようとするものであると言える。
支払対価評価(value for money evaluation)
影響評価によってはその介入が及ぼした何らかの影響とその大きさとを評価することが可能であるが、その介入が正当化されうるかどうかまでも評価することはできない。なぜなら、介入には資源が投入されているからである。そのコストに見合った効果が表れているかどうかを包括的に評価するのが支払対価評価である。費用対効果分析や費用便益分析などの方法が典型的に用いられる。
医薬品の事業性評価の文脈でこの支払対価評価に相当するのは、プロジェクトがステークホルダーに対して正味どれだけの価値を提供できそうなのかを評価する方法であるところのNPVやリスク調整NPVの算出に相当するものであると言えるだろう。
[1] Magenta Book: Central Government guidance on evaluation (https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf)
[2] マゼンタブックではROAMEFサイクルにおけるevaluationとそれ以外のevaluationとを区別しないで使っており、字義的には一見揺らぎがみられるのだが、評価の意義や方法論自体は両者で何ら異なるものでもなく、またプロセスの中でも必ずしも実施後に行われなければならないというものでもない。ここではROAMEFプロセスにおけるevaluationを狭義の評価として区別しておくことにする。
