アルカディア学報

キャンベルの法則
数量化の罠を整理する

　2018年2月に米国で出版され、日本でも2019年4月に翻訳されたジュリー・Ｚ・ミュラーの著書『測りすぎ―なぜパフォーマンス評価は失敗するのか？』は、高等教育を研究する人たちの間でも大層話題になった。数量化されたことに慣れた現代人が、様々な状況を理解するため「手段」としての数量化を、それ自体を「目的」とすることによって、良からぬ事態を引き起こす、と警鐘を鳴らした本である。計測が単純な／可能なもののみを数量化したり、情報を改竄したり、基準変更による数値達成をしたりするといった、危険性が生じるというのである。このことをミュラーは、「測定執着」と呼んだ。
　数値達成のために手段を厭わない、数値で示すことができると、達成した（説明責任を果たした）ように錯覚する。仮に本質が何も変わっていなくとも、見かけ上、数量化が成功していれば、問題は先送りになることもあるだろう。数量化によって本質が見えることもあるだろうが、数量化によって、本質を見誤ったり、何も本質が変わらないことも往々にして起こりうるだろう。こうした指摘に耳が痛くなる高等教育関係者も多いのではないだろうか。
　ミュラーの指摘それ自体は、鋭い洞察として評価できる一方で、こうした測定評価とそれがもたらす社会への影響については、幾度となく社会科学者によって取り上げられてきた古典的な話題でもある。例えば、社会心理学者で1975年にアメリカ心理学会の会長も務めたこともある、ドナルド・Ｔ・キャンベルが1979年に発表した論文で提唱したのが、「定量的な社会指標が社会的意思決定に使われば使われるほど、腐敗の圧力に晒され、監視すべき社会的プロセスを歪めたり腐敗させたりする傾向が強くなる」という、「キャンベルの法則」であった。
　ミュラーが、大学、学校、医療、警察、軍、ビジネスと金融、慈善事業と対外援助の事例を通じて「測定執着」を論じたのは、この「キャンベルの法則」に対する事例を挙げた長い注釈であったし、ミュラー自身も著書の中で、「キャンベルの法則」を引用している。
　キャンベルは、社会で生じる測定評価が社会にもたらす影響を、端的に、「定量的指標の腐敗効果」と呼ぶ。まず、あげたのは、アメリカ社会における投票統計と国勢調査の例であり、国勢調査は政治的意思決定に使われていないが、投票統計は国民の仕事や生活、権力に深く関わるが故に、不正が生じやすい状況にあるという。
　2つ目の例としてあげているのが警察の犯罪解決率の例である。犯罪解決率が評価の対象となると、現行犯逮捕者に未解決事件について、実際には犯行を行なっていないにも関わらずに、自白を誘導する圧力が生じることを紹介している。いずれにせよ、社会や組織の中で、数量化が純粋な意味で存立し得ない場合、数値は状況を正しく指し示すというよりは、時の権力者に都合のいい方向性を補強するための手段として、用いられるということは、高等教育関係者も十分に心に止めておくべきことであろう。
　その他にも、「政府機関の労働者に設定された生産性基準が、プログラムの有効性に悪影響を及ぼす形で労働者の努力を歪めている」として、事務スタッフを処理したケースの数で評価するようになると、迅速で効果のない面接や斡旋が横行し、処理するのが簡単な案件に努力が集中するおかげで、サービスを最も必要とする人を無視することになる、という矛盾もキャンベルは紹介している。また、工場生産を例にとり、製品の金銭的価値、製品の総重量、あるいは、生産する品目数が数値目標とされた場合、ひとたび金銭的価値を数値目標に定めれば、1つの製品を作るためだけに工具を使い、労働効率を悪くして、わざと金銭的価値を釣り上げることに努力が傾けられ、ひとたび製品の総重量を数値目標に定めれば、最も重い製品だけを生産することに努力が傾けられ、ひとたび生産する品目数を目標数値に定めれば、最も制作労力のかからず、数だけ稼げる製品だけを生産することに努力が傾けられ、結果、皮肉として、「不要なものは過剰に生産され、必要なものは不足してしまうのである」と述べている。
　こうした事態は、単に1970年代のアメリカのみならず、エビデンス・ベースを盲信する現代社会において現実化しているまさにその現象であると言っても過言ではないだろう。その意味で、社会科学の碩学であるキャンベルの論稿に先見の明があったということは決して言い過ぎではない。
　例えば、成果に基づく配分指標やＫＰＩの指標として、各大学ではさまざまな数値目標が設定されていることであろう。学位授与の状況に数値目標を設定すれば、可能性として、粗悪な質の論文に学位を与えることにも繋がりかねない。研究成果の数を目標数値に設定すれば、学問分野ごとの論文生産数の差異を無視することにも繋がり、結果、研究成果の挙げやすいテーマの論文を粗製濫造することにも繋がりかねない。志願者数や志願倍率、オープンキャンパスの参加者数を数値目標にした場合、それのみが目的になると、質の高い入学者を集めるということがおざなりになってしまうこともあるだろう。いずれにせよ、数値を追い求めるあまり、大学の本質がどう変わるのか／変わったのかについての議論がおざなりになってしまうことも十分に起こりうる。
　また、社会科学の中で「キャンベルの法則」ほど注目されているわけではないが、もう一つ重要な指摘もしている。それは、「過大評価の罠」である。通常、社会実験を行うような大規模に資金をかけた「社会問題」というのは、アメリカの人種問題や貧困問題に代表されるように、そもそも慢性的に解決できない問題であったり、通常であればうまく機能している標準的な機関がそもそも失敗している問題である、という指摘は正鵠を得ている。加えて、議会は、政治的パフォーマンスとして、社会問題を解決することよりも、それ自体はなかなか解決できないため（解決できるのであれば、米国社会でもこの世の中からも貧困や人種問題はとうの昔に無くなっているだろう）、ただ行動を起こしていることを重視するために、実証研究自体には予算が不足がちになるのが常であり、それが完璧には実証されにくいがために、本当に価値のあるプログラムであったとしても誇張された結果になるか、もしくは、意外に低い効果しか生じていないようにしか評価されない事態を生じさせるという。
　このことは、統計的因果を厳密に実証するということとはまた別の、測定評価において構造的に生じる異なる政治的な次元の問題として考えることが適当なのであろう。高等教育においても、数値で実証されないと価値がないプログラムと判断するのも、早計であるということも頭の片隅に置いておくべきことである。
　以上、高等教育やＩＲの現場で数量化を扱っている人たちには、少々耳の痛いことが述べられていたことと思うが、こうした知見を持ち出すことによって数量化は無意味だと徒に喧伝することが本稿の目的ではない。数量化が持つ可能性を十二分に活かすためには、権力から離れた状況で、「不都合なエビデンス」までをもいかに組織の意思決定の中に組み込むかという要素が必要になってくるという示唆として、「キャンベルの法則」は読まれるべきであろう。