良い指標の条件は 社会的意義と透明性の高さ

(進研アド「Between」 2014年  6-7月号 連載 どうする?説明責任と成果指標 より転載)

ポストセカンダリーアナリティクス 柳浦 猛(やなぎうら たけし)

教育成果は、そもそも測定すること自体が難しい。では、その指標として何を、どう設定すればいいのか。アメリカでも試行錯誤が続いているという。当事者として設定に関わってきた筆者が、指標に求められる条件と、設定のプロセスについて解説する。

主観的評価から客観的評価へ

今後、大学の説明責任がますます重くなる中で、喫緊の課題として求められていることの一つは、自らの教育成果を客観的に示すことである。これまでも日本の大学は、認証評価などを通して教育成果を明らかにする努力を重ねてきたが、従来の評価(自己点検)作業の焦点は、成果よりもそれに向けてのプロセス(努力)を述べ、そこに主観的な教育成果を添えることが一般的であり、決して客観性の伴う評価とは言えなかった。

しかし今、大学は、その主観的評価から一歩踏み込んで、客観的評価を行う必要性に迫られている。客観的正当性を出すための有効な手段の一つは、教育成果を数値化することである。自学にとって重要な分野を定め、その各分野に関連する成果の数値指標を決定し、そのデータを集め、過去および他大学との比較を通して目標を設定する。定期的に測定を行い、経営改善に努める——そのようなアプローチが大学に求められている。

アメリカにおいてこのような作業は、ベンチマークと呼ばれ、積極的に行われてきた。ただ、アメリカの大学でも、こと教育成果に関しては、独創的な成果指標が使用されているわけではない。新入生が2年次の最初の学期にも在籍している割合を示す「歩留まり率」、入学から4〜6年以内で卒業する割合を示す「卒業率」、「卒業平均年数」など、数値化しやすいものに限られている(図表1)。

Between 2014 June-July Charts1

これらの指標が教育成果として用いられているという事実は、卒業することが難しいと言われるアメリカの高等教育事情を端的に表しているとも言えるし、教育成果という質的なものを数値を用いて測定することの難しさを物語ってもいる。

成果の明確化がベンチマークの第一歩

日本の大学ではこれまで、ベンチマークは積極的に行われてこなかった。今後、教育成果のベンチマークを進めるための参考として、アメリカの大学で行われる一般的なベンチマーク作業の流れを紹介したい。

通常は、どの成果に重点を置くのかという、成果のテーマを明確にすることから始まる。例えば「学部教育の成果」「大学院教育の成果」「教員の研究成果」「社会貢献の成果」など、いくつかのテーマに成果を分類する。場合によっては、このテーマをさらに細分化することもある。例えば学部教育の成果であれば、学力向上、就職・進学、卒業生の業績などといった、小テーマに分類することが可能だ。「各大学のミッションに基づいて重要な成果テーマを明確にすること」、それがベンチマークの第一歩である。

次に、各成果テーマを測定する指標を選択する。一般的には、単独の指標ではなく、複数の指標を各テーマの測定に用いることが望ましい。というのも、単独指標だと、成果の一部分しか捉えることができず、どうしても偏った見方になってしまうからだ。複数の指標を用いていくつかの角度から眺めることによって、ある程度バランスの取れた見方ができるようになる。

しかし、複数の指標を用いたとしても、成果の全体像を完全に表すことは難しい。指標の拡大解釈は、逆に評価の客観性を損なうことになるので、注意が必要だ。指標の限界を認識しつつ、選択した指標によってどこまで成果を説明できて、どの部分が説明できていないのか、冷静な判断を下さなければならない。

現実論として、教育成果を数字で100%説明することは不可能である。しかし、だからといって評価はできないと匙を投げるのではなく、持ち合わせたデータを用いてできる限りの説明を行うことが重要だ。仮に教育成果の30%しか数値で説明できなくても、それは、0%よりは客観的である。できる限り数値を用いて、より論理的な評価を行うという努力が、今の大学には求められている。

指標を決定した後は、データ収集を行う。各指標を過去5年ほどさかのぼって収集し、それまでの傾向を把握する。同時に、競合校や全国・地域平均などの同様のデータを集め、自学のデータと比較する。これに加え、最近では各指標の将来予測値を算出して現状と比較する、という手法も用いられることが多い。こうした複数の指標について、何らかの比較をし、さらに話し合いに基づき、各指標の長期的な(通常5年先くらいの)目標を設定する。各データは定期的に更新し、目標値に対してどこまで近づいているかをチェックしつつ公表する。アメリカにおいてはこのようなプロセスが、一般的なベンチマーク作業の流れである(図表2)。
Between 2014 June-July Charts2

企業で使われる指標が大学に有効とは限らない

指標は、大学にとって道しるべ的な存在である以上、指標の指し示す方向性がその大学にとって意味あるものでなければならない。企業で用いられている指標を安易にあてはめても、必ずしもそれが大学にとって有用とは限らない。また、他大学で用いられている指標が、自学が重視する成果を表すのに適切だとも限らない。各大学は、自らのミッションに最適な指標を選択する必要がある。

全米研究評議会(National Research Council)は、高等教育機関が指標を用いるにあたっては、2つの点を考慮する必要があると訴えている*1。 一つは、指標そのものが大学だけでなく地域社会にとっても意味があること、もう一つは、不正な操作が困難な指標であるということである。

まず、前者の定義に関して、歩留まり率や就職率という指標は、高ければ高いほどよいという点で、大学だけでなく、社会的にも意味がある指標と言える。反対に、大学と社会の利害が一致しない指標の例として、経常利益率がある。この指標は営利目的である企業には有効であるが、営利を目的としない大学には、必ずしも当てはまらない。無論、常に赤字であることや極端に低い利益率は望ましくない。だが、公費を投入している大学が高い利益率を上げることが社会的に望ましいわけではない。例えば、人気のある私立大学だったら、学費を意図的に値上げすることによって収入を増やし、利益率を吊り上げることが理論的には可能である。また、コストを必要以上に削減することによって利益率を上げることもできるが、それは教育の質の低下を招くことにもなりかねない。

すなわち、利益率という指標には、低すぎることは問題であるが、高すぎてもそれが社会の望む大学経営のあり方とは限らないといった落とし穴がある。このような指標は参考程度にとどめ、大学評価指標として用いるべきではない。

指標の条件の2つ目、「不正操作ができないこと」とは、数値の不正操作の余地が限りなく少ないことを意味する。例えば就職率は、就職決定者の定義を緩くしたり、就職希望者の定義を厳しくしたりすれば、数値を操作することも不可能ではない。また、学生満足度なども、調査方法や満足度の定義がどのように決定されているかが明らかにならない限り、信頼できる指標とは言えない。したがって、用いる指標の明確な定義を、各大学間、および社会と共有し、不正な操作の余地をなくすことが重要である。

不正な抜け道のない完璧な指標など現実には存在しないが、できるだけそうした余地のない、透明性のある指標が求められる。大学共通の指標を用いるコンソーシアムなどの動きは、評価の客観性を高めるという意味で望ましい。

第三者機関と共同で指標を開発する例も

第三者機関と合同で指標開発を行うことも、客観的な評価を行うための一つの選択として考えられる。例えば、アメリカで最近注目される新たな教育成果指標の一例として、大手調査会社のギャラップ社が中心となって開発したギャラップ・パデュー指標がある。インディアナ州立パデュー大学とパートナーシップを組んで実施したプロジェクトの成果だ。

近年のアメリカの高等教育政策全般にわたって多大な影響力を発揮してきたルミナ財団が、約2億円を投入した。卒業や就職という単純な指標でのみ理解されてきた大学教育の成果を、より総合的に評価することが目的だ。卒業生の現状を、収入、生活満足度、大学教育の貢献度など、複数の角度から調査、その結果を数値化して大学平均を算出し、大学間で比較を行うといったものである。現時点ではまだ実験段階であり、本格稼動は2015年と言われているが、全米3万人の大学卒業者を対象に行われた実験調査の結果が今年中に発表される予定で、注目を集めている。

ルミナ財団やギャラップ社に代表されるように、アメリカでは政府・大学以外の第三者的な機関が、教育成果指標の開発に重要な貢献をしている。これらの機関は、公開されているデータをさまざまな角度から分析、加工し、指標を開発する。それを発表し、批判を受けては練り直し、その試行錯誤の中でさまざまな指標をつくり出してきた。公開されているデータがなければ、政府に働きかけて公開を迫る他、前述のギャラップ社のように独自にデータを集めたり、時には大学の研究機関に資金を提供して合同プロジェクトを行ったりするなど、多様な形で指標開発を推進してきた。

中には、IRのような内部分析機能が発達していない大学のために、成果指標一覧のようなものを開発してベンチマーク作業の手助けをしている第三者機関もある。日本でも、全ての大学に説明責任業務を遂行できるスタッフがそろっているわけではない。大学のベンチマーク作業を外部から手助けする第三者機関が、必要ではないだろうか。

データの公開が生む多様な教育成果指標

アメリカにおいて、第三者機関の活発な指標開発活動を可能にしたのは、一般に公開されている豊富なデータの量である。州・連邦政府が保持している機関レベルのデータはほぼ例外なくネット上で閲覧できる。そして情報は、ユーザーが使いやすい形で公開すべきであるという社会的圧力もあり、多くの人が高等教育の議論に加わることを可能にしてきた。すなわち、データの開放が多様な分析アプローチを生み出し、さまざまな指標の誕生を可能にしたのだ。

ただ、これらの指標は玉石混交であり、時には指標の名に値しないものもある。しかし、それらを取捨選択する中で、高等教育界全体としてデータ解釈の精度が高められてきたのも事実だ。不適切な指標によって議論が誤った方向に流されないような知恵が、長年にわたり蓄積されている。

一方、データ公開の歴史が浅い日本では、知恵の集積は始まったばかりだ。今後、さまざまなデータを公開する中で、多様な指標が開発されるだろう。どの指標を選ぶべきかは、時間をかけて試行錯誤しながら社会全体で学んでいくしかない。アメリカの経験から学べることは少なくないと思う。