プロジェクトの評価について

UBC/how-to/education_evaluation

このページの最終更新日: 2024/12/15

  1. 評価 evaluation について
  2. 評価の定義と種類
  3. 評価の方法

広告

評価 evaluation について

日本でもアメリカでも、科研費のような PI ベースの研究費のほかに、学部や学科ごとに新しい教育プログラムを作るような education タイプのグラントがある。

このようなグラントでは、一般に 評価 evaluation が重要となる。研究のためのグラントならば、論文や特許がわかりやすい評価基準として存在するが、教育系のグラントでは「教育効果」を評価対象にしなければならない。したがって、プロジェクトの成功・失敗を判断するためには、データに頼らない評価方法を作らなければならないのである。

世の中には、プロジェクトの評価や教育理論を専門とする人々がいるようだ。実際に教育をしている立場からすると、このような「メタ教育」は言葉は悪いが 寄生虫分野 であり、そこに振り向ける予算を私に回してもらった方が遥かに教育効果をあげることが可能であると考えている。この「評価」にしても、寄生虫分野の人々が自分たちの分野を維持するためだけに空虚な理論を考え出し、それに現場が力を吸い取られているのが現状だと考えている。

しかしながら、敵をよく知らなければ対策もできない。ここでは、NSF の The 2010 User-Friendly Handbook for Project Evaluation などを主要な資料とし、「評価」に重要な概念についてまとめる。純粋な research project ではなく、比較的シニアの研究者が書くような research - education タイプのグラントで重要となる。

評価の定義と種類

> NSF 本 Chapter 2 には、評価の分類、目的などが書かれている (1)。

  • Evaluation の定義: Systematic investigation of the worth or merit of an object. 改善と記録が目的。
  • プロジェクトの最後に評価が来るのは古い。Plan, evaluation, 実行というのが新しいらしい。
  • Formative evaluation: プロジェクトを改善するための評価。さらに implementation eval と progress eval に分かれる。
  • Inplementation eval は、plan 通りに実行されているかを見る。
  • Progress eval は、ゴールを達成できそうかを評価する。プロジェクトの途中で入るが、早い方が有効。
  • Summative evaluation は、project success を評価する。Sustainability & unanticipated outcomes が NSF ではとくに重要。

Ref. 3 では evaluation ではなく assessment という言葉が使われている。「目的を持ってデータを集めること」のように定義されており、その目的はゴールへ向けた progress を測定することらしい。

評価の方法

NSF 本 3 章では、どのように実際の evaluation を行うかが述べられている。Formative, summative とも、以下の 6 つのフェイズに分けられているようだ。

  1. Development of a conceptual model of the program and identification of key evaluation points
  2. Development of evaluation questions and definition of measurable outcomes
  3. Development of an evaluation design
  4. Collection of data
  5. Analysis of data
  6. Provision of information to interested audiences

最初の conceptual model だが、logic model というのがよく使われる conceptual model の一つである。例を示そう (2)。

Logic model

線で繋ぐと何か意味が生じると役人が考えているアレである。これによって、評価に際して何をチェックすれば良いのかが明らかになり、2 番に繋がる。つまり評価のための question を作ったり、どの outcome を評価に使えば良いのかが明らかになったりする。

Evaluation question を作るためには、利害関係者 stakeholdr を認識することが大切 (1)。


広告

References

  1. The 2010 User-Friendly Handbook for Project Evaluation.
  2. By Dylan Kneale, James Thomas and Katherine Harris - https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0142187, CC BY 4.0, Link
  3. REU Site Assessment. Link: Last access 2019/08/24.

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。

↑