Criterion score

Approach, Significance, Innovation, Investigator (s), Environment に対してつけられる 1 - 9 のスコアを criterion score という。

中央値はおおよそ Approach 4、Significance と Innovation 3, Investigator と Environment が 2 である (5)。それぞれのスコアの間には有意な相関があり、overall impact score を最も良く予測するのは Approach のスコアである (5)。

つまり、Approach をしっかり書くことが採択への第一歩であると言える。

Overall impact score

RSG によるミーティングで申請書につけられるスコア。複数の reviewer がそれぞれ 1 から 9 の impact score をつけ、その平均値を 10 倍する。したがって 10 点から 90 点の間になる (5)。

R01 では中央値が約 35 点。しかし、このスコアも grant の生産性を保証しないという報告があり (11)、研究を評価することの難しさがよくわかる。

Significance

Significance では、以下のような疑問に答える (6)。

1. Why are they important?
2. Whom do they impact?
3. Why is the solution currently missing?
4. What have people tried?
5. What is a solution needed now?
6. What has happended that makes you think you and your team have a solution?
7. In which aim will you solve which problem?
8. Why is your team qualified to solve the problems?

Innovation

Innovation は解決方法についての説明だが、「どこが新しく、価値あるのか」という観点から説明する (6)。

1. What advance has happend to make your solution potentially likely to work?
2. What new enabling ideas and technologies does it use?
3. What new approaches do you use?
4. How are you combining existing approaches in a new way?
5. What unique resources have you developed or have access to?

Scientific premise

NIH は、審査の再現性を高めるために 2015-2016 に以下の 4 つの項目をアップデートした: Scientific premise, rigorous experimental design, consideration of relevant biological variables, and authentication of key biological and/or chemical resources (7).

Scientific premise とは the quality and strength of the prior research used as the basis for the proposed research question or project; this is distinct from the hypothesis or justification と定義されている (8)。仮説を立てるために使ったデータの確からしさ と考えて良いだろう。

Scientific premise は、Significance の項目として評価される (8)。

Scientific premise の意味を理解するための解説 (7): 酵素 A がどのように細胞機能 Z を制御するかを調べる申請書を書いているとする。酵素 A はタンパク質 B を修飾するという予備データがあり、タンパク質 B は細胞機能 Z に関わるという文献がある。このとき、申請書の strength はタンパク質 B と細胞機能 Z の関係を示した文献データによることになる。

Scientific rigor

Scientific rigor は the strict application of the scientific method to ensure robust and unbiased experimental design, methodology, analysis, interpretation and reporting of results と定義されている (9)。

実験のデザインがどれだけしっかりしているかということのようだ。つまり Scientific premise は仮説を立てるまでの過程、Scientiric rigor は仮説を検証する過程。

Intellectual merit

Chapter III - NSF Proposal Processing and Review には、Intellectual Merit: The Intellectual Merit criterion encompasses the potential to advance knowledge と書かれている。

encompass は「包囲する、包含する」なので、include に近いニュアンスか。

Intellectual merit = The potential to advance knowledge (1) という Duke University のページもあったが、これは消えてしまった。

Broader impacts

Broader impacts とは、アカデミックな世界に止まらない「社会への貢献」のことを指す言葉のようだ。文献 1 には "Broadly defined, the broader impacts of your research are the societal impacts, or benefits to society." と書かれている。

同じ NSF ページの説明: The Broader Impacts criterion encompasses the potential to benefit society and contribute to the achievement of specific, desired societal outcomes.

注意書きとして The following elements should be considered in the review for both criteria:

1. What is the potential for the proposed activity to: a. Advance knowledge and understanding within its own field or across different fields (Intellectual Merit); and b. Benefit society or advance desired societal outcomes (Broader Impacts)?
2. To what extent do the proposed activities suggest and explore creative, original, or potentially transformative concepts?
3. Is the plan for carrying out the proposed activities well-reasoned, well-organized, and based on a sound rationale? Does the plan incorporate a mechanism to assess success?
4. How well qualified is the individual, team, or organization to conduct the proposed activities?
5. Are there adequate resources available to the PI (either at the home organization or through collaborations) to carry out the proposed activities?

Synergistic activity

研究業界では、synergistic は「相乗効果」という意味で使われることが多いと思うが、NSF Biosketch では少し違うようだ。distinct examples that demonstrate the broader impact of the individual's professional and scholarly activities that focus on the integration and transfer of knowledge as well as its creation と定義されている (NSF)。

具体例などは NSF グラントの書き方 のページを参照のこと。