JavaScript je vypnutý

Proces hodnocení návrhů projektů

Cíl:

  • profesionalizace a zvýšení účinnosti systému hodnocení návrhů projektů,
  • vzájemné porovnávání návrhů projektů,
  • standardizace kritérií úspěšnosti,
  • posílení transparentnosti a nezávislosti posuzování,
  • identifikace zvláštní kategorie hluboce podprůměrných projektů (Cn).

Proces hodnocení splňuje tyto podmínky:

  • zákonem stanovená hodnoticí lhůta 8 měsíců,
  • tříetapový systém hodnocení:
    • rozhodujícím orgánem je předsednictvo,
    • oborové komise jsou odbornými poradními orgány dle zákona č. 130/2002 Sb.,
    • hodnoticí panely jsou expertními orgány oborových komisí,
  • zákonem stanovený počet minimálně dvou nezávislých posudků pro každý návrh projektu,
  • alespoň jeden zahraniční posudek u projektů postupujících do druhé fáze posuzování,
  • účastníci hodnoticího procesu jsou vázáni povinností mlčenlivosti.

Panely:

  • velikost panelu je 8 až 12 členů včetně předsedy,
  • typicky panel vyhodnocuje desítky návrhů projektů,
  • návrhy na členy panelů z řad významných odborníků mohou předkládat právnické i fyzické osoby působící v oblasti vědy a výzkumu,
  • požadavky na člena panelu: vysoká odborná úroveň posuzovaná v prvé řadě podle publikační činnosti a dalších výsledků, ochota a schopnost umět s nadhledem posoudit v rámci panelu širší úsek oboru, schopnost posuzování výhradně podle odborných hledisek,
  • člen panelu je nominován jako vědecká osobnost s širokým rozhledem, nikoli jako zástupce instituce,
  • členové panelu jsou jmenováni do funkce na období dvou let s možností odvolání v případě neplnění povinností vyplývajících ze Statutu a jednacího řádu oborových komisí a hodnoticích panelů Grantové agentury České republiky,
  • návrhový list na člena hodnoticího panelu obsahuje:
    • životopis, odborné zaměření, přehled a citovanost výsledků,
    • souhlas zaměstnavatele s uvolňováním na zasedání panelů,
    • závazný souhlas nominovaného s aktivní účastí na zasedáních panelu ve stanovených termínech a s tím souvisejícími povinnostmi,
  • členy panelu vybírá z předložených nominací pracovní komise složená z:
    • člena předsednictva zodpovědného za příslušný obor,
    • zástupce Rady pro výzkum, vývoj a inovace,
    • zástupce vědecké rady GA ČR nebo popř. kontrolní rady GA ČR,
  • člen panelu může panelu podávat návrh projektu (v takovém případě je však návrh projektu člena panelu navíc posuzován zahraničními experty, kteří sledují korektnost hodnocení v panelu),
  • předseda a místopředseda panelu nemůže podat projekt do panelu spadajícího pod stejnou OK,
  • při projednávání jednotlivých projektů všichni panelisté, kteří mohou být ve střetu zájmů, opouštějí jednací místnost,
  • oborové komise jsou složeny z předsedů a místopředsedů jednotlivých panelů jmenovaných předsednictvem; kandidáty na předsedy a místopředsedy navrhují jednotlivé panely na základě tajné volby.
Hodnocení návrhů projektů (probíhá ve třech etapách; první etapa má dvě fáze)

První etapa hodnocení

První fáze

Hodnocení v první fázi
  • každý návrh projektu je přidělen k posouzení čtyřem členům panelu: dvěma zpravodajům a dvěma posuzovatelům (v případě mezioborových projektů je navíc určen třetí zpravodaj z vedlejšího panelu) následujícím postupem:
    • předseda společně s místopředsedou panelu určí prvního zpravodaje pro každý návrh projektu,
    • druhý zpravodaj je určen náhodným výběrem,
    • oba posuzovatelé jsou určeni náhodným výběrem,
    • procedura náhodného výběru zpravodajů a posuzovatelů zabraňuje přidělení projektu členovi panelu, který může být ve střetu zájmů,
  • zpravodajové prostudují návrh projektu a nezávisle vypracují vlastní posudek,
  • posuzovatelé prostudují návrh projektu,
  • každý ze zpravodajů a posuzovatelů nezávisle zařadí prostřednictvím elektronické aplikace všechny jemu přidělené návrhy projektů podle kvality do čtyř kategorií s pracovním označením A1, B1, C1 nebo Cn, a to v poměru: nejvýše 30% A1, nejméně 30% C1 + Cn, B1 (zbytek), přičemž kategorie označují:
    • A1 – velmi kvalitní návrh projektu, zpravodaj nebo posuzovatel doporučuje k postupu do druhé fáze
    • B1 – kvalitní návrh projektu, zpravodaj nebo posuzovatel doporučuje k postupu do druhé fáze
    • C1 – průměrný nebo podprůměrný návrh projektu, zpravodaj nebo posuzovatel nedoporučuje k postupu do druhé fáze
    • Cn – hluboce podprůměrný projekt
  • členové panelu nesmějí žádnou formou sdělovat ostatním členům panelu informaci o posuzovaných projektech ani o jejich hodnocení do doby tří dnů před zasedáním panelu, kdy jsou hodnocení zveřejněna všem členům panelu,
  • každý z členů panelu tři dny před zasedáním panelu získá prostřednictvím elektronické aplikace přístup ke všem návrhům ze svého panelu, s výjimkou vlastního návrhu projektu a návrhů projektů, u nichž je ve střetu zájmů,
  • každý ze dvou zpravodajů přiřazených k danému návrhu projektu s využitím aplikace Reviewer Finder doporučí 2 – 3 vhodné zahraniční oponenty pro projekty, které zařadil do kategorie A1 nebo B1.
Panelové hodnocení v první fázi
  • Na zasedání panelu je v panelové diskusi vytvořen seznam méně kvalitních návrhů projektů, které nejsou doporučeny do druhé fáze, a tudíž se nebudou zasílat k posouzení zahraničním oponentům. Výsledkem zasedání panelu je zařazení projektů do kategorií. Celkový počet projektů zařazených do kategorie A1 je nejvýše 30 %, počet C1 nebo Cn je nejméně 30 % ze všech návrhů projektů posuzovaných v panelu. Proporce mezi C1 a Cn není stanovena. Výstupem z jednání panelu je protokol ze zasedání panelu s návrhem zařazení jednotlivých projektů do kategorií A1, B1, C1 a Cn, tento protokol podepisují všichni členové panelu. U projektů zařazených na zasedání panelu do kategorie C, zpracuje hlavní zpravodaj po zasedání protokol hodnocení návrhu projektu. V protokolu hodnocení návrhu projektu musí být jasně formulován závěr kolektivního posouzení v panelu. Je přirozené, že s ohledem na nezávislé vypracování posudků zpravodaji se jejich hodnocení může lišit. Pokud je závěr posouzení v panelu v rozporu s některým z posudků zpravodaje, je třeba takový nesoulad v protokolu hodnocení návrhu projektu vysvětlit. Zejména u hodnocení C1, Cn musí být protokol jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k ostatním posuzovaným návrhům.
  • Panel na základě doporučení zpravodajů dále rozhodne o přidělení zahraničních oponentů pro projekty zařazené do kategorií A1 nebo B1.
  • Panel předá příslušné oborové komisi tyto materiály:
    • – protokol ze zasedání panelu s návrhem na zařazení projektů do kategorií A1, B1, C1 a Cn,
    • – návrhy na zařazení do kategorií A1, B1, C1, Cn od dvou nebo tří zpravodajů a dvou posuzovatelů, včetně posudků,
    • – návrhy zpravodajů na zahraniční oponenty.
Hodnocení v oborové komisi v první fázi
  • Členové oborové komise se před zasedáním seznámí se zápisy z jednání panelů, posudky zpravodajů, s návrhy na zařazení do kategorií A1, B1, C1, Cn od zpravodajů a posuzovatelů a s návrhy na zahraniční oponenty.
  • Oborové komise projednají a navrhnou na vyřazení návrhy projektů, které nejsou doporučeny do druhé fáze první etapy posuzování (tj. kategorie C1 a Cn).
  • Návrhy projektů, které oborová komise nezařadila v první fázi hodnocení do kategorie C1 nebo Cn, jsou prostřednictvím kanceláře zaslány zahraničním oponentům.

Druhá fáze

  • je získán alespoň jeden posudek od zahraničního oponenta,
  • před zasedáním panelu se všichni členové panelu seznámí se všemi návrhy projektů, které postoupily do druhé fáze posuzování, včetně všech podkladů k jednotlivým návrhům projektů, což jsou:
    • – dva nebo tři posudky od zpravodajů panelu,
    • – alespoň jeden posudek od zahraničního oponenta,
    • – čtyři nebo pět hodnocení návrhu projektu z první fáze (zařazení do kategorií A1, B1),
  • každý člen panelu před zasedáním panelu nezávisle zařadí prostřednictvím elektronické aplikace všechny návrhy projektů daného panelu podle kvality do tří kategorií A2, B2, C2, přičemž do  kategorie A2 je zařazeno nejvýše 25 % návrhů projektů posuzovaných v druhé fázi; u kategorií B2 a C2 kvóta není stanovena. Kategorie označují: A2 – vysoce kvalitní projekt, jednoznačně doporučen k financování B2 – kvalitní projekt, doporučen k financování C2 – průměrný návrh projektu, nedoporučen k financování
  • Panelové hodnocení ve druhé fázi
    • nejprve zpravodajové každého návrhu projektu postupně prezentují jednotlivé návrhy projektů,
    • po podrobné diskusi panel rozdělí všechny návrhy projektu do tří skupin: nejvýše 25 %, které jsou doporučeny k financování (označení A2), které jsou doporučeny k financování v případě dostatečných finančních prostředků (označení B2) a projekty, které nejsou doporučeny k financování (označení C2),
    • dále na základě diskuse a vzájemného porovnávání jednotlivých návrhů projektů panel navrhne pořadí projektů kategorie A2 a B2,
    • u všech projektů kategorie A2 a B2 panel projedná adekvátnost požadovaných finančních prostředků a přiměřenost plánované pracovní kapacity,
    • o výsledku jednání panelu a o navrženém pořadí projektů ve 2. fázi hodnocení panel hlasuje a výsledek je zaznamenán v protokolu ze zasedání panelu,
    • průběh jednání je zaznamenán v zápise, který slouží jako podklad pro protokol hodnocení návrhu projektu; nezřídka nastává situace, že posudky zahraničních oponentů hodnotí návrh projektu příznivě, zatímco panel se shoduje na kritičtějším hodnocení; takovou situaci je nezbytné objektivně a podrobně v protokolu hodnocení návrhu projektu komentovat,
    • na závěr jednání je stanovisko panelu zapsáno do protokolu hodnocení každého návrhu projektu. Stejně jako v první fázi hodnocení, musí být v protokolu hodnocení návrhu projektu jasně formulován závěr kolektivního posouzení v panelu. Pokud je závěr v rozporu s některým z posudků zpravodaje je třeba nesoulad vysvětlit. Zejména u hodnocení C2 musí být protokol jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k ostatním posuzovaným návrhům.

    Druhá etapa hodnocení

    Druhá etapa hodnocení probíhá na úrovni příslušné oborové komise. V této etapě se již návrhy projektů nehodnotí individuálně, ale porovnávají se mezi sebou návrhy projektů všech panelů, které patří do oborové komise, a hlasováním se sestavuje pořadí návrhů projektů. Návrhy oborových komisí jsou předloženy předsednictvu k rozhodnutí.

    Třetí etapa hodnocení

    S přihlédnutím k návrhům oborových komisí předsednictvo připraví konečné rozhodnutí o financování projektů, které projedná za přítomnosti předsedů oborových komisí. Poté rozhodne a vyhlásí výsledky veřejné soutěže.

    Dodatek

    Kritéria uplatňovaná při hodnocení odborné úrovně návrhu projektu a zařazování návrhů projektů do kategorií A, B, C a Cn: (1) Při hodnocení návrhů projektů se posuzují:
    • a) především originalita, kvalita a úroveň navrhovaného grantového projektu,
    • b) schopnost uchazeče i spoluuchazečů řešit grantový projekt s ohledem na jejich technické a institucionální zázemí,
    • c) schopnost navrhovatele, případného spolunavrhovatele a jejich spolupracovníků, grantový projekt řešit, přičemž se posuzují odborné schopnosti, jejich tvůrčí přínos ve vědní oblasti podle zaměření návrhu projektu, a to s ohledem na jejich dosavadní výsledky ve výzkumu a experimentálním vývoji.
    (2) Při hodnocení kvality a úrovně navrhovaného grantového projektu se posuzuje:
    • a) cíl návrhu projektu – zda byly vymezeny jasné a konkrétní cíle, jejich náročnost, významnost a proveditelnost; posuzuje se z hlediska přínosu pro odborné zaměření panelu, do kterého byl návrh podán (náplně panelů jsou dostupné na http://www.gacr.cz/poradni-organy/panely); posuzuje se úměrnost šíře problému navrhovaného k řešení vzhledem k požadovaným prostředkům.
    • • Cn:
      • cíle projektu jsou vymezeny vágně nebo je nelze identifikovat,
      • projekt postrádá základní atributy základního výzkumu (chybí jasně formulované hypotézy a cíle ve vazbě na dosavadní stav poznání),
      • potenciální přínos projektu k poznání v dané oblasti je zanedbatelný nebo těžko identifikovatelný,
      • projekt není založen na originální myšlence (navrhovatel buď není dostatečně obeznámen se stavem poznání v dané oblasti nebo vědomě pouze replikuje již provedený výzkum).
    • b) návrh způsobu řešení: 1. jakým způsobem navrhovatel předpokládá dosažení stanovených cílů a výsledků (tj. koncepce, příprava a adekvátnost navrhované metodiky včetně harmonogramu řešení), 2. přiměřenost (zejm. z hlediska výše úvazku a podílu jednotlivých členů týmu na předpokládaných výstupech grantového projektu) a kvalifikační složení pracovního týmu a vymezení role jednotlivých členů týmu při řešení problému.
    • • Cn:
      • z návrhu projektu není zřejmé, jak bude cílů (pokud jsou formulovány) dosaženo, jaké metody budou aplikovány a jak bude řešitelský tým postupovat,
      • z návrhu projektu není zřejmé, jak se na dosažení cílů projektu a výstupech (publikace) budou podílet jednotliví členové řešitelského týmu,
      • složení (velikost) řešitelského týmu je zřetelně předimenzované, projekt nese znaky skrytého institucionálního financování.
    • c) výstupy grantového projektu – předpokládaná publikační aktivita a dosažení dalších druhů výsledků základního výzkumu definovaných Metodikou 2013.
    • • Cn:
      • předpokládané výstupy z projektu jsou zcela nedostatečné nebo nejasně vymezené,
      • předpokládaná publikační aktivita očividně nekoresponduje s předchozí publikační aktivitou navrhovatele a členů řešitelského týmu (evidentní rozpor mezi sliby a možnostmi),
      • navrhované výstupy nepatří mezi výsledky definované pro základní výzkum platnou Metodikou hodnocení výsledků.
    • d) zahraniční spolupráce – předpokládané zapojení zahraničních pracovišť do řešení grantového projektu, vzájemné využití přístrojového vybavení spolupracujících pracovišť a využití komplementárních přístupů a metodik.
    • e) výsledky a způsoby řešení předchozích grantových projektů uchazeče a spoluuchazečů a navrhovatele a spolunavrhovatelů při řešení grantových projektů s podporou poskytovanou poskytovatelem (pokud takové grantové projekty byly řešeny); je zohledňováno případné porušení pravidel ze strany uchazeče nebo spoluuchazeče či navrhovatele nebo spolunavrhovatele při hospodaření s poskytnutou účelovou podporou, plnění všech povinností vymezených smlouvou nebo rozhodnutím o poskytování účelové podpory, hodnocení již ukončených nebo aktuálně řešených grantových projektů.
    • • Cn:
      • jedná se o „recyklovaný“ projekt odmítnutý v předchozí soutěži a podaný do soutěže v prakticky nezměněné podobě nerespektující výhrady či doporučení expertních orgánů.
    (3) Při hodnocení se posuzují navržené náklady:
    • a) přiměřenost navržených nákladů i výše úvazků ve vztahu k návrhu projektu a předpokládaným výsledkům;
    • b) opodstatněnost jednotlivých položek navržených nákladů;
    • c) podíl finančních prostředků požadovaných od poskytovatele na celkových navržených nákladech (tj. navržená míra podpory);
    • d) splnění požadavků na rozsah a vymezení způsobilých nákladů podle zadávací dokumentace.

    Příloha 2

    Formulář CN Důvod zařazení návrhu projektu do kategorie Cn:
    • projekt nedostatečně definuje či vůbec nedefinuje tzv. „knowledge gap“, jenž má být výsledky projektu vyplněn
    • projekt nemá jasně formulovanou hypotézu a způsob jejího ověření
    • v projektu navržená metodika není adekvátní k ověření formulované hypotézy
    • projekt předpokládá výsledky či cíle, jež neodpovídají navržené hypotéze
    • výsledky či cíle nemohou být dosaženy předpokládaným výzkumem, resp. sběrem a zpracováním předpokládaných dat
    • projekt byl již dříve v grantové soutěži GAČR odmítnut pro nedostatečnou kvalitu a byl znovu předložen bez zjevného odstranění nedostatků