Proces hodnocení návrhů projektů

PROCES HODNOCENÍ NÁVRHŮ PROJEKTŮ V GA ČR

Cíl:

  • profesionalizace a zvýšení účinnosti systému hodnocení návrhů projektů;
  • vzájemné porovnávání návrhů projektů;
  • standardizace kritérií úspěšnosti;
  • posílení transparentnosti a nezávislosti posuzování;
  • identifikace zvláštní kategorie velmi nekvalitních, hluboce podprůměrných projektů (Cn).

Proces hodnocení splňuje tyto podmínky:

  • zákonem stanovená hodnoticí lhůta 8 měsíců;
  • tříetapový systém hodnocení:
    – rozhodujícím orgánem je předsednictvo;
    – oborové komise jsou odbornými poradními orgány dle zákona č. 130/2002 Sb.;
    – hodnoticí panely jsou expertními orgány oborových komisí;
  • zákonem stanovený počet minimálně dvou nezávislých posudků pro každý návrh projektu;
  • pokud možno dva zahraniční posudky u projektů postupujících do druhé fáze posuzování;
  • účastníci hodnoticího procesu jsou vázáni povinností mlčenlivosti.

Panely:

  • velikost panelu je zpravidla 8 až 12 členů, včetně předsedy;
  • typicky panel vyhodnocuje desítky návrhů projektů;
  • návrhy na členy panelů z řad významných odborníků mohou předkládat právnické i fyzické osoby působící v oblasti vědy a výzkumu;
  • požadavky na člena panelu: vysoká odborná úroveň posuzovaná v prvé řadě podle publikační činnosti a dalších výsledků, ochota a schopnost umět s nadhledem posoudit v rámci panelu širší úsek oboru, schopnost posuzování výhradně podle odborných hledisek;
  • člen panelu je nominován jako vědecká osobnost s širokým rozhledem, nikoli jako zástupce instituce;
  • členové panelu jsou jmenováni do funkce na období dvou let s možností odvolání v případě neplnění povinností vyplývajících ze Statutu a jednacího řádu oborových komisí a hodnoticích panelů Grantové agentury České republiky;
  • návrhový list na člena hodnoticího panelu obsahuje:
    – životopis, odborné zaměření, přehled a citovanost výsledků;
    – souhlas zaměstnavatele s uvolňováním na zasedání panelů;
    – závazný souhlas nominovaného s aktivní účastí na zasedáních panelu ve stanovených termínech a s tím souvisejícími povinnostmi;
  • členy panelu vybírá z předložených nominací pracovní komise složená z:
    – člena předsednictva zodpovědného za příslušný obor;
    – zástupce Rady pro výzkum, vývoj a inovace;
    – zástupce vědecké rady GA ČR;
  • člen panelu může panelu podávat návrh projektu (v takovém případě je však návrh projektu člena panelu navíc posuzován zahraničními experty, kteří sledují korektnost hodnocení v panelu);
  • předseda a místopředseda panelu nemůže podat projekt do panelu spadajícího pod stejnou OK;
  • při projednávání jednotlivých projektů všichni panelisté, kteří mohou být ve střetu zájmů, opouštějí jednací místnost;
  • oborové komise jsou složeny z předsedů a místopředsedů jednotlivých panelů jmenovaných předsednictvem; kandidáty na předsedy a místopředsedy navrhují jednotlivé panely na základě tajné volby.

Hodnocení návrhů projektů

(probíhá ve třech etapách; první etapa má dvě fáze)

PRVNÍ ETAPA HODNOCENÍ

První fáze

Hodnocení v první fázi

  • Každý návrh projektu je přidělen k posouzení čtyřem členům panelu: dvěma zpravodajům a dvěma posuzovatelům (v případě mezioborových projektů je navíc určen třetí zpravodaj z vedlejšího panelu) následujícím postupem:
    – předseda společně s místopředsedou panelu určí prvního zpravodaje pro každý návrh projektu;
    – druhý zpravodaj je určen náhodným výběrem aplikací GRIS;
    – oba posuzovatelé jsou určeni náhodným výběrem aplikací GRIS;
    – procedura náhodného výběru hodnotitelů zabraňuje přidělení projektu členovi panelu, který může být ve střetu zájmů;
  • zpravodajové prostudují návrh projektu a nezávisle vypracují vlastní posudek;
  • posuzovatelé prostudují návrh projektu;
  • každý z hodnotitelů nezávisle zařadí prostřednictvím aplikace GRIS všechny jemu přidělené návrhy projektů podle kvality do čtyř kategorií s pracovním označením A, B, C nebo Cn, a to v poměru: nejvýše 30 % A, nejméně 30 % C + Cn, B (zbytek), přičemž kategorie označují:
    – A – velmi kvalitní návrh projektu, hodnotitel doporučuje k postupu do druhé fáze;
    – B – kvalitní návrh projektu, hodnotitel doporučuje k postupu do druhé fáze;
    – C – průměrný nebo podprůměrný návrh projektu, hodnotitel nedoporučuje k postupu do druhé fáze;
    – Cn – hluboce podprůměrný velmi nekvalitní projekt;
  • členové panelu nesmějí žádnou formou sdělovat ostatním členům panelu informaci o posuzovaných projektech ani o jejich hodnocení do doby tří dnů před zasedáním panelu, kdy jsou hodnocení zveřejněna všem členům panelu;
  • každý z členů panelu tři dny před zasedáním panelu získá prostřednictvím aplikace GRIS přístup ke všem návrhům ze svého panelu, s výjimkou vlastního návrhu projektu a návrhů projektů, u nichž je ve střetu zájmů;
  • každý ze dvou zpravodajů přiřazených k danému návrhu projektu s využitím aplikace Reviewer Finder doporučí 2 – 3 vhodné zahraniční oponenty pro projekty, které zařadil do kategorie A nebo B.

Panelové hodnocení v první fázi

  • Na zasedání panelu je v panelové diskusi vytvořen seznam méně kvalitních návrhů projektů, které nejsou doporučeny do druhé fáze, a tudíž se nebudou zasílat k posouzení zahraničním oponentům. Výsledkem zasedání panelu je zařazení projektů do kategorií. Celkový počet projektů zařazených do kategorie A je nejvýše 30 %, počet C + Cn je nejméně 30 % ze všech návrhů projektů posuzovaných v panelu. Proporce mezi C a Cn není stanovena. Výstupem z jednání panelu je protokol ze zasedání panelu s návrhem zařazení jednotlivých projektů do kategorií A, B, C a Cn, tento protokol podepisuje vedení panelu. U projektů zařazených na zasedání panelu do kategorie C zpracuje hlavní zpravodaj po zasedání protokol hodnocení návrhu projektu. V protokolu hodnocení návrhu projektu musí být jasně formulován závěr kolektivního posouzení v panelu. Je přirozené, že s ohledem na nezávislé vypracování posudků zpravodaji se jejich hodnocení může lišit. Pokud je závěr posouzení v panelu v rozporu s některým z posudků zpravodaje, je třeba takový nesoulad v protokolu hodnocení návrhu projektu vysvětlit. Zejména u hodnocení C, Cn musí být protokol jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k ostatním posuzovaným návrhům.
  • Panel na základě doporučení zpravodajů dále rozhodne o přidělení zahraničních oponentů pro projekty zařazené do kategorií A nebo B.
  • Panel předá příslušné oborové komisi tyto materiály:
    – protokol ze zasedání panelu s návrhem na zařazení projektů do kategorií A, B, C a Cn;
    – návrhy na zařazení do kategorií A, B, C, Cn od dvou nebo tří zpravodajů a dvou posuzovatelů, včetně posudků;
    – návrhy zpravodajů na zahraniční oponenty.

Hodnocení v oborové komisi v první fázi

  • Členové oborové komise se před zasedáním seznámí se zápisy z jednání panelů, posudky zpravodajů, s návrhy na zařazení do kategorií A, B, C, Cn od hodnotitelů a s návrhy na zahraniční oponenty.
  • Oborové komise projednají a navrhnou na vyřazení návrhy projektů, které nejsou doporučeny do druhé fáze první etapy posuzování (tj. kategorie C a Cn).
  • Návrhy projektů, které oborová komise nezařadila v první fázi hodnocení do kategorie C nebo Cn, jsou prostřednictvím Kanceláře GA ČR zaslány zahraničním oponentům.

Druhá fáze

  • jsou získány posudky od zahraničních oponentů;
  • před zasedáním panelu se všichni členové panelu seznámí se všemi návrhy projektů, které postoupily do druhé fáze posuzování, včetně všech podkladů k jednotlivým návrhům projektů, což jsou:
    – dva nebo tři posudky od zpravodajů panelu;
    – pokud možno dva posudky od zahraničních oponentů;
    – čtyři nebo pět hodnocení návrhu projektu z první fáze (zařazení do kategorií A, B);
  • každý člen panelu před zasedáním panelu nezávisle zařadí prostřednictvím aplikace GRIS všechny návrhy projektů daného panelu podle kvality do tří kategorií A, B, C, přičemž do kategorie A je zařazeno nejvýše 25 % návrhů projektů posuzovaných v druhé fázi; u kategorií B a C kvóta není stanovena. Kategorie označují:
    – A – vysoce kvalitní projekt, jednoznačně doporučen k financování;
    – B – kvalitní projekt, doporučen k financování;
    – C – průměrný návrh projektu, nedoporučen k financování.

Panelové hodnocení ve druhé fázi

  • nejprve zpravodajové každého návrhu projektu postupně prezentují jednotlivé návrhy projektů; po podrobné diskusi panel rozdělí všechny návrhy projektů do tří skupin:
    – projekty doporučené k financování (označení A) – nejvýše 25 %;
    – projekty doporučené k financování v případě dostatečných finančních prostředků (označení B);
    – projekty, které nejsou doporučeny k financování (označení C);
  • dále na základě diskuse a vzájemného porovnávání jednotlivých návrhů projektů panel navrhne pořadí projektů kategorie A a B;
  • u všech projektů kategorie A a B panel projedná adekvátnost požadovaných finančních prostředků a přiměřenost plánované pracovní kapacity;
  • o výsledku jednání panelu a o navrženém pořadí projektů ve 2. fázi hodnocení panel hlasuje a výsledek je zaznamenán v protokolu ze zasedání panelu;
  • průběh jednání je zaznamenán v zápise, který slouží jako podklad pro protokol hodnocení návrhu projektu; nezřídka nastává situace, že posudky zahraničních oponentů hodnotí návrh projektu příznivě, zatímco panel se shoduje na kritičtějším hodnocení; takovou situaci je nezbytné objektivně a podrobně v protokolu hodnocení návrhu projektu komentovat;
  • na závěr jednání je stanovisko panelu zapsáno do protokolu hodnocení každého návrhu projektu. Stejně jako v první fázi hodnocení musí být v protokolu hodnocení návrhu projektu jasně formulován závěr kolektivního posouzení v panelu. Pokud je závěr v rozporu s některým z posudků zpravodaje, je třeba nesoulad vysvětlit. Zejména u hodnocení C musí být protokol jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k ostatním posuzovaným návrhům.

DRUHÁ ETAPA HODNOCENÍ

Druhá etapa hodnocení probíhá na úrovni příslušné oborové komise. V této etapě se již návrhy projektů nehodnotí individuálně, ale porovnávají se mezi sebou návrhy projektů všech panelů, které patří do oborové komise, a hlasováním se sestavuje pořadí návrhů projektů. Návrhy oborových komisí jsou předloženy předsednictvu k rozhodnutí.

TŘETÍ ETAPA HODNOCENÍ

Předsednictvo připraví, s přihlédnutím k návrhům oborových komisí, konečné rozhodnutí o financování projektů, které projedná za přítomnosti předsedů oborových komisí. Poté rozhodne a vyhlásí výsledky veřejné soutěže.

DODATEK

    Kritéria uplatňovaná při hodnocení odborné úrovně návrhu projektu a zařazování návrhů projektů do kategorií A, B, C a Cn: (1) Při hodnocení návrhů projektů se posuzují:
    a) především originalita, kvalita a úroveň navrhovaného grantového projektu;
    b) schopnost uchazeče i spoluuchazečů řešit grantový projekt s ohledem na jejich technické a institucionální zázemí;
    c) schopnost a předpoklady navrhovatele, případného spolunavrhovatele a jejich spolupracovníků, grantový projekt řešit, přičemž se posuzují odborné schopnosti, jejich tvůrčí přínos ve vědní oblasti podle zaměření návrhu projektu, a to s ohledem na jejich dosavadní výsledky ve výzkumu a experimentálním vývoji.

    (2) Při hodnocení kvality a úrovně navrhovaného grantového projektu se posuzuje:
    a) cíl návrhu projektu – zda byly vymezeny jasné a konkrétní cíle, jejich náročnost, významnost a proveditelnost; posuzuje se z hlediska přínosu pro odborné zaměření panelu, do kterého byl návrh podán (náplně panelů jsou dostupné na http://www.gacr.cz/poradni-organy/panely); posuzuje se úměrnost šíře problému navrhovaného k řešení vzhledem k požadovaným prostředkům a času na řešení;
    Cn:
    – cíle projektu jsou vymezeny vágně nebo je nelze identifikovat;
    – projekt postrádá základní atributy základního výzkumu (chybí jasně formulované hypotézy a cíle ve vazbě na dosavadní stav poznání);
    – potenciální přínos projektu k poznání v dané oblasti je zanedbatelný nebo těžko identifikovatelný;
    – projekt není založen na originální myšlence (navrhovatel buď není dostatečně obeznámen se stavem poznání v dané oblasti, nebo vědomě pouze replikuje již provedený výzkum);

    b) návrh způsobu řešení:
    1. jakým způsobem navrhovatel předpokládá dosažení stanovených cílů a výsledků (tj. koncepce, příprava a adekvátnost navrhované metodiky, včetně časového harmonogramu řešení);
    2. přiměřenost (zejm. z hlediska výše úvazku a podílu jednotlivých členů týmu na předpokládaných výstupech grantového projektu) a kvalifikační složení pracovního týmu a vymezení role jednotlivých členů týmu při řešení problému;
    Cn:
    – z návrhu projektu není zřejmé, jak bude cílů (pokud jsou formulovány) dosaženo, jaké metody budou aplikovány a jak bude řešitelský tým postupovat;
    – z návrhu projektu není zřejmé, jak se na dosažení cílů projektu a výstupech (publikace) budou podílet jednotliví členové řešitelského týmu;
    – složení (velikost) řešitelského týmu je zřetelně předimenzované, projekt nese znaky skrytého institucionálního financování;

    c) výstupy grantového projektu – předpokládaná publikační aktivita a dosažení dalších druhů výsledků základního výzkumu definovaných Metodikou 2017+;
    Cn:
    – předpokládané výstupy z projektu jsou zcela nedostatečné nebo nejasně vymezené;
    – předpokládaná publikační aktivita očividně nekoresponduje s předchozí publikační aktivitou navrhovatele a členů řešitelského týmu (evidentní rozpor mezi sliby a možnostmi);
    – navrhované výstupy nepatří mezi výsledky definované pro základní výzkum platnou Metodikou hodnocení výsledků;

    d) zahraniční spolupráce – předpokládané zapojení zahraničních pracovišť do řešení grantového projektu, vzájemné využití přístrojového vybavení spolupracujících pracovišť a využití komplementárních přístupů a metodik;

    e) průběh, výsledky a způsoby řešení předchozích grantových projektů uchazeče a spoluuchazečů a navrhovatele a spolunavrhovatelů při řešení grantových projektů s podporou poskytovanou poskytovatelem (pokud takové grantové projekty byly řešeny); je zohledňováno případné porušení pravidel ze strany uchazeče nebo spoluuchazeče či navrhovatele nebo spolunavrhovatele při hospodaření s poskytnutou účelovou podporou, plnění všech povinností vymezených smlouvou nebo rozhodnutím o poskytování účelové podpory, hodnocení již ukončených nebo aktuálně řešených grantových projektů;
    Cn:
    – jedná se o „recyklovaný“ projekt odmítnutý v předchozí soutěži a podaný do soutěže v prakticky nezměněné podobě nerespektující výhrady či doporučení expertních orgánů.

    (3) Při hodnocení se posuzují navržené náklady:
    a) přiměřenost navržených nákladů i výše úvazků ve vztahu k návrhu projektu a předpokládaným výsledkům;
    b) opodstatněnost jednotlivých položek navržených nákladů;
    c) podíl finančních prostředků požadovaných od poskytovatele na celkových navržených nákladech (tj. navržená míra podpory);
    d) splnění požadavků na rozsah a vymezení způsobilých nákladů podle zadávací dokumentace.

© 2019 GA ČR