JavaScript je vypnutý

Proces hodnocení návrhů projektů EXPRO

Cíl:

  • profesionalizace a zvýšení účinnosti systému hodnocení návrhů projektů,
  • vzájemné porovnávání návrhů projektů; porovnání v měřítku mezinárodní excelence,
  • standardizace kritérií úspěšnosti,
  • posílení transparentnosti a nezávislosti posuzování
  • Proces hodnocení splňuje tyto podmínky:

  • zákonem stanovená hodnoticí lhůta 8 měsíců,
  • dvouetapový systém hodnocení:
  • rozhodujícím orgánem je předsednictvo,
  • oborové komise (8) jsou odbornými poradními orgány dle zákona č. 130/2002 Sb.,
  • pro každý návrh projektu 4 nezávislé posudky od členů příslušné OK-EX, v případě mezioborového projektu se jeden ze 4 posudků získá od člena druhé OK-EX
  • právě tři externí posudky u projektů postupujících do druhé fáze posuzování,
  • účastníci hodnoticího procesu jsou vázáni povinností mlčenlivosti,
  • externí oponent ani člen OK-EX nesmí v průběhu předchozích pěti let působit na žádné instituci v České republice
  • OK-EX:

  • velikost OK-EX je 8 až 15 členů včetně předsedy,
  • typicky OK-EX vyhodnocuje desítky návrhů projektů,
  • návrh na 17 členů každé OK-EX z řad významných zahraničních odborníků předkládá zahraniční agentura vybraná na základě výběrového řízení,
  • požadavky na člena OK-EX: vysoká odborná úroveň posuzovaná v prvé řadě podle publikační činnosti a dalších výsledků, ochota a schopnost umět s nadhledem posoudit v rámci panelu širší úsek oboru, schopnost posuzování výhradně podle odborných hledisek,
  • člen OK-EX je nominován jako vědecká osobnost s širokým rozhledem,
  • členové OK-EX jsou jmenováni do funkce předsednictvem ze 17 ti členné nominace agentury na základě spektra došlých návrhů projektů na období tří let s možností předčasného ukončení členství
  • Hodnocení návrhů projektů (probíhá ve dvou etapách; první etapa má dvě fáze)

    První fáze hodnocení před zasedáním OK-EX

    Hodnocení v první fázi
  • každý podaný projekt bude zařazen do OK-EX uvedené v návrhu navrhovatelem.
  • předseda OK-EX projde návrhy všech projektů a v případě, že návrh tematicky spadá do jiné OK-EX, navrhne jeho přeřazení  ještě před přiřazením zpravodajů. V případě, že budou souhlasit předsedové obou dotčených OK-EX, bude návrh přeřazen, v opačném případě bude posuzován v OK-EX, do které byl podán.
  • každý návrh projektu je přidělen k posouzení čtyřem členům OK-EX (zpravodajům)  k vypracování posudku (v případě mezioborových projektů je jeden ze čtyř zpravodajů  určen z vedlejší OK-EX) následujícím postupem:
  • předseda, případně  místopředseda OK-EX určí 4 (v případě mezioborového projektu tři a čtvrtého zpravodaje určí předseda vedlejší OK-EX) zpravodaje pro každý návrh projektu,
  • byl-li přidělen projektu zpravodaj, který je ve střetu zájmů, odmítne jej a předseda příslušné OK-EX přidělí nového zpravodaje,
  • zpravodajové prostudují návrh projektu a nezávisle vypracují vlastní posudek,
  • každý ze 4 zpravodajů nezávisle posoudí návrh projektu z hlediska dvou kritérií: (1) excelence navrhovatele a jeho schopnost projekt řešit, (2) význam a cíl  projektu a způsob jeho dosažení.
  • zpravodajové budou hodnotit návrhy jednak slovně do formuláře, jednak číselně, a to škálou od 1 bodu do 5 bodů se stupnicí po jednom bodu
  • každý zpravodaj dostane doporučení udělit maximálně 30% 4 a 5 bodů a max. 10% 5 bodů.
  • členové OK-EX nesmějí žádnou formou sdělovat ostatním členům OK-EX informaci o posuzovaných projektech ani o jejich hodnocení do doby cca tří dnů před zasedáním OK-EX, kdy jsou hodnocení zveřejněna všem členům OK-EX,
  • každý z členů OK-EX tři dny před zasedáním OK-EX získá prostřednictvím elektronické aplikace přístup ke všem návrhům ze svého OK-EX, s výjimkou  návrhů projektů, u nichž je ve střetu zájmů,
  • aplikace stanoví pořadí všech projektů dané OK-EX tak, že u každého návrhu sečte obě známky (kvalita navrhovatele a kvalita projektu) a vydělí dvěma pro každého zpravodaje a následné pořadí bude stanoveno s pomocí průměru ze známek návrhu projektu od všech zpravodajů.
  • každý ze zpravodajů přiřazených k danému návrhu projektu s využitím aplikace Reviewer Finder doporučí 2 – 3 vhodné externí oponenty pro projekty, které zařadil do lepší poloviny projektů.
  • Hodnocení OK-EX v první fázi

  • zasedání OK-EX se uskuteční prostřednictvím moderované videokonference. Videokonference se zúčastní kromě členů OK-EX ještě zástupce kanceláře GAČR a člen předsednictva zodpovědný za příslušnou OK-EX nebo jeho zástupce z členů předsednictva
  • Aplikace připraví pořadí a 50% hranici
  • Výstupem z jednání OK-EX je protokol ze zasedání OK-EX s návrhem na zařazení  projektů do kategorie pokračující/nepostupujících, tento protokol schvaluje předseda OK-EX. U projektů zařazených na zasedání OK-EX do kategorie nepostupující, zpracuje v aplikaci hlavní zpravodaj  po / v průběhu zasedání protokol hodnocení návrhu projektu, jehož text bude korespondenčně odsouhlasen členy OK-EX. V protokolu hodnocení návrhu projektu musí být jasně formulován závěr kolektivního posouzení v OK-EX. Je přirozené, že s ohledem na nezávislé vypracování posudků zpravodaji se jejich hodnocení může lišit. Pokud je závěr posouzení v OK-EX v rozporu s některým z posudků zpravodaje, je třeba takový nesoulad v protokolu hodnocení návrhu projektu vysvětlit. Zejména u hodnocení nepostupujících projektů musí být protokol jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k mezinárodní excelenci i k ostatním posuzovaným návrhům.
  • OK-EX na základě doporučení zpravodajů dále rozhodne o přidělení externích oponentů pro projekty postupující.
  • Druhá fáze hodnocení před zasedáním OK-EX

  • jsou získány právě tři posudky od externích oponentů,
  • externí oponenti budou aplikací oslovováni postupně
  • jakmile budou u projektu získány tři posudky, bude externí hodnocení uzavřeno a případné další došlé posudky nebudou brány v úvahu (členové OK-EX nebudou s jejich obsahem seznámeni)
  • externí posuzovatelé budou mít k dispozici pro hodnocení stejnou stupnici jako členové OK-EX (1 až 5) a při hodnocení cíle projektu a kvality navrhovatele budou používat stejná kritéria jako členové OK-EX (tj. každý externí posuzovatel před zasedáním OK-EX nezávisle  bodově ohodnotí každý návrh projektu známkou 1-5 podle cílů projektu a 1-5 podle kvality navrhovatele)
  • před zasedáním OK-EX se všichni členové OK-EX (s výjimkou těch, kteří jsou ve střetu zájmu) seznámí se všemi návrhy projektů, které postoupily do druhé fáze posuzování, včetně všech podkladů k jednotlivým návrhům projektů, což jsou:
      • čtyři posudky od zpravodajů OK-EX,
      • tři posudky od externích oponentů,
  • každý člen OK-EX před zasedáním OK-EX nezávisle  bodově ohodnotí každý návrh projektu známkou 1-5 podle cílů projektu a 1-5 podle kvality navrhovatele
  • Aplikace následně spočítá průměr na tři desetinná místa všech takto získaných   bodových hodnocení cíle projektu a kvality navrhovatele od všech hodnotitelů – členů OK-EX a externích posuzovatelů (hodnocení externích posuzovatelů bude vstupovat do hodnocení se stejnou vahou jako hodnocení členů OK-EX)
  • Každý projekt bude mít přiřazenu tuto jednu hodnotu, s pomocí které bude v aplikaci stanoveno pořadí hodnocení kvality projektů, které bude vstupem pro hodnocení OK-EX
  • Hodnocení OK-EX ve druhé fázi

  • Zasedání OK-EX  bude jednodenní  a bude se konat za přítomnosti všech členů dané OK-EX v Praze v prostorách GAČR. Na zasedání budou přítomni kromě jednoho pracovníka kanceláře i odpovídající člen předsednictva, který ale nebude vstupovat do diskuze
  • nejprve hlavní zpravodajové každého návrhu projektu postupně prezentují jednotlivé návrhy projektů,
  • Pořadí se bude měnit tak, že se změní ad hoc hodnota, která odpovídala průměru všech hodnocení, a to s přesností na tři desetinná místa.
  • Výsledkem tohoto procesu bude číslo určující  pro každý projekt jeho výslednou bodovou hodnotu a výsledné pořadí  v rámci dané OK-EX.
  • u všech projektů kategorie navržených k financování OK-EX projedná adekvátnost požadovaných finančních prostředků a přiměřenost plánované pracovní kapacity,
  • o výsledku jednání OK-EX a o navrženém pořadí projektů ve 2. fázi hodnocení OK-EX hlasuje a výsledek je zaznamenán v protokolu ze zasedání OK-EX,
  • průběh jednání je zaznamenán v zápise, který slouží jako podklad pro protokol hodnocení návrhu projektu; nezřídka nastává situace, že posudky zahraničních oponentů hodnotí návrh projektu příznivě, zatímco OK-EX se shoduje na kritičtějším hodnocení; takovou situaci je nezbytné objektivně a podrobně v protokolu hodnocení návrhu projektu komentovat,
  • hlavní zpravodaj každého projektu zpracuje po / v průběhu zasedání OK-EX souhrnné hodnocení návrhu projektu v protokolu hodnocení návrhu projektu, jehož text bude na místě či korespondenčně odsouhlasen členy OK-EX. Stejně jako v první fázi hodnocení, musí být v protokolu hodnocení návrhu projektu jasně formulován závěr kolektivního posouzení v OK-EX. Pokud je závěr v rozporu s některým z posudků zpravodaje je třeba nesoulad vysvětlit. Protokol musí být jednoznačný, je účelné kvalitu návrhu projektu vztáhnout k ostatním posuzovaným návrhům i k excelenci v mezinárodním měřítku.
  • Rozhodnutí předsednictva ve smyslu § 21 odst. 7 zákona č. 130/2002 Sb.

  • Podkladem pro jednání předsednictva bude zipované pořadí napříč všemi OK-EX podle bodového hodnocení vzešlého ze zasedání jednotlivých OK-EX.
  • Zároveň bude mít předsednictvo k dispozici informaci o počtu návrhů, bodovém hodnocení a finančních požadavcích  v rámci jednotlivých OK-EX.
  • Předsednictvo se při konečném rozhodnutí o financování bude řídit bodovou hodnotou jednotlivých návrhů bez ohledu na příslušnost k OK-EX.
  • Pokud předsednictvo změní pořadí OK-EX, tak toto rozhodnutí písemně odůvodní a vyvěsí na stránkách GA ČR.