Ilustrační foto ze soutěže Video Browser Showdown, na které Jakub Lokoč a jeho tým v roce 2020 zvítězili (Zdroj: https://videobrowsershowdown.org/pics/)
Jakub Lokoč z Matematicko-fyzikální fakulty Univerzity Karlovy se zabývá vylepšováním algoritmů pro vyhledávání ve videu. A daří se mu to, protože se svým týmem a studenty opakovaně zvítězil na mezinárodní soutěži Video Browser Showdown. V letošním roce za svůj projekt získal čestné uznání předsedy Grantové agentury České republiky.
Představte si, že dostanete miliardu hodin videa a zadání: Najdi pasáž, ve které zahradník v modrých kalhotách sází květiny. Podobnými úkoly se v rámci svého výzkumu zabývá informatik Jakub Lokoč. Jeho cílem je naprogramovat vyhledávač, který dokáže najít videa odpovídající libovolnému textovému zadání.
Poměrně dobře dnes umíme rozpoznat osobu na základě jejího pohledu do kamery nebo hledat konkrétního člověka na záběru z pouličních kamer podle fotografie. Není také problém identifikovat vadný kus zboží na páse nebo odhalit auta, která nemají zaplacenou dálniční známku. Algoritmy, které umožnují ve videu vyhledat jeden konkrétní objekt, už mají řadu komerčních aplikací a čím dál tím více pronikají do naší každodenní reality. „Můj výzkum se zabývá obecně zadanými úlohami, ve kterých se musíme přizpůsobit libovolnému zadání,“ popisuje Jakub Lokoč. „Každý má zkušenost s vyhledávačem na YouTube nebo Googlem. Několik prvních výsledků sice bývá relevantních, ale čím dále od předních pozic jsme, tím více se obsah videa odklání od původního zadání. V obrovské kolekci videa, která obsahuje například miliardu hodin záznamu, není s dnešními algoritmy těžké najít několik relevantních sekvencí na základě libovolného textového dotazu. Těžké je najít všechny a v nich pak jednu konkrétní. A to je náš cíl,“ dodává.
Soutěž jako motivace
Vyhledávacích aplikací vyvinul tým Jakuba Lokoče hned několik. Kvality jedné z nejpokročilejších z nich, nazvané SOM Hunter, si také několikrát ověřili na mezinárodní soutěži vyhledávačů Video Browser Showdown, na které v roce 2020 zvítězili. „Soutěže se pravidelně účastní týmy z celého světa. Rok od roku je jich více a minulý rok ve Vietnamu už soutěžilo 15 týmů. Komunita se postupně rozrůstá,“ popisuje Jakub Lokoč soutěžní prostředí. Týmy mají za úkol řešit pomocí svých vyhledávačů různé úkoly, například na základě vzpomínky najít jednu konkrétní 20vteřinovou sekvenci v záznamu trvajícím 2300 hodin. „Náš vyhledávač je schopen vyřešit 50 % podobných úloh do jedné minuty. Pracuje na základě textových dotazů, které se v první řade snažíme co nejpřesněji formulovat. Pokud se nám nepodaří scénu najít, tak saháme po dalších přístupech,“ vysvětluje.
Zmíněný SOM Hunter například využívá 2 metody, které umožnují rozšířit možnosti hledání: Bayesovský přístup a samoorganizující se mapu. Bayesovský přístup je založen na postupném zpřesňování požadavku na základě zpětné vazby uživatele, díky kterým algoritmus stále zpřesňuje výsledky vyhledávání a maximalizuje využití vstupních informací. V praxi to vypadá tak, že uživatel například označí konkrétní videa, která jsou nebo nejsou podobná tomu, které vyhledává. Jedním z důležitých výstupů projektu je také měření toho, jakým způsobem došlo při použití Bayesovského přístupu ke zkvalitnění výsledků prvotního vyhledávání u několika desítek uživatelů.
Druhý přístup je založený na metodě samoorganizujících se map (SOM, self-organizing map). Pomocí této metody jsou výzkumníci schopni vizualizovat, které scény v kolekci videa jsou si podobné. Díky tomu je možné efektivně zobrazovat a prohledávat větší množiny výsledků najednou.
Nikdy není hotovo
Vyvinutím aplikace ovšem práce pro Jakuba Lokoče a jeho tým nekončí. „Žijeme v době dramatických změn v oblasti strojového učení, takže musíme neustále sledovat nové trendy v oboru, na jejichž základě děláme experimenty a rozhodujeme, které části aplikace ponecháme, vylepšíme nebo nahradíme. I když máme hodně aplikované zadání, tak naší hlavní ambicí je dělat základní výzkum.“
Nabízí se samozřejmě také otázka komerčního využití aplikace. „Vytvořit funkční aplikaci typu SOM Hunter bylo časově velmi náročné. Pokud bychom uvažovali o komerční aplikaci, tak bychom museli získat nemalou počáteční finanční investici, protože vyladit aplikaci tak, aby fungovala pro různé operační systémy nebo prohlížeče by vyžadovalo obrovské množství práce,“ vysvětluje Jakub Lokoč úskalí této vize.
I díky podpoře Grantové agentury České republiky si nyní Jakub Lokoč zakládá vlastní výzkumnou skupinu na Matematicko-fyzikální fakultě Univerzity Karlovy. „Kromě toho, že kolegové a studenti získali mnoho zkušeností během řešení projektu, tak mi projekt také pomohl zkvalitnit výuku předmětu zaměřeného na vyhledávání ve videu. Na konci semestrálního kurzu si sami studenti vyvinou menší verzi vyhledávače, se kterým pak soutěží se spolužáky. Pozoruji, že studenty to velmi baví a naučí se mnoho nových dovedností. Snažím se výuku pojímat tak, aby studenty bavila a motivovala. Sledovat ‘Aha‘ momenty studentů je úžasné,“ uzavírá vědec, jehož ambicí není dělat jenom špičkový výzkum, ale také předávat nabyté zkušenosti dál.