Polacy stworzyli algorytm, który zmienia filmy w komiksy

Dzieło studentów Politechniki Warszawskiej niemal od razu po opublikowaniu wzbudziło zainteresowanie producentów filmowych i wydawców komiksów na całym świecie.

To, co robi Comixify – bo tak zostało nazwane omawiane narzędzie – teoretycznie wydaje się proste. Na odpowiedniej stronie (LINK) wrzucamy film (którego wielkość na ten moment nie może przekraczać 50 megabajtów), a po chwili otrzymujemy obrazek stylizowany na komiks. Wszystko jednak tkwi w szczegółach. Bo skąd algorytm wie, które z klatek są istotne i zasługują na wyróżnienie?

Za wybór klatek odpowiada metoda uczenia ze wzmocnieniem (reinforcement learning). Kolejnym etapem jest nadaniem klatkom „komiksowego” wyglądu, co jest zasługą uczenia maszynowego, a konkretniej generatywnego modelu sieci neuronowych typu GAN.

 

Za stworzenie Comixify odpowiada trzech studentów Politechniki Warszawskiej: Maciej Pęśko, Adam Svystun oraz Paweł Andruszkiewicz i dwójka opiekunów naukowych: Przemysław Rokita i Tomasz Trzciński.

Na stronie Politechniki Warszawskiej możemy przeczytać:

Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.
Nasi badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac.
Więcej o: