Nowa technologia może kiedyś rozszerzyć tradycyjne rozwiązania renderujące, umożliwiając programistom tworzenie wirtualnych środowisk opartych na możliwościach uczenia maszynowego. Można więc wyobrażać sobie gry i filmy animowane oraz efekty specjalne powstające przy jej wsparciu.

Nazwa nowego frameworka (i pod pewnymi względami koncepcja) jest ukłonem w stronę innego modelu opartego na sztucznej inteligencji, znanego jako Transformer. Pierwotnie wprowadzony w 2017 r. Transformer to nowatorska architektura sieci neuronowej z możliwością generowania tekstu poprzez modelowanie i porównywanie innych słów w zdaniu. Od tego czasu model został włączony do standardowych platform uczenia głębokiego, takich jak TensorFlow i PyTorch.

Tak jak Transformer używa języka do przewidywania potencjalnych wyników, Transframer używa obrazów kontekstowych do tworzenia krótkich filmów. Powstałe filmy poruszają się wokół docelowego obrazu.

Nowa technologia, zademonstrowana przy użyciu platformy Google DeepMind AI, działa poprzez analizę pojedynczego obrazu. Uzyskane kluczowe dane pozwalają wygenerować dodatkowe obrazy. Podczas tej analizy system identyfikuje także sposób kadrowania obrazu, co pomaga zaprojektować otoczenie. Obrazy kontekstowe są następnie wykorzystywane do dalszego wyliczania, jak obraz będzie wyglądał pod różnymi kątami.

Jest to ogromny krok w technologii wideo, zapewniający możliwość generowania dość dokładnego wideo na podstawie bardzo ograniczonego zestawu danych.

Sztuczna inteligencja Google potrafi tworzyć filmy na podstawie pojedynczego obrazu

W rezultacie może powstać ogromne narzędzie dla wszystkich branż, gdzie istnieje konieczność generowania sekwencji filmowych – gry wideo, film animowany, reklama, efekty specjalne itp. Dla przykładu obecne środowiska tworzenia gier opierają się na podstawowych technikach renderowania, takich jak cieniowanie, mapowanie tekstur, głębia ostrości i ray tracing.

Technologie takie jak Transframer mają potencjał, aby zaoferować programistom zupełnie nową ścieżkę rozwoju, wykorzystując sztuczną inteligencję i uczenie maszynowe do budowania ich środowisk, przy jednoczesnym skróceniu czasu, zmniejszeniu zasobów i wysiłku potrzebnych do ich stworzenia.