Naukowcy opracowali nową metodę kontroli generowania obrazów przez sztuczną inteligencję

Naukowcy z Uniwersytetu Stanu Karolina Północnej opracowali nową metodę kontroli generowania obrazów przez sztuczną inteligencję, którą można wykorzystać w dziedzinach takich jak pojazdy autonomiczne.

Warunkowe generowanie obrazów i inne techniki

Warunkowe generowanie obrazów jest zadaniem sztucznej inteligencji, które polega na tworzeniu obrazów na podstawie określonego zestawu warunków, które użytkownik może określić. Nowocześniejsze techniki posunęły się jeszcze dalej i obejmują warunki dotyczące układu obrazu, co pozwala użytkownikom określić, jakie obiekty mają się pojawić w określonych miejscach na ekranie.

Nowa, najnowocześniejsza metoda opracowana przez naukowców z uniwersytetu opiera się na tych technikach i umożliwia użytkownikom większą kontrolę nad obrazami, jednocześnie zachowując pewne cechy na przestrzeni serii obrazów.

Tianfu Wu jest współautorem artykułu badawczego i adiunktem na wydziale inżynierii komputerowej na NC State.

“Nasze podejście jest bardzo elastyczne,” mówi Wu. “Podobnie jak poprzednie podejścia, nasze pozwala użytkownikom generować obrazy na podstawie określonego zestawu warunków. Ale nasze podejście pozwala również zachować ten obraz i dodać do niego coś nowego. Na przykład, użytkownicy mogą poprosić system o stworzenie sceny górskiej. Następnie mogą poprosić system o dodanie narciarzy do tej sceny.”

Manipulowanie elementami

Z nową metodą użytkownicy mogą również pozwolić systemowi manipulować elementami tak, aby były identyfikowalne jako takie same, jednocześnie poruszając się lub zmieniając w jakiś sposób. Jednym z takich przykładów byłoby stworzenie przez system serii obrazów, na których narciarze zwracają się w stronę obserwatora, poruszając się po krajobrazie.

“Jednym z zastosowań tej metody może być pomoc autonomicznym robotom w ‘wyobrażeniu’ sobie, jaki może być efekt końcowy, zanim rozpoczną określone zadanie,” mówi Wu. “Można również wykorzystać ten system do generowania obrazów do szkolenia sztucznej inteligencji. Zamiast więc korzystać z obrazów z zewnętrznych źródeł, można wykorzystać ten system do tworzenia obrazów do szkolenia innych systemów sztucznej inteligencji.”

Nowe podejście zostało przetestowane z użyciem zestawu danych COCO-Stuff i Visual Genome, a na podstawie standardów jakości obrazu przewyższa poprzednie najnowocześniejsze techniki.

“Naszym następnym krokiem jest sprawdzenie, czy możemy rozszerzyć tę pracę na filmy i obrazy trójwymiarowe,” mówi Wu.

Aby przeszkolić nowe podejście, naukowcom musiano się oprzeć na stacji roboczej z 4 procesorami graficznymi, biorąc pod uwagę ogromną moc obliczeniową, która była wymagana. Mimo to, wdrożenie systemu jest nadal mniej kosztowne pod względem obliczeń.

“Stwierdziliśmy, że jeden procesor graficzny daje prawie czas rzeczywisty,” mówi Wu.

“Oprócz naszego artykułu, udostępniliśmy nasz kod źródłowy dla tego podejścia na GitHub. Mówimy, że zawsze jesteśmy otwarci na współpracę z partnerami branżowymi.”