Szybka inżynieria
Bliższe spojrzenie na DALL-E 3 OpenAI
W generatywna sztuczna inteligencja świecie, bycie na bieżąco z najnowszymi informacjami to nazwa gry. A jeśli chodzi o generowanie obrazów, stabilne rozproszenie i W połowie drogi były platformą, o której wszyscy mówili – aż do teraz.
Wprowadzono OpenAI, wspierany przez technologicznego giganta Microsoft DALL E 3 września 20th, 2023.
DALL-E 3 to nie tylko tworzenie obrazów; chodzi o wcielanie w życie Twoich pomysłów, dokładnie tak, jak je sobie wyobrażałeś. A najlepsza część? Jest szybko, naprawdę szybko. Masz pomysł, przekazujesz go do DALL-E 3 i bum, Twój obraz jest gotowy.
Dlatego w tym artykule przyjrzymy się bliżej, o co chodzi w DALL-E 3. Porozmawiamy o tym, jak to działa, co odróżnia go od innych i dlaczego może to być narzędzie, o którym nie wiedziałeś, że jest potrzebne. Niezależnie od tego, czy jesteś projektantem, artystą, czy po prostu osobą z mnóstwem fajnych pomysłów, na pewno będziesz chciał się tym zająć. Zacznijmy.
Nowością w DALL·E 3 jest to, że kontekst jest znacznie lepszy niż w DALL·E 2. Wcześniejsze wersje mogły pominąć pewne szczegóły lub zignorować kilka szczegółów tu i ówdzie, ale DALL·E 3 ma rację. Wychwytuje dokładne szczegóły tego, o co prosisz, dając obraz bliższy temu, co sobie wyobrażałeś.
Fajna część? DALL·E 3 i ChatGPT są teraz ze sobą zintegrowane. Współpracują, aby udoskonalić Twoje pomysły. Ty kręcisz koncepcję, ChatGPT pomaga w dopracowaniu podpowiedzi, a DALL·E 3 ożywia ją. Jeśli nie jesteś fanem tego obrazu, możesz poprosić ChatGPT o poprawienie monitu i poproszenie DALL·E 3 o ponowną próbę. Za miesięczną opłatę w wysokości 20 $ otrzymasz dostęp do GPT-4, DALL·E 3 i wielu innych ciekawych funkcji.
Microsoft Czat Binga DALL·E 3 wpadł w ręce jeszcze przed ChatGPT OpenAI i teraz nie tylko duże przedsiębiorstwa, ale wszyscy mogą się nim bawić za darmo. Integracja z Bing Chat i Bing Image Creator znacznie ułatwia korzystanie z niego każdemu.
Powstanie modeli dyfuzyjnych
W ciągu ostatnich 3 lat wizyjna sztuczna inteligencja była świadkiem rozwoju modeli dyfuzyjnych, co stanowi znaczący krok naprzód, zwłaszcza w generowaniu obrazów. Przed modelami dyfuzyjnymi, Generatywne sieci przeciwne (GAN) były popularną technologią generowania realistycznych obrazów.
GAN
Jednak wiązały się one z pewnymi wyzwaniami, w tym koniecznością posiadania ogromnych ilości danych i mocy obliczeniowej, co często utrudniało ich obsługę.
Wchodzę dyfuzja modele. Okazały się bardziej stabilną i wydajną alternatywą dla sieci GAN. W przeciwieństwie do sieci GAN, modele dyfuzyjne działają poprzez dodanie szumu do danych i zaciemnienie ich, aż pozostanie jedynie losowość. Następnie pracują wstecz, aby odwrócić ten proces, rekonstruując istotne dane z szumu. Proces ten okazał się skuteczny i wymaga mniej zasobów, co sprawia, że modele dyfuzyjne są gorącym tematem w społeczności AI.
Prawdziwy punkt zwrotny nastąpił około roku 2020, wraz z serią innowacyjnych artykułów i wprowadzeniem KLIP OpenAI technologię, która znacznie zwiększyła możliwości modeli dyfuzyjnych. Dzięki temu modele dyfuzyjne wyjątkowo dobrze radzą sobie z syntezą tekstu na obraz, umożliwiając im generowanie realistycznych obrazów na podstawie opisów tekstowych. Przełom nastąpił nie tylko w generowaniu obrazu, ale także w takich dziedzinach jak kompozycja muzyczna i badania biomedyczne.
Obecnie modele dyfuzji są nie tylko tematem zainteresowań akademickich, ale są wykorzystywane w praktycznych, rzeczywistych scenariuszach.
Modelowanie generatywne i warstwy samouwagi: DALL-E 3
Jednym z kluczowych postępów w tej dziedzinie była ewolucja modelowania generatywnego, w której wiodące są podejścia oparte na próbkowaniu, takie jak autoregresyjne modelowanie generatywne i procesy dyfuzji. Przekształcili modele zamiany tekstu na obraz, co doprowadziło do drastycznej poprawy wydajności. Dzięki podziale generowania obrazu na dyskretne etapy modele te stały się bardziej wykonalne i łatwiejsze do nauczenia się dla sieci neuronowych.
Równolegle kluczową rolę odegrało zastosowanie warstw samouważności. Warstwy te, ułożone razem, pomogły w generowaniu obrazów bez konieczności stosowania ukrytych odchyleń przestrzennych, co jest częstym problemem w przypadku splotów. Ta zmiana umożliwiła niezawodne skalowanie i ulepszanie modeli zamiany tekstu na obraz dzięki dobrze poznanym właściwościom transformatorów w zakresie skalowania.
Wyzwania i rozwiązania w generowaniu obrazu
Pomimo tych postępów, sterowanie generowaniem obrazu pozostaje wyzwaniem. Powszechne były problemy, takie jak szybkie śledzenie, gdy model może nie przylegać ściśle do tekstu wejściowego. Aby rozwiązać ten problem, zaproponowano nowe podejścia, takie jak ulepszanie napisów, mające na celu poprawę jakości par tekstu i obrazu w zbiorach danych szkoleniowych.
Ulepszenie napisów: nowatorskie podejście
Ulepszanie podpisów polega na generowaniu podpisów o lepszej jakości do obrazów, co z kolei pomaga w szkoleniu dokładniejszych modeli zamiany tekstu na obraz. Osiąga się to dzięki niezawodnemu podpisowi obrazów, który tworzy szczegółowe i dokładne opisy obrazów. Dzięki szkoleniom na ulepszonych napisach DALL-E 3 był w stanie osiągnąć niezwykłe rezultaty, bardzo przypominające fotografie i dzieła sztuki stworzone przez człowieka.
Szkolenie na danych syntetycznych
Koncepcja szkolenia na danych syntetycznych nie jest nowa. Jednak wyjątkowy wkład polega na stworzeniu nowatorskiego, opisowego systemu podpisów obrazów. Wpływ stosowania napisów syntetycznych do uczenia modeli generatywnych był znaczny, co doprowadziło do poprawy zdolności modelu do dokładnego podążania za podpowiedziami.
Ocena DALL-E 3
Poprzez wielokrotne oceny i porównania z poprzednimi modelami, takimi jak DALL-E 2 i Stable Diffusion XL, DALL-E 3 wykazał doskonałą wydajność, szczególnie w zadaniach związanych z natychmiastowym podążaniem.
Porównanie modeli zamiany tekstu na obraz w różnych ocenach
Zastosowanie zautomatyzowanych ocen i testów porównawczych dostarczyło wyraźnych dowodów na jego możliwości, umacniając jego pozycję jako najnowocześniejszego generatora zamiany tekstu na obraz.
Podpowiedzi i umiejętności DALL-E 3
DALL-E 3 oferuje bardziej logiczne i wyrafinowane podejście do tworzenia wizualizacji. Podczas przewijania zauważysz, jak DALL-E tworzy każdy obraz, łącząc dokładność i wyobraźnię, która rezonuje z danym podpowiedzią.
W przeciwieństwie do swojej poprzedniczki, ta ulepszona wersja wyróżnia się naturalnym rozmieszczaniem obiektów w scenie i dokładnym przedstawianiem ludzkich cech, aż do prawidłowej liczby palców dłoni. Ulepszenia obejmują drobniejsze szczegóły i są teraz dostępne w wyższej rozdzielczości, zapewniając bardziej realistyczne i profesjonalne rezultaty.
Możliwości renderowania tekstu również uległy znacznej poprawie. Tam, gdzie poprzednie wersje DALL-E generowały bełkotliwy tekst, DALL-E 3 może teraz generować czytelne i profesjonalnie zaprojektowane litery (czasami), a czasami nawet czyste logo.
Znacząco poprawiono zrozumienie przez model złożonych i zróżnicowanych żądań obrazów. DALL-E 3 może teraz dokładnie śledzić szczegółowe opisy, nawet w scenariuszach zawierających wiele elementów i szczegółowych instrukcji, demonstrując swoją zdolność do tworzenia spójnych i dobrze skomponowanych obrazów. Przyjrzyjmy się niektórym podpowiedziom i odpowiednim wynikom, które otrzymaliśmy:
Design the packaging for a line of organic teas. Include space for the product name and description.
DALL-E 3 obrazy oparte na podpowiedziach tekstowych (należy pamiętać, że lewy plakat ma błędną pisownię)
Create a web banner advertising a summer sale on outdoor furniture. The image feature a beach setting with different pieces of outdoor furniture, and text announcing 'Huge Summer Savings!'
DALL-E 3 obrazy na podstawie podpowiedzi tekstowych
A vintage travel poster of Paris with bold and stylized text saying 'Visit Paris' at the bottom.
DALL-E 3 obrazy oparte na podpowiedziach tekstowych (należy pamiętać, że oba plakaty mają błędną pisownię)
A bustling scene of the Diwali festival in India, with families lighting lamps, fireworks in the sky, and traditional sweets and decorations.
DALL-E 3 obrazy na podstawie podpowiedzi tekstowych
A detailed marketplace in ancient Rome, with people in period-appropriate clothing, various goods for sale, and architecture of the time.
DALL-E 3 obrazy na podstawie podpowiedzi tekstowych
Generate an image of a famous historical figure, like Cleopatra or Leonardo da Vinci, placed in a contemporary setting, using modern technology like smartphones or laptops.
DALL-E 3 obrazy na podstawie podpowiedzi tekstowych
Ograniczenia i ryzyko DALL-E 3
OpenAI podjęła znaczące kroki w celu odfiltrowania jawnych treści z danych szkoleniowych DALL-E 3, mając na celu zmniejszenie błędów systematycznej i poprawę wydajności modelu. Obejmuje to zastosowanie specjalnych filtrów w przypadku kategorii treści o charakterze wrażliwym oraz zmianę progów w przypadku szerszych filtrów. Stos środków zaradczych obejmuje również kilka warstw zabezpieczeń, takich jak mechanizmy odmowy w ChatGPT w przypadku tematów drażliwych, klasyfikatory wprowadzania monitów zapobiegające naruszeniom zasad, listy blokowania dla określonych kategorii treści oraz przekształcenia zapewniające zgodność podpowiedzi z wytycznymi.
Pomimo swoich udoskonaleń, DALL-E 3 ma ograniczenia w rozumieniu relacji przestrzennych, dokładnym renderowaniu długiego tekstu i generowaniu określonych obrazów. OpenAI zdaje sobie sprawę z tych wyzwań i pracuje nad ulepszeniami przyszłych wersji.
Firma pracuje również nad sposobami odróżnienia obrazów generowanych przez sztuczną inteligencję od obrazów stworzonych przez ludzi, co odzwierciedla ich zaangażowanie w przejrzystość i odpowiedzialne wykorzystanie sztucznej inteligencji.
DALL E 3
Najnowsza wersja DALL-E 3 będzie dostępna etapami, począwszy od określonych grup klientów, a później rozszerzając ją na laboratoria badawcze i usługi API. Jednak data bezpłatnej publicznej premiery nie została jeszcze potwierdzona.
OpenAI naprawdę ustanawia nowy standard w dziedzinie sztucznej inteligencji dzięki DALL-E 3, płynnie łącząc złożone możliwości techniczne i przyjazne dla użytkownika interfejsy. Integracja DALL-E 3 z powszechnie używanymi platformami, takimi jak Bing, odzwierciedla przejście od wyspecjalizowanych aplikacji do szerszych, bardziej dostępnych form rozrywki i użyteczności.
Prawdziwą zmianą w nadchodzących latach będzie prawdopodobnie równowaga między innowacjami a wzmocnieniem pozycji użytkowników. Firmy, które prosperują, to te, które nie tylko przesuwają granice możliwości AI, ale także zapewniają użytkownikom pożądaną autonomię i kontrolę. OpenAI, dzięki swojemu zaangażowaniu w etyczną sztuczną inteligencję, ostrożnie podąża tą ścieżką. Cel jest jasny: stworzyć narzędzia AI, które będą nie tylko potężne, ale także godne zaufania i włączające, zapewniając wszystkim dostęp do korzyści płynących ze sztucznej inteligencji.
