Czy DALL-E 2 po prostu “klei rzeczy razem” bez zrozumienia ich relacji?

Nowy artykuł badawczy z Uniwersytetu Harvarda sugeruje, że ramka tekstowo-obrazkowa DALL-E 2 od OpenAI, która wywołała duże zainteresowanie, ma znaczne trudności w odtwarzaniu nawet podstawowych relacji między elementami, które komponuje w syntetyzowanych fotografiach, pomimo olśniewającej złożoności dużej części jej danych wyjściowych.

Badacze przeprowadzili badanie z udziałem 169 uczestników, którzy zostali przedstawieni obrazom DALL-E 2 na podstawie najbardziej podstawowych ludzkich zasad semantyki relacji, wraz z tekstowymi wskazówkami, które je stworzyły. Zapytani, czy wskazówki i obrazy są ze sobą powiązane, mniej niż 22% obrazów zostało uznanych za istotne w odniesieniu do bardzo prostych relacji, które DALL-E 2 zostało poproszone o wizualizację.

… (reszta treści)