Генеративный ИИ: Идея за CHATGPT, DALL-E, Midjourney и Другими

Мир искусства, коммуникации и нашего восприятия реальности быстро меняется. Если мы оглянемся на историю человеческих инноваций, мы можем рассматривать изобретение колеса или открытие электричества как монументальные скачки. Сегодня происходит новая революция – мост между человеческой креативностью и машинными вычислениями. Это Генеративный ИИ.

Генеративные модели стерли границу между людьми и машинами. С появлением моделей như GPT-4, которые используют модули трансформеров, мы сделали шаг ближе к естественному и контекстно-богатому языковому поколению. Эти достижения привели к применению в создании документов, диалоговых систем чат-ботов и даже синтетическом музыкальном композиционном.

Недавние решения Big-Tech подчеркивают его значимость. Microsoft (MSFT ) уже прекращает работу над приложением Cortana в этом месяце, чтобы отдать приоритет новым инновациям Генеративного ИИ, таким как Bing Chat. Apple (AAPL ) также выделила значительную часть своего $22,6 миллиарда бюджета на исследования и разработки на генеративный ИИ, как указал генеральный директор Тим Кук.

Новая Эра Моделей: Генеративные Против Дискриминативных

История Генеративного ИИ не только о его применении, но и о его внутренней работе. В экосистеме искусственного интеллекта существуют две модели: дискриминативные и генеративные.

Дискриминативные модели – это то, с чем большинство людей сталкиваются в повседневной жизни. Эти алгоритмы принимают входные данные, такие как текст или изображение, и сопоставляют их с целевым выходом, таким как перевод слова или медицинский диагноз. Они связаны с сопоставлением и прогнозированием.

Генеративные модели, с другой стороны, являются создателями. Они не только интерпретируют или прогнозируют, но и генерируют новые, сложные выходы из векторов чисел, которые часто не связаны с реальными значениями.

Технологии за Генеративными Моделями

Генеративные модели обязаны своим существованием глубоким нейронным сетям, сложным структурам, предназначенным для имитации функциональности человеческого мозга. Захватывая и обрабатывая многогранные вариации данных, эти сети служат основой для многих генеративных моделей.

Как эти генеративные модели оживляют? Обычно они строятся с помощью глубоких нейронных сетей, оптимизированных для захвата многогранных вариаций в данных. Примером является Генеративная Соперничающая Сеть (GAN), где две нейронные сети, генератор и дискриминатор, соревнуются и учатся друг у друга в уникальных отношениях учителя и ученика. От живописи до стильного переноса, от музыкального композиционного до игрового, эти модели развиваются и расширяются способами, ранее немыслимыми.

Это не останавливается на GAN. Вариационные Автоэнкодеры (VAE) – еще один ключевой игрок в поле генеративных моделей. VAE выделяются своей способностью создавать фотореалистичные изображения из казалось бы случайных чисел. Как? Обработка этих чисел через潜在ный вектор рождает искусство, отражающее сложности человеческой эстетики.

Типы Генеративного ИИ: Текст в Текст, Текст в Изображение

Трансформеры и Большие Языковые Модели

Статья “Внимание – все, что вам нужно” от Google (GOOGL ) Brain ознаменовала сдвиг в том, как мы думаем о текстовом моделировании. Вместо сложных и последовательных архитектур, таких как рекуррентные нейронные сети (RNN) или свёрточные нейронные сети (CNN), модель Трансформера ввела понятие внимания, которое означало сосредоточение внимания на разных частях входного текста в зависимости от контекста. Одним из основных преимуществ было облегчение параллелизации. В отличие от RNN, которые обрабатывают текст последовательно, что делает их более трудными для масштабирования, Трансформеры могут обрабатывать части текста одновременно, что делает обучение быстрее и более эффективным на больших наборах данных.

В длинном тексте не каждое слово или предложение, которое вы читаете, имеет одинаковое значение. Некоторые части требуют больше внимания на основе контекста. Эта способность сдвигать наше внимание на основе актуальности – это то, что механизм внимания имитирует.

Чтобы понять это, подумайте о предложении: “Unite AI публикует новости об ИИ и робототехнике.” Предсказание следующего слова требует понимания того, что имеет наибольшее значение в предыдущем контексте. Термин “робототехника” может предположить, что следующее слово может быть связано с конкретным достижением или событием в области робототехники, в то время как “публикует” может указывать на то, что следующий контекст может углубиться в недавнюю публикацию или статью.

Механизмы внимания в Трансформерах предназначены для достижения этого избирательного внимания. Они оценивают важность разных частей входного текста и решают, где “смотреть”, когда генерируют ответ. Это отход от старых архитектур, таких как RNN, которые пытались втиснуть суть всего входного текста в один “состояние” или “память”.

Работа внимания может быть сравнена с системой извлечения ключ-значение. При попытке предсказать следующее слово в предложении каждое предыдущее слово предлагает “ключ”, предполагающий его потенциальную актуальность, и на основе того, насколько хорошо эти ключи соответствуют текущему контексту (или запросу), они вносят вклад в “значение” или вес в предсказании.

Эти передовые модели глубокого обучения ИИ безупречно интегрировались в различные приложения, от улучшений поисковой системы Google с помощью BERT до GitHub Copilot, который использует возможности Больших Языковых Моделей (LLM) для преобразования простых кодовых фрагментов в полностью функциональные исходные коды.

Большие Языковые Модели (LLM), такие как GPT-4, Bard и LLaMA, – это колоссальные конструкции, предназначенные для расшифровки и генерации человеческого языка, кода и многого другого. Их огромный размер, варьирующийся от миллиардов до триллионов параметров, – одна из определяющих особенностей. Эти LLM обучаются на огромных объемах текстовых данных, что позволяет им понять нюансы человеческого языка. Одной из поразительных характеристик этих моделей является их способность к “немногим выстрелам” обучения. В отличие от традиционных моделей, которым требуются огромные объемы конкретных обучающих данных, LLM могут обобщать из очень ограниченного количества примеров (или “выстрелов”).

Состояние Больших Языковых Моделей (LLM) на конец лета 2023

Как Используются LLM?

LLM можно использовать несколькими способами, включая:

1. Прямое использование: Просто использовать предварительно обученную LLM для генерации текста или обработки. Например, использование GPT-4 для написания статьи без дополнительной настройки.
2. Настройка: Адаптация предварительно обученной LLM для конкретной задачи, метод, известный как перенос обучения. Например, настройка T5 для генерации резюме для документов в конкретной отрасли.
3. Извлечение информации: Использование LLM, таких как BERT или GPT, в составе более крупных архитектур для разработки систем, которые могут извлекать и категоризировать информацию.

Мультиголовое Внимание: Почему Один, Когда Можно Иметь Много?

Однако полагаться на один механизм внимания может быть ограничивающим. Разные слова или последовательности в тексте могут иметь разные типы актуальности или ассоциаций. Вот где вступает в силу мультиголовое внимание. Вместо одного набора весов внимания мультиголовое внимание использует несколько наборов, что позволяет модели захватить более богатое разнообразие отношений в входном тексте. Каждая “голова” внимания может сосредоточиться на разных частях или аспектах входного текста, и их объединенные знания используются для окончательного предсказания.

Чат-GPT: Самый Популярный Инструмент Генеративного ИИ

Начиная с создания GPT в 2018 году, модель была построена на основе 12 слоев, 12 голов внимания и 120 миллионов параметров, в основном обученных на наборе данных BookCorpus. Это был впечатляющий старт, предлагающий взгляд в будущее языковых моделей.

GPT-2, представленный в 2019 году, имел четырехкратное увеличение слоев и голов внимания. Значительно, его количество параметров взлетело до 1,5 миллиарда. Эта улучшенная версия была обучена на наборе данных WebText, обогащенном 40 ГБ текста из различных ссылок на Reddit.

GPT-3, запущенный в мае 2020 года, имел 96 слоев, 96 голов внимания и огромное количество параметров – 175 миллиардов. То, что отличало GPT-3, было его разнообразное обучающее данные, включающее CommonCrawl, WebText, английскую Википедию, корпуса книг и другие источники, в сумме составляющие 570 ГБ.

Нюансы работы Чат-GPT остаются тщательно охраняемой тайной. Однако процесс, называемый “усиление обучения с обратной связью человека” (RLHF), известен как ключевой. Происходящий из раннего проекта Чат-GPT, эта техника была инструментальной в совершенствовании модели GPT-3.5, чтобы сделать ее более соответствующей письменным инструкциям.

Обучение Чат-GPT включает в себя трехступенчатый подход:

1. Настройка с учителем: Включает в себя курирование человеческих письменных входных и выходных данных для уточнения базовой модели GPT-3.5.
2. Моделирование вознаграждения: Люди ранжируют различные выходы модели на основе качества, помогая обучить модель вознаграждения, которая оценивает каждый выход, учитывая контекст разговора.
3. Усиление обучения: Контекст разговора служит фоном, где базовая модель предлагает ответ. Этот ответ оценивается моделью вознаграждения, и процесс оптимизируется с помощью алгоритма, называемого проксимальной политикой оптимизации (PPO).

Для тех, кто только начинает работать с Чат-GPT, полное руководство по началу можно найти здесь. Если вы хотите глубже погрузиться в инженерию подсказок с Чат-GPT, у нас также есть расширенное руководство, освещающее последние и самые передовые методы подсказок, доступное на ‘Чат-GPT и Расширенная Инженерия Подсказок: Двигая Эволюцию ИИ‘.

Диффузия и Мультимодальные Модели

Хотя модели, такие как VAE и GAN, генерируют свои выходы через один проход, а значит, застревают в том, что они производят, диффузионные модели ввели понятие “итеративного уточнения”. Через этот метод они возвращаются, уточняя ошибки из предыдущих шагов, и постепенно производят более отполированный результат.

Центральным для диффузионных моделей является искусство “коррупции” и “уточнения”. На этапе обучения типичное изображение прогрессивно коррумпируется добавлением различных уровней шума. Эта шумная версия затем подается в модель, которая пытается “деноизить” или “декоррумпировать” ее. Через несколько раундов этого процесса модель становится умелой в восстановлении, понимая как тонкие, так и значительные отклонения.

Процесс генерации новых изображений после обучения интригует. Начиная с полностью случайного входа, он постоянно уточняется с помощью прогнозов модели. Цель – достичь идеального изображения с минимальным количеством шагов. Уровень коррупции контролируется через “график шума”, механизм, регулирующий, сколько шума применяется на разных этапах. Планировщик, как в библиотеках, таких как “diffusers“, диктует характер этих шумных версий на основе установленных алгоритмов.

Необходимой архитектурной основой для многих диффузионных моделей является U-Net – свёрточная нейронная сеть, предназначенная для задач, требующих выходов, отражающих пространственную размерность входов. Это смесь слоев понижения и повышения разрешения, интригантно связанных для сохранения высокоразрешающих данных, что является важным для выходов, связанных с изображениями.

Погружаясь глубже в область генеративных моделей, DALL-E 2 от OpenAI выделяется как блестящий пример слияния текстовых и визуальных возможностей ИИ. Он использует трехступенчатую структуру:

DALL-E 2 демонстрирует трехслойную архитектуру:

1. Текстовый Кодировщик: Преобразует текстовую подсказку в концептуальное вложение в潜атном пространстве. Эта модель не начинается с нуля. Она опирается на набор данных Contrastive Language–Image Pre-training (CLIP) от OpenAI в качестве основы. CLIP служит мостом между визуальными и текстовыми данными, изучая визуальные понятия с помощью естественного языка. Через механизм, называемый контрастным обучением, он идентифицирует и сопоставляет изображения с их соответствующими текстовыми описаниями.
2. Приор: Текстовое вложение, полученное из кодировщика, затем преобразуется в изображение-вложение. DALL-E 2 протестировал как автoregressive, так и диффузионные методы для этой задачи, с последним, показавшим лучшие результаты. Авторегрессивные модели, как в Трансформерах и PixelCNN, генерируют выходы в последовательности. С другой стороны, диффузионные модели, как та, что используется в DALL-E 2, преобразуют случайный шум в предсказанные изображение-вложения с помощью текстовых вложений.
3. Декодировщик: Кульминация процесса, эта часть генерирует окончательный визуальный выход на основе текстовой подсказки и изображение-вложения из предыдущей фазы. Декодировщик DALL-E 2 обязан своей архитектурой другой модели, GLIDE, которая также может производить реалистичные изображения из текстовых подсказок.

Пользователи Python, интересующиеся Langchain, должны проверить наш подробный учебник, охватывающий все, от основ до передовых методов.

Применения Генеративного ИИ

Текстовые Домены

Начиная с текста, Генеративный ИИ фундаментально изменился с появлением чат-ботов, таких как Чат-GPT. Полагаясь сильно на Обработку Естественного Языка (NLP) и большие языковые модели (LLM), эти сущности способны выполнять задачи, варьирующиеся от генерации кода и перевода языка до суммирования и анализа настроений. Чат-GPT, например, увидел широкое внедрение, став основой для миллионов. Это еще больше усиливается платформами разговорного ИИ, основанными на LLM, таких как GPT-4, PaLM и BLOOM, которые без усилий производят текст, помогают в программировании и даже предлагают математическое рассуждение.

С коммерческой точки зрения эти модели становятся бесценными. Бизнесы используют их для множества операций, включая управление рисками, оптимизацию запасов и прогнозирование спроса. Некоторые заметные примеры включают Bing AI, Google’s BARD и Чат-GPT API.

Искусство

Мир изображений увидел драматические трансформации с Генеративным ИИ, особенно с момента введения DALL-E 2 в 2022 году. Эта технология, способная генерировать изображения из текстовых подсказок, имеет как художественные, так и профессиональные последствия. Например, Midjourney использовал эту технологию для производства впечатляюще реалистичных изображений. Этот недавний пост демистифицирует Midjourney в подробном руководстве, освещая как платформу, так и нюансы инженерии подсказок. Кроме того, платформы, такие как Alpaca AI и Photoroom AI, используют Генеративный ИИ для продвинутых функций редактирования изображений, таких как удаление фона, удаление объектов и даже восстановление лица.

Видеопроизводство

Видеопроизводство, хотя и все еще находится в зачаточном состоянии в области Генеративного ИИ, демонстрирует перспективные достижения. Платформы, такие как Imagen Video, Meta Make A Video и Runway Gen-2, расширяют границы того, что возможно, даже если действительно реалистичные выходы все еще находятся на горизонте. Эти модели предлагают значительную полезность для создания цифровых видеороликов с человеческим участием, с такими приложениями, как Synthesia и SuperCreator, возглавляющими атаку. Заметно, что Tavus AI предлагает уникальную ценность, персонализируя видео для отдельных членов аудитории, что является благом для бизнеса.

Создание Кодов

Кодирование, неотъемлемая часть нашего цифрового мира, не осталось без внимания Генеративного ИИ. Хотя Чат-GPT является любимым инструментом, несколько других приложений ИИ были разработаны для целей кодирования. Эти платформы, такие как GitHub Copilot, Alphacode и CodeComplete, служат помощниками по кодированию и даже могут производить код из текстовых подсказок. Что интригует, так это адаптируемость этих инструментов. Codex, движущая сила GitHub Copilot, может быть адаптирована к стилю кодирования отдельного человека, подчеркивая потенциал персонализации Генеративного ИИ.

С инструментами, такими как Чат-GPT, становящимися более доступными, сейчас идеальное время, чтобы проверить воды и экспериментировать. Будь вы художником, кодером или энтузиастом технологий, область Генеративного ИИ полна возможностей, ожидая своего исследования. Революция не на горизонте; она здесь и сейчас. Итак, нырните!