Раскрытие Больших Мультимодальных Моделей: Формирование Ландшафта Моделей Языка в 2024 году

Когда мы переживаем мир, наши чувства (зрение, звуки, запахи) предоставляют разнообразную информацию, и мы выражаем себя, используя различные методы общения, такие как мимика и жесты. Эти чувства и методы общения коллективно называются модальностями, представляющими различные способы, которыми мы воспринимаем и общаемся. Вдохновляясь этой человеческой способностью, большие мультимодальные модели (БММ), сочетание генеративных и мультимодальных ИИ, разрабатываются для понимания и создания контента, используя различные типы, такие как текст, изображения и аудио. В этой статье мы углубляемся в это новое, возникающее поле, исследуя, что такое БММ, как они строятся, существующие примеры, проблемы, с которыми они сталкиваются, и потенциальные применения.

Эволюция Генеративного ИИ в 2024 году: От Больших Моделей Языка к Большим Мультимодальным Моделям

В своем последнем отчете McKinsey назначил 2023 год как прорывной год для генеративного ИИ, что привело к многочисленным достижениям в этой области. Мы стали свидетелями заметного роста распространения больших моделей языка (БМЯ), способных понимать и генерировать человеческий язык. Кроме того, модели генерации изображений значительно эволюционировали, демонстрируя свою способность создавать визуальные образы из текстовых подсказок. Однако, несмотря на значительный прогресс в отдельных модальностях, таких как текст, изображения или аудио, генеративный ИИ столкнулся с проблемами в безшовном объединении этих модальностей в процессе генерации. Поскольку мир по своей природе мультимодален, важно, чтобы ИИ справился с мультимодальной информацией. Это необходимо для осмысленного взаимодействия с людьми и успешной работы в реальных сценариях.

Следовательно, многие исследователи ИИ предсказывают рост БММ как следующий рубеж в исследованиях и разработке ИИ в 2024 году. Этот развивающийся рубеж фокусируется на улучшении способности генеративного ИИ обрабатывать и производить разнообразные выходы, охватывающие текст, изображения, аудио, видео и другие модальности. Важно подчеркнуть, что не все мультимодальные системы квалифицируются как БММ. Модели, такие как Midjourney и Stable Diffusion, несмотря на то, что они мультимодальны, не подходят под категорию БММ в основном потому, что они не имеют БМЯ, которые являются фундаментальным компонентом БММ. Другими словами, мы можем описать БММ как расширение БМЯ, предоставляющее им возможность профессионально обрабатывать различные модальности.

Как работают БММ?

Хотя исследователи изучали различные подходы к построению БММ, они обычно включают три основных компонента и операции. Во-первых, используются кодировщики для каждой модальности данных для генерации представлений данных (называемых вложениями) для этой модальности. Во-вторых, используются различные механизмы для выравнивания вложений из разных модальностей в едином мультимодальном пространстве вложений. В-третьих, для генеративных моделей используется БМЯ для генерации текстовых ответов. Поскольку входные данные могут состоять из текста, изображений, видео и аудио, исследователи работают над новыми способами сделать языковые модели учитывать разные модальности при ответах.

Разработка БММ в 2023 году

Ниже я кратко изложил некоторые заметные БММ, разработанные в 2023 году.

• LLaVA – это открытая БММ, разработанная совместно Университетом Висконсин-Мэдисон, Microsoft (MSFT ) Research и Колумбийским университетом. Модель направлена на предоставление открытой версии мультимодальной GPT4. Используя Meta’s Llama LLM, она включает в себя CLIP визуальный кодировщик для прочного визуального понимания. Вариант LLaVA, ориентированный на здравоохранение, называемый LLaVA-Med, может отвечать на вопросы, связанные с биомедицинскими изображениями.
• ImageBind – это открытая модель, разработанная Meta, имитирующая способность человеческого восприятия связывать мультимодальные данные. Модель интегрирует шесть модальностей – текст, изображения/видео, аудио, 3D-измерения, температуру и движение – обучая единое представление этих разнообразных типов данных. ImageBind может связать объекты на фотографиях с атрибутами, такими как звук, 3D-формы, температура и движение. Модель может быть использована, например, для генерации сцены из текста или звуков.
• SeamlessM4T – это мультимодальная модель, разработанная Meta для содействия общению между многоязычными сообществами. SeamlessM4T excels в задачах перевода и транскрипции, поддерживая речь-к-речи, речь-к-тексту, текст-к-речи и текст-к-тексту переводы. Модель использует нерекурсивный декодер текста в единицы для выполнения этих переводов. Улучшенная версия, SeamlessM4T v2, служит основой для моделей, таких как SeamlessExpressive и SeamlessStreaming, подчеркивая сохранение выражения на разных языках и доставку переводов с минимальной задержкой.
• GPT4, запущенный OpenAI, – это развитие его предшественника, GPT3.5. Хотя подробные архитектурные детали не полностью раскрыты, GPT4 хорошо известен своей плавной интеграцией текстовых, визуальных и аудио-моделей. Модель может генерировать текст из как письменных, так и графических входных данных. Она excels в различных задачах, включая юмористическое описание изображений, суммирование текста из скриншотов и адекватные ответы на экзаменационные вопросы с диаграммами. GPT4 также признан за свою адаптивность в эффективной обработке широкого спектра форматов входных данных.
• Gemini, созданная Google DeepMind, отличается тем, что является внутренне мультимодальной, позволяя безшовное взаимодействие между различными задачами без необходимости вшиваться в отдельные компоненты. Эта модель легко управляет как текстом, так и различными аудио-визуальными входными данными, демонстрируя свою способность генерировать выходные данные как в текстовом, так и в графическом форматах.

Проблемы Больших Мультимодальных Моделей

• Включение большего количества модальностей: Большинство существующих БММ работают с текстом и изображениями. Однако БММ необходимо развиваться за пределы текста и изображений, включая модальности, такие как видео, музыка и 3D.
• Разнообразие наборов данных: Одна из ключевых проблем в разработке и обучении мультимодальных генеративных моделей ИИ – это необходимость в больших и разнообразных наборах данных, включающих несколько модальностей. Например, для обучения модели генерировать текст и изображения вместе набор данных должен включать как текстовые, так и изображения, связанные друг с другом.
• Генерация мультимодальных выходов: Хотя БММ могут обрабатывать мультимодальные входные данные, генерация разнообразных выходов, таких как объединение текста с графикой или анимацией, остается проблемой.
• Следование инструкциям: БММ сталкиваются с проблемой освоения диалога и выполнения инструкций, выходя за рамки простого завершения.
• Мультимодальное рассуждение: Хотя текущие БММ отлично справляются с преобразованием одной модальности в другую, безшовное объединение мультимодальных данных для сложных задач рассуждения, таких как решение письменных задач на основе слуховых инструкций, остается сложной задачей.
• Сжатие БММ: Ресурсоемкий характер БММ представляет значительную проблему, делая их непригодными для устройств с ограниченными вычислительными ресурсами. Сжатие БММ для повышения эффективности и их пригодности для развертывания на устройствах с ограниченными ресурсами является важной областью текущих исследований.

Потенциальные случаи использования

• Образование: БММ имеют потенциал трансформировать образование, генерируя разнообразные и увлекательные образовательные материалы, объединяющие текст, изображения и аудио. БММ предоставляют всестороннюю обратную связь по заданиям, содействуют совместным платформам обучения и улучшают развитие навыков через интерактивные симуляции и реальные примеры.
• Здравоохранение: В отличие от традиционных систем ИИ-диагностики, ориентированных на одну модальность, БММ улучшают медицинскую диагностику, интегрируя несколько модальностей. Они также поддерживают общение через языковые барьеры между медицинскими работниками и пациентами, выступая в качестве централизованного хранилища для различных приложений ИИ внутри больниц.
• Генерация искусства и музыки: БММ могут отлично справиться с созданием искусства и музыки, объединяя разные модальности для уникальных и выразительных выходов. Например, модель искусства БММ может объединить визуальные и слуховые элементы, предоставляя иммерсивный опыт. Аналогично, модель музыки БММ может интегрировать инструментальные и вокальные элементы, в результате чего получаются динамичные и выразительные композиции.
• Персонализированные рекомендации: БММ могут анализировать предпочтения пользователей в различных модальностях, чтобы предоставить персонализированные рекомендации для потребления контента, такого как фильмы, музыка, статьи или продукты.

• Прогнозирование погоды и мониторинг окружающей среды: БММ могут анализировать различные модальности данных, такие как спутниковые изображения, атмосферные условия и исторические закономерности, для улучшения точности прогнозирования погоды и мониторинга окружающей среды.

Итог

Ландшафт Больших Мультимодальных Моделей (БММ) представляет собой значительный прорыв в генеративном ИИ, обещающий достижения в различных областях. Поскольку эти модели безшовно интегрируют разные модальности, такие как текст, изображения и аудио, их разработка открывает двери к трансформационным применениям в здравоохранении, образовании, искусстве и персонализированных рекомендациях. Однако проблемы, включая включение большего количества модальностей и сжатие ресурсоемких моделей, подчеркивают необходимость продолжения исследований для полной реализации потенциала БММ.