Битва открытых и закрытых языковых моделей: Технический анализ

Большие языковые модели (LLM) в последние годы захватили сообщество искусственного интеллекта, обеспечив прорывы в обработке естественного языка. За ажиотажем лежит сложный спор – должны ли эти мощные модели быть открытыми или закрытыми?

В этом посте мы проанализируем технические различия между этими подходами, чтобы понять возможности и ограничения, которые каждый из них представляет. Мы рассмотрим следующие ключевые аспекты:

• Определение открытых и закрытых LLM
• Архитектурная прозрачность и настраиваемость
• Бенчмаркинг производительности
• Вычислительные требования
• Применяемость
• Доступность и лицензирование
• Конфиденциальность данных
• Коммерческая поддержка

К концу этого поста у вас будет информированная перспектива на технические компромиссы между открытыми и закрытыми LLM, чтобы руководить вашей собственной стратегией ИИ. Давайте углубимся!

Определение открытых и закрытых LLM

Открытые LLM имеют публично доступные архитектуры моделей, исходный код и весовые параметры. Это позволяет исследователям проверять внутреннюю структуру, оценивать качество, воспроизводить результаты и создавать пользовательские варианты. Примерами являются ConstitutionalAI от Anthropic, LLaMA от Meta и GPT-NeoX от EleutherAI.

Напротив, закрытые LLM рассматривают архитектуру модели и веса как собственные активы. Коммерческие сущности, такие как Anthropic, DeepMind и OpenAI, разрабатывают их внутренне. Без доступного кода или подробностей о конструкции воспроизводимость и настраиваемость сталкиваются с ограничениями.

Архитектурная прозрачность и настраиваемость

Доступ к внутренней структуре открытых LLM открывает возможности для настройки, которые просто невозможны с закрытыми альтернативами.

Изменяя архитектуру модели, исследователи могут изучать методы, такие как введение разреженной связи между слоями или добавление специальных токенов классификации для улучшения производительности на специфических задачах. С доступом к весовым параметрам разработчики могут передавать обученные представления или инициализировать варианты с предварительно обученными блоками, такими как T5 и BERT-эмбеддинги.

Эта настраиваемость позволяет открытым LLM лучше обслуживать специализированные области, такие как биомедицинские исследования, генерация кода и образование. Однако экспертиза, необходимая для этого, может повысить барьер для создания качественных реализаций.

Закрытые LLM предлагают ограниченную настраиваемость, поскольку их технические детали остаются собственными. Однако их сторонники выделяют обширные ресурсы на внутренние исследования и разработки. Результатом становятся системы, которые расширяют границы того, что возможно с общей архитектурой LLM.

Таким образом, хотя они менее гибкие, закрытые LLM отлично справляются с широко применимыми задачами обработки естественного языка. Они также упрощают интеграцию, соответствуя установленным интерфейсам, таким как стандарт OpenAPI.

Бенчмаркинг производительности

Несмотря на архитектурную прозрачность, измерение производительности открытых LLM представляет проблемы. Их гибкость позволяет бесчисленное количество возможных конфигураций и стратегий настройки. Это также позволяет моделям, помеченным как “открытые”, фактически включать собственные методы, которые искажают сравнения.

Закрытые LLM характеризуются более четко определёнными целевыми показателями производительности, поскольку их разработчики тестируют и рекламируют конкретные пороговые значения метрик. Например, Anthropic публикует точность ConstitutionalAI на отобранных наборах задач NLU. Microsoft подчеркивает, как GPT-4 превосходит человеческие базовые показатели на инструментарии SuperGLUE для понимания языка.

Однако эти узко определенные бенчмарки подвергались критике за завышение производительности на реальных задачах и занижение количества неудач. Объективная оценка LLM остается открытой исследовательской проблемой – как для открытых, так и для закрытых подходов.

Вычислительные требования

Обучение больших языковых моделей требует обширных вычислительных ресурсов. OpenAI потратила миллионы на обучение GPT-3 на облачной инфраструктуре, в то время как Anthropic потребовала более 10 миллионов долларов стоимости GPU для ConstitutionalAI.

Стоимость таких моделей исключает из процесса отдельных лиц и небольших команд из открытого сообщества. Фактически, EleutherAI пришлось удалить модель GPT-J из публичного доступа из-за взрывных затрат на хостинг.

Без глубоких карманов успехи открытых LLM полагаются на пожертвованные вычислительные ресурсы. LAION курировала свою технологически-ориентированную модель LAION-5B, используя краудсорсинговые данные. Проект ConstitutionalAI от Anthropic использовал добровольческий вычислительный ресурс.

Финансовая поддержка крупных технологических компаний, таких как Google, Meta и Baidu, обеспечивает закрытым разработкам необходимый финансовый импульс для индустриализации LLM. Это позволяет масштабироваться до уровней, недоступных для грантовых инициатив – как видно на примере модели Gopher от DeepMind с 280 миллиардами параметров.

Применяемость

Настраиваемость открытых LLM позволяет решать высокоспециализированные случаи использования. Исследователи могут агрессивно изменять внутреннюю структуру модели, чтобы повысить производительность на нишевых задачах, таких как предсказание структуры белков, генерация документации кода и проверка математических доказательств.

Однако возможность доступа и редактирования кода не гарантирует эффективное решение для конкретной области без правильных данных. Комплексные обучающие наборы данных для узких применений требуют значительных усилий для сбора и поддержания.

Здесь закрытые LLM выигрывают от ресурсов для получения обучающих данных из внутренних репозиториев и коммерческих партнеров. Например, DeepMind лицензирует базы данных, такие как ChEMBL для химии и UniProt для белков, чтобы расширить область применения. Промышленные масштабы доступа к данным позволяют моделям, таким как Gopher, достигать замечательной универсальности, несмотря на архитектурную непрозрачность.

Доступность и лицензирование

Перmissive лицензирование открытых LLM способствует бесплатному доступу и сотрудничеству. Модели, такие как GPT-NeoX, LLaMA и Jurassic-1 Jumbo, используют соглашения, такие как Creative Commons и Apache 2.0, чтобы разрешить некоммерческие исследования и честную коммерциализацию.

Напротив, закрытые LLM имеют ограничительные лицензии, которые ограничивают доступ к модели. Коммерческие сущности жестко контролируют доступ, чтобы защитить потенциальные потоки доходов от API прогнозирования и партнерств с предприятиями.

Понятно, что организации, такие как Anthropic и Cohere, взимают плату за доступ к интерфейсам ConstitutionalAI и Cohere-512. Однако это рискует сделать важные исследовательские области недоступными, смещая разработку в сторону хорошо финансируемых отраслей.

Открытая лицензия также представляет проблемы, особенно в отношении атрибуции и ответственности. Однако для исследовательских случаев свобода, предоставляемая открытой доступностью, предлагает явные преимущества.

Конфиденциальность данных

Обучающие наборы данных для LLM обычно агрегируют контент из различных онлайн-источников, таких как веб-страницы, научные статьи и форумы обсуждений. Это рискует раскрыть личную или конфиденциальную информацию в выходных данных модели.

Для открытых LLM проверка состава набора данных обеспечивает лучшую гарантию против проблем с конфиденциальностью. Оценка источников данных, фильтрационных процедур и документирование тревожных примеров, найденных во время тестирования, может помочь выявить уязвимости.

К сожалению, закрытые LLM исключают такую публичную проверку. Вместо этого потребители должны полагаться на строгость внутренних процессов проверки, основанных на объявленных политиках. Например, Azure Cognitive Services обещает фильтровать личные данные, в то время как Google указывает формальные обзоры конфиденциальности и маркировку данных.

В целом, открытые LLM позволяют более активно выявлять риски конфиденциальности в системах ИИ до того, как эти недостатки проявятся в масштабе. Закрытые альтернативы предлагают относительно ограниченную прозрачность в практиках обработки данных.

Коммерческая поддержка

Потенциал монетизации закрытых LLM стимулирует значительные коммерческие инвестиции в разработку и поддержку. Например, предвидя прибыльные доходы от своего портфеля Azure AI, Microsoft согласился на многомиллиардные партнерские соглашения с OpenAI вокруг моделей GPT.

Напротив, открытые LLM полагаются на волонтеров, выделяющих личное время для поддержки, или гранты, предоставляющие ограниченное финансирование. Этот дисбаланс ресурсов рискует продолжительностью и долгосрочностью открытых проектов.

Однако барьеры для коммерциализации также освобождают открытые сообщества, чтобы сосредоточиться на научном прогрессе над прибылью. И децентрализованная природа открытых экосистем смягчает зависимость от устойчивого интереса любого отдельного спонсора.

В конечном итоге каждый подход несет компромиссы вокруг ресурсов и стимулов. Закрытые LLM наслаждаются большей безопасностью финансирования, но концентрируют влияние. Открытые экосистемы способствуют разнообразию, но сталкиваются с повышенной неопределенностью.

Навигация по ландшафту открытых и закрытых LLM

Решение о выборе между открытыми или закрытыми LLM требует сопоставления приоритетов организации, таких как настраиваемость, доступность и масштабируемость, с возможностями модели.

Для исследователей и стартапов открытые LLM предоставляют больше контроля для настройки моделей для конкретных задач. Лицензирование также облегчает бесплатное обмен знаниями между сотрудниками. Однако бремя поиска обучающих данных и инфраструктуры может подорвать реальную жизнеспособность.

Напротив, закрытые LLM обещают значительные улучшения качества благодаря обильному финансированию и данным. Однако ограничения вокруг доступа и изменений ограничивают научную прозрачность, связывая развертывания с планами поставщиков.

На практике открытые стандарты вокруг спецификаций архитектуры, контрольных точек модели и оценочных данных могут помочь компенсировать недостатки обоих подходов. Общие основы, такие как Google’s Transformer или Oxford’s REALTO, улучшают воспроизводимость. Стандарты интероперабельности, такие как ONNX, позволяют смешивать компоненты из открытых и закрытых источников.

В конечном итоге то, что имеет значение, – это выбор правильного инструмента – открытого или закрытого – для работы. Коммерческие сущности, поддерживающие закрытые LLM, обладают неоспоримым влиянием. Но страсть и принципы открытых научных сообществ будут продолжать играть решающую роль в продвижении прогресса ИИ.