Приблизит ли GPT-4 нас к настоящей революции ИИ?

Прошло почти три года с тех пор, как GPT-3 был представлен в мае 2020 года. С тех пор модель генерации текста ИИ вызвала большой интерес благодаря своей способности создавать текст, который выглядит и звучит так, как будто он был написан человеком. Теперь похоже, что следующая итерация программного обеспечения, GPT-4, не за горами, а ориентировочная дата выпуска — где-то в начале 2023 года.

Несмотря на долгожданный характер этой новости об искусственном интеллекте, точные подробности о GPT-4 довольно отрывочны. OpenAI, компания, разработавшая GPT-4, не раскрыла публично много информации о новой модели, например о ее функциях или возможностях. Тем не менее, недавние достижения в области искусственного интеллекта, особенно в области обработки естественного языка (NLP), могут дать некоторые подсказки о том, чего нам следует ожидать от GPT-4.

Что такое ГПТ?

Прежде чем вдаваться в подробности, полезно сначала установить базовый уровень того, что такое GPT. GPT расшифровывается как Generative Pre-trained Transformer и относится к модели нейронной сети с глубоким обучением, которая обучается на данных, доступных из Интернета, для создания больших объемов машинно-генерируемого текста. GPT-3 — это третье поколение этой технологии и одна из самых передовых моделей генерации текста ИИ, доступных в настоящее время.

Думайте о GPT-3 как о голосовых помощниках, таких как Siri или Alexa, только в гораздо большем масштабе. Вместо того, чтобы просить Alexa включить вашу любимую песню или заставить Siri напечатать ваш текст, вы можете попросить GPT-3 написать всю электронную книгу всего за несколько минут или сгенерировать 100 идей для публикации в социальных сетях менее чем за минуту. Все, что нужно сделать пользователю, — это дать подсказку, например: «Напишите мне статью на 500 слов о важности творчества». Пока приглашение четкое и конкретное, GPT-3 может написать практически все, что вы попросите.

С момента своего выпуска для широкой публики GPT-3 нашел множество бизнес-приложений. Компании используют его для суммирования текста, языкового перевода, генерации кода и крупномасштабной автоматизации практически любых задач по написанию текстов.

Тем не менее, хотя GPT-3, несомненно, впечатляет своей способностью создавать легко читаемый текст, похожий на человеческий, он далек от совершенства. Проблемы, как правило, возникают при написании более длинных текстов, особенно когда речь идёт о сложных темах, требующих глубокого понимания. Например, запрос на генерацию кода для веб-сайта может вернуть корректный, но неоптимальный код, поэтому программисту всё равно придётся вносить улучшения. Аналогичная проблема наблюдается и с большими текстовыми документами: чем больше объём текста, тем выше вероятность возникновения ошибок, порой довольно забавных, которые необходимо исправить.

Проще говоря, GPT-3 не является полной заменой людям-писателям или программистам, и ее не следует рассматривать как таковую. Вместо этого GPT-3 следует рассматривать как помощника по написанию, который может сэкономить людям много времени, когда им нужно генерировать идеи для постов в блоге или черновые наброски для рекламных текстов или пресс-релизов.

Больше параметров = лучше?

Одна вещь, которую нужно понять о моделях ИИ, — это то, как они используют параметры для прогнозирования. Параметры модели ИИ определяют процесс обучения и обеспечивают структуру выходных данных. Количество параметров в модели ИИ обычно используется в качестве меры производительности. Чем больше параметров, тем мощнее, плавнее и предсказуемее модель, по крайней мере, по масштабная гипотеза.

Например, когда GPT-1 был выпущен в 2018 году, у него было 117 миллионов параметров. GPT-2, выпущенный годом позже, имел 1.2 миллиарда параметров, а GPT-3 увеличил это число до 175 миллиардов параметров. Согласно интервью в августе 2021 г. Проводная, Эндрю Фельдман, основатель и генеральный директор Cerebras, компании, которая сотрудничает с OpenAI, упомянул, что GPT-4 будет иметь около 100 триллионов параметров. Это сделало бы GPT-4 в 100 раз более мощным, чем GPT-3, что является квантовым скачком в размере параметров, который, по понятным причинам, очень взволновал многих людей.

Однако, несмотря на амбициозное заявление Фельдмана, есть веские основания полагать, что GPT-4 на самом деле не будет иметь 100 триллионов параметров. Чем больше параметров, тем дороже обучение и настройка модели из-за огромных вычислительных мощностей, необходимых для этого.

Кроме того, существует больше факторов, чем просто количество параметров, определяющих эффективность модели. Возьмем, к примеру Мегатрон-Тьюринг NLG, модель генерации текста, созданная Nvidia и Microsoft, которая имеет более 500 миллиардов параметров. Несмотря на свои размеры, MT-NLG не приближается к GPT-3 по производительности. Короче говоря, больше не обязательно означает лучше.

Скорее всего, у GPT-4 действительно будет больше параметров, чем у GPT-3, но пока неясно, будет ли это число на порядок больше. OpenAI, вероятно, разрабатывает другие интересные возможности, например, более компактную модель, ориентированную на качественные улучшения в разработке и согласовании алгоритмов. Точный эффект таких улучшений сложно предсказать, но известно, что разреженная модель может снизить вычислительные затраты благодаря так называемым условным вычислениям, то есть не все параметры в модели ИИ будут активироваться постоянно, что аналогично работе нейронов в человеческом мозге.

Итак, что сможет сделать GPT-4?

Пока OpenAI не сделает нового заявления или не выпустит GPT-4, нам остаётся только гадать, чем он будет отличаться от GPT-3. Тем не менее, мы можем сделать некоторые прогнозы.

Хотя будущее развития глубокого обучения ИИ мультимодально, GPT-4, скорее всего, останется только текстовым. Мы, люди, живем в мультисенсорном мире, наполненном различными звуковыми, визуальными и текстовыми данными. Поэтому неизбежно, что разработка ИИ в конечном итоге приведет к созданию мультимодальной модели, которая может включать в себя различные входные данные.

Однако разработать хорошую мультимодальную модель значительно сложнее, чем текстовую модель. Технологии просто еще нет, и, основываясь на том, что мы знаем об ограничениях на размер параметра, вполне вероятно, что OpenAI сосредоточен на расширении и улучшении текстовой модели.

Также вероятно, что GPT-4 будет меньше зависеть от точных подсказок. Одним из недостатков GPT-3 является то, что текстовые подсказки должны быть тщательно написаны, чтобы получить желаемый результат. Когда подсказки написаны неаккуратно, вы можете получить неправдивые, токсичные или даже экстремистские взгляды. Это часть того, что известно как «проблема выравнивания», и она относится к проблемам создания модели ИИ, которая полностью понимает намерения пользователя. Другими словами, модель ИИ не соответствует целям или намерениям пользователя. Поскольку модели ИИ обучаются с использованием текстовых наборов данных из Интернета, человеческие предубеждения, ложь и предубеждения очень легко проникают в текстовые выходные данные.

Тем не менее, есть веские основания полагать, что разработчики добились прогресса в решении проблемы выравнивания. Этот оптимизм связан с некоторыми прорывами в разработке InstructGPT, более продвинутой версии GPT-3, которая обучается на обратной связи с человеком, чтобы более точно следовать инструкциям и намерениям пользователя. Судьи-люди обнаружили, что InstructGPT гораздо меньше зависел от хороших подсказок, чем GPT-3.

Однако следует отметить, что эти тесты проводились только с сотрудниками OpenAI — довольно однородной группой, которая, возможно, не сильно различается по полу, религиозным или политическим взглядам. Можно с уверенностью предположить, что GPT-4 будет проходить более разнообразное обучение, что повысит согласованность действий разных групп, хотя пока неясно, в какой степени.

Заменит ли GPT-4 человека?

Несмотря на обещания GPT-4, маловероятно, что он полностью заменит потребность в человеческих писателях и программистах. Предстоит еще много работы: от оптимизации параметров до многомодальности и согласования. Может пройти много лет, прежде чем мы увидим генератор текста, который сможет достичь истинно человеческого понимания сложностей и нюансов реального жизненного опыта.

Тем не менее, есть веские причины радоваться появлению GPT-4. Оптимизация параметров, а не просто рост параметров, скорее всего, приведет к созданию модели ИИ, обладающей гораздо большей вычислительной мощностью, чем ее предшественница. А улучшенное выравнивание, скорее всего, сделает GPT-4 гораздо более удобным для пользователя.

Кроме того, мы все еще только в начале разработки и внедрения инструментов ИИ. Постоянно обнаруживаются новые варианты использования этой технологии, и по мере того, как люди приобретают все больше доверия и комфорта при использовании ИИ на рабочем месте, почти наверняка мы увидим широкое внедрение инструментов ИИ практически во всех секторах бизнеса в ближайшие годы.