Приведет ли GPT-4 нас ближе к истинной революции ИИ?

Прошло почти три года с момента появления GPT-3 в мае 2020 года. С тех пор модель генерации текста ИИ привлекла большое внимание своей способностью создавать текст, похожий на написанный человеком. Теперь кажется, что следующая итерация программного обеспечения, GPT-4, уже не за горами, с предполагаемой датой выпуска в начале 2023 года.

Несмотря на высокую ожидаемость этой новости об ИИ, точные детали о GPT-4 были довольно скудными. OpenAI, компания, стоящая за GPT-4, не раскрыла публично много информации о новой модели, такой как ее функции или возможности. Тем не менее, недавние достижения в области ИИ, особенно в отношении обработки естественного языка (NLP), могут дать некоторые подсказки о том, чего можно ожидать от GPT-4.

Что такое GPT?

Прежде чем приступить к конкретике, полезно сначала установить базовый уровень того, что такое GPT. GPT означает Generative Pre-trained Transformer и относится к модели глубокого обучения нейронной сети, которая обучается на данных, доступных в Интернете, для создания больших объемов машинного текста. GPT-3 – это третье поколение этой технологии и является одной из самых передовых моделей генерации текста ИИ, доступных в настоящее время.

Представьте себе GPT-3 как работающий немного как голосовые помощники, такие как Siri или Alexa, только в гораздо большем масштабе. Вместо того, чтобы просить Alexa проиграть вашу любимую песню или иметь Siri набрать текст, вы можете попросить GPT-3 написать целую электронную книгу за несколько минут или сгенерировать 100 идей для постов в социальных сетях менее чем за минуту. Все, что нужно сделать пользователю, – это предоставить подсказку, например: “Напишите мне 500-словную статью об важности творчества”. Если подсказка ясна и конкретна, GPT-3 может написать几乎 все, о чем вы его попросите.

С момента выпуска GPT-3 для широкой публики оно нашло много деловых применений. Компании используют его для суммирования текста, перевода языка, генерации кода и автоматизации почти любой задачи написания текста.

Тем не менее, хотя GPT-3, безусловно, впечатляет своей способностью создавать очень читаемый текст, похожий на текст, написанный человеком, он далеко не идеален. Проблемы возникают, когда его просят написать более длинные произведения, особенно когда речь идет о сложных темах, требующих проницательности. Например, подсказка для генерации компьютерного кода для веб-сайта может вернуть правильный, но неоптимальный код, поэтому человеческий кодер все равно должен войти и улучшить его. Это аналогичная проблема с большими документами текста: чем больше объем текста, тем больше вероятность того, что возникнут ошибки – иногда смешные – которые необходимо исправить человеческому писателю.

Просто говоря, GPT-3 не является полной заменой человеческих писателей или кодеров и не должно рассматриваться как таковая. Вместо этого GPT-3 следует рассматривать как помощника в написании, который может сэкономить людям много времени, когда им нужно генерировать идеи для постов в блоге или грубые наброски для рекламного копирования или пресс-релизов.

Больше параметров = лучше?

Одно, что нужно понять об моделях ИИ, – это то, как они используют параметры для прогнозирования. Параметры модели ИИ определяют процесс обучения и предоставляют структуру для вывода. Количество параметров в модели ИИ обычно используется в качестве меры производительности. Чем больше параметров, тем более мощная, гладкая и предсказуемая модель, по крайней мере, согласно гипотезе масштабирования.

Например, когда GPT-1 был выпущен в 2018 году, он имел 117 миллионов параметров. GPT-2, выпущенный годом позже, имел 1,2 миллиарда параметров, в то время как GPT-3 увеличил количество еще больше до 175 миллиардов параметров. Согласно интервью августа 2021 года с Wired, Эндрю Фельдман, основатель и генеральный директор Cerebras, компании, которая сотрудничает с OpenAI, упомянул, что GPT-4 будет иметь около 100 триллионов параметров. Это сделало бы GPT-4 в 100 раз более мощным, чем GPT-3, квантовый скачок в размере параметра, который, понятно, сделал многих людей очень взволнованными.

Однако, несмотря на высокую заявку Фельдмана, есть хорошие причины полагать, что GPT-4 на самом деле не будет иметь 100 триллионов параметров. Чем больше количество параметров, тем более дорогостоящей становится модель для обучения и тонкой настройки из-за огромных объемов вычислительной мощности, необходимых для этого.

Плюс, есть более факторов, чем просто количество параметров, которые определяют эффективность модели. Возьмем, например, Megatron-Turing NLG, модель генерации текста, построенную Nvidia и Microsoft, которая имеет более 500 миллиардов параметров. Несмотря на свой размер, MT-NLG не приближается к GPT-3 в плане производительности. Короче говоря, больше не обязательно означает лучше.

Вероятно, GPT-4 действительно будет иметь больше параметров, чем GPT-3, но остается неизвестным, будет ли это число больше на порядок. Вместо этого есть другие интригующие возможности, которые OpenAI, вероятно, преследует, такие как более тонкая модель, которая фокусируется на качественных улучшениях в алгоритмическом дизайне и выравнивании. Точный эффект таких улучшений трудно предсказать, но то, что известно, – это то, что более тонкая модель может снизить вычислительные затраты за счет того, что называется условным вычислением, т. е. не все параметры в модели ИИ будут работать все время, что похоже на то, как работают нейроны в человеческом мозге.

Итак, что сможет сделать GPT-4?

До тех пор, пока OpenAI не выпустит новое заявление или даже выпустит GPT-4, мы остаемся гадать, как оно будет отличаться от GPT-3. Тем не менее, мы можем сделать некоторые прогнозы

Хотя будущее развития глубокого обучения ИИ многомодальное, GPT-4, вероятно, останется текстовым. Как люди, мы живем в многозначном мире, наполненном разными аудио-, визуальными и текстовыми входами. Следовательно, неизбежно, что развитие ИИ в конечном итоге произведет многомодальную модель, которая сможет включать разнообразные входы.

Однако хорошая многомодальная модель значительно более трудна в проектировании, чем текстовая модель. Технология просто еще не готова, и на основе того, что мы знаем о пределах размера параметра, вероятно, что OpenAI фокусируется на расширении и улучшении текстовой модели.

Вероятно, GPT-4 также будет менее зависим от точной подсказки. Одним из недостатков GPT-3 является то, что текстовые подсказки необходимо тщательно писать, чтобы получить желаемый результат. Когда подсказки не написаны тщательно, вы можете получить выводы, которые являются ложными, токсичными или даже отражают экстремистские взгляды. Это часть того, что известно как “проблема выравнивания” и относится к проблемам в создании модели ИИ, которая полностью понимает намерения пользователя. Другими словами, модель ИИ не выровнена с целями или намерениями пользователя. Поскольку модели ИИ обучаются с помощью текстовых наборов данных из Интернета, очень легко для человеческих предубеждений, ложных сведений и предрассудков найти свой путь в текстовые выводы.

Тем не менее, есть хорошие причины полагать, что разработчики делают прогресс в решении проблемы выравнивания. Этот оптимизм исходит из некоторых прорывов в разработке InstructGPT, более продвинутой версии GPT-3, которая обучается на обратной связи человека, чтобы следовать инструкциям и намерениям пользователя более внимательно. Человеческие судьи обнаружили, что InstructGPT был намного менее зависим от хорошей подсказки, чем GPT-3.

Однако следует отметить, что эти тесты проводились только с сотрудниками OpenAI, относительно однородной группой, которая может не сильно различаться по полу, религиозным или политическим взглядам. Вероятно, безопасная ставка заключается в том, что GPT-4 пройдет более разнообразную подготовку, которая улучшит выравнивание для разных групп, хотя в какой степени остается неизвестным.

Заменит ли GPT-4 людей?

Несмотря на обещания GPT-4, маловероятно, что он полностью заменит необходимость в человеческих писателях и кодерах. Еще много работы предстоит сделать по всем аспектам, от оптимизации параметров до многомодальности и выравнивания. Возможно, пройдут годы, прежде чем мы увидим генератор текста, который сможет достичь真正щего человеческого понимания сложностей и нюансов реального опыта.

Тем не менее, есть хорошие причины быть взволнованными предстоящим появлением GPT-4. Оптимизация параметров – а не простой рост параметров – вероятно, приведет к модели ИИ, которая имеет гораздо больше вычислительной мощности, чем ее предшественник. А улучшенное выравнивание, вероятно, сделает GPT-4 намного более удобным для пользователя.

Кроме того, мы все еще только в начале разработки и внедрения инструментов ИИ. Все больше случаев использования этой технологии постоянно обнаруживается, и по мере того, как люди приобретают больше доверия и комфорта с использованием ИИ на рабочем месте, почти наверняка мы увидим широкое внедрение инструментов ИИ почти во всех бизнес-секторах в ближайшие годы.