Приведет ли GPT-4 нас ближе к真正ющей революции ИИ?

Прошло почти три года с момента появления GPT-3 в мае 2020 года. С тех пор модель генерации текста ИИ привлекла много внимания своей способностью создавать текст, похожий на написанный человеком. Теперь, кажется, что следующая итерация программного обеспечения, GPT-4, уже не за горами, с предполагаемой датой выпуска в начале 2023 года.

Несмотря на высокий уровень ожидания этой новости об ИИ, точные детали о GPT-4 были довольно скудными. OpenAI, компания, стоящая за GPT-4, не раскрыла много информации о новой модели, таких как ее функции или возможности. Тем не менее, недавние достижения в области ИИ, особенно в отношении обработки естественного языка (NLP), могут дать некоторые подсказки о том, чего можно ожидать от GPT-4.

Что такое GPT?

Прежде чем приступить к конкретике, полезно сначала установить базовый уровень того, что такое GPT. GPT означает Generative Pre-trained Transformer и относится к модели глубокого обучения, обученной на данных из интернета для создания больших объемов машинного текста. GPT-3 – это третье поколение этой технологии и является одной из самых передовых моделей генерации текста ИИ, доступных в настоящее время.

Представьте себе GPT-3 как работающий немного как голосовые помощники, такие как Siri или Alexa, но в гораздо большем масштабе. Вместо того, чтобы просить Alexa проиграть вашу любимую песню или иметь Siri набрать текст, вы можете попросить GPT-3 написать целую книгу за несколько минут или сгенерировать 100 идей для постов в социальных сетях менее чем за минуту. Все, что пользователю нужно сделать, – это предоставить подсказку, например: «Напишите мне статью на 500 слов об важности творчества». Если подсказка ясна и конкретна, GPT-3 может написать几乎 все, что вы ему скажете.

С момента выпуска GPT-3 для широкой публики оно нашло много деловых применений. Компании используют его для суммирования текста, перевода языка, генерации кода и крупномасштабной автоматизации几乎 любой задачи написания.

Тем не менее, хотя GPT-3, безусловно, впечатляет своей способностью создавать очень читаемый текст, похожий на написанный человеком, он далек от совершенства. Проблемы возникают, когда его просят написать более длинные тексты, особенно когда речь идет о сложных темах, требующих проницательности. Например, подсказка сгенерировать компьютерный код для веб-сайта может вернуть правильный, но неоптимальный код, поэтому человеческий программист все равно должен войти и сделать улучшения. Аналогичная проблема возникает с большими текстовыми документами: чем больше объем текста, тем больше вероятность того, что возникнут ошибки – иногда смешные – которые необходимо исправить человеческим писателем.

Проще говоря, GPT-3 не является полной заменой человеческих писателей или программистов и не должно рассматриваться как таковая. Вместо этого GPT-3 должно рассматриваться как помощник писателя, который может сэкономить людям много времени, когда им нужно сгенерировать идеи для постов в блоге или грубые наброски для рекламного копирования или пресс-релизов.

Больше параметров = лучше?

Одно, что нужно понять об моделях ИИ, – это то, как они используют параметры для прогнозирования. Параметры модели ИИ определяют процесс обучения и обеспечивают структуру для вывода. Количество параметров в модели ИИ обычно используется в качестве меры производительности. Чем больше параметров, тем более мощная, гладкая и предсказуемая модель, по крайней мере, согласно гипотезе масштабирования.

Например, когда GPT-1 был выпущен в 2018 году, он имел 117 миллионов параметров. GPT-2, выпущенный годом позже, имел 1,2 миллиарда параметров, в то время как GPT-3 увеличил количество еще больше до 175 миллиардов параметров. Согласно интервью августа 2021 года с Wired, Эндрю Фельдман, основатель и генеральный директор Cerebras, компании, партнерствующей с OpenAI, упомянул, что GPT-4 будет иметь около 100 триллионов параметров. Это сделает GPT-4 в 100 раз более мощным, чем GPT-3, квантовый скачок в размере параметров, который, понятно, сделал многих людей очень взволнованными.

Однако, несмотря на высокую заявку Фельдмана, есть хорошие причины полагать, что GPT-4 на самом деле не будет иметь 100 триллионов параметров. Чем больше количество параметров, тем более дорогостоящей становится модель для обучения и тонкой настройки из-за огромных объемов вычислительной мощности, необходимых для этого.

Кроме того, есть более факторов, чем просто количество параметров, которые определяют эффективность модели. Возьмем, например, Megatron-Turing NLG, модель генерации текста, построенную Nvidia и Microsoft, которая имеет более 500 миллиардов параметров. Несмотря на свой размер, MT-NLG не приближается к GPT-3 по производительности. Короче говоря, больше не обязательно означает лучше.

Вероятно, GPT-4 действительно будет иметь больше параметров, чем GPT-3, но остается быть увиденным, будет ли это число больше на порядок. Вместо этого есть другие интригующие возможности, которые OpenAI, вероятно, преследует, такие как более компактная модель, которая фокусируется на качественных улучшениях в алгоритмическом дизайне и выравнивании. Точный эффект таких улучшений трудно предсказать, но известно, что разреженная модель может снизить вычислительные затраты за счет того, что называется условным вычислением, т. е. не все параметры в модели ИИ будут работать все время, что похоже на то, как работают нейроны в человеческом мозге.

Итак, что сможет сделать GPT-4?

До тех пор, пока OpenAI не выпустит новое заявление или даже выпустит GPT-4, мы остаемся гадать, как он будет отличаться от GPT-3. Независимо от этого, мы можем сделать некоторые прогнозы.

Хотя будущее разработки глубокого обучения ИИ является многомодальным, GPT-4, вероятно, останется текстовым. Как люди, мы живем в многозначном мире, наполненном разными аудио-, визуальными и текстовыми входами. Следовательно, неизбежно, что разработка ИИ в конечном итоге произведет многомодальную модель, которая может включать различные входы.

Однако хорошая многомодальная модель значительно более трудна в проектировании, чем текстовая. Технология просто еще не готова, и на основе того, что мы знаем о пределах размера параметров, вероятно, что OpenAI фокусируется на расширении и улучшении текстовой модели.

Также вероятно, что GPT-4 будет менее зависим от точных подсказок. Одним из недостатков GPT-3 является то, что текстовые подсказки необходимо тщательно написать, чтобы получить желаемый результат. Когда подсказки не написаны тщательно, вы можете получить выводы, которые являются ложными, токсичными или даже отражают экстремистские взгляды. Это часть того, что известно как «проблема выравнивания» и относится к проблемам создания модели ИИ, которая полностью понимает намерения пользователя. Другими словами, модель ИИ не выровнена с целями или намерениями пользователя. Поскольку модели ИИ обучаются с помощью текстовых наборов данных из интернета, очень легко для человеческих предубеждений, ложных сведений и предрассудков найти свой путь в текстовые выводы.

Тем не менее, есть хорошие причины полагать, что разработчики делают прогресс в решении проблемы выравнивания. Этот оптимизм исходит из некоторых прорывов в разработке InstructGPT, более продвинутой версии GPT-3, которая обучена на обратной связи человека, чтобы следовать инструкциям и намерениям пользователя более внимательно. Человеческие судьи обнаружили, что InstructGPT был намного менее зависим от хороших подсказок, чем GPT-3.

Однако следует отметить, что эти тесты были проведены только с сотрудниками OpenAI, относительно однородной группой, которая может не сильно различаться по полу, религиозным или политическим взглядам. Вероятно, безопасно предположить, что GPT-4 пройдет более разнообразное обучение, которое улучшит выравнивание для разных групп, хотя в какой степени остается быть увиденным.

Заменит ли GPT-4 людей?

Несмотря на обещания GPT-4, вряд ли он полностью заменит необходимость в человеческих писателях и программистах. Еще много работы предстоит сделать по всем вопросам, от оптимизации параметров до многомодальности и выравнивания. Возможно, пройдет много лет, прежде чем мы увидим генератор текста, который сможет достичь真正щего человеческого понимания сложностей и нюансов реального опыта.

Тем не менее, есть хорошие причины быть взволнованными предстоящим выпуском GPT-4. Оптимизация параметров – а не просто рост параметров – вероятно, приведет к модели ИИ, которая имеет намного больше вычислительной мощности, чем ее предшественник. И улучшенное выравнивание сделает GPT-4 намного более удобным для пользователя.

Кроме того, мы все еще только в начале разработки и внедрения инструментов ИИ. Все больше случаев использования этой технологии постоянно обнаруживается, и по мере того, как люди приобретают больше доверия и комфорта с использованием ИИ на рабочем месте, почти наверняка мы увидим широкое внедрение инструментов ИИ во всех бизнес-секторах в ближайшие годы.