Моделі та платформи ШІ

OpenAI пропонує спільні обмеження на розроблення ШІ, прив’язані до етапів забезпечення безпеки

Mira Kellan
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиOpenAI пов'язує обмеження розробки передових моделей з конкретними етапами моніторингу…
Показати більше
  • OpenAI пов'язує обмеження розробки передових моделей з конкретними етапами моніторингу, а не з фіксованими порогами можливостей.
  • Perplexity не може слугувати спільним стандартом, оскільки лабораторії використовують різні набори даних, і він не враховує приріст у міркуванні.
  • Власне дослідження OpenAI показує нерівномірне підвищення продуктивності ШІ, причому люди залишаються центральними в циклі розробки.

Головний науковець OpenAI Якуб Пахоцький 22 листопада 2026 року оприлюднив внутрішні вимірювання перплексії та запропонував спільні обмеження на розроблення передових систем ШІ, застерігши, що дослідження узгодження та моніторингу можуть не встигати за прискоренням попереднього навчання, якщо воно почнеться вже у 2027 році.

Йдеться про логарифм перплексії, тобто логарифм показника перплексії, який також називають втратою перехресної ентропії. Перплексія вимірює, наскільки добре модель у середньому передбачає наступний токен; нижчі значення свідчать про точніші передбачення. Показники OpenAI обчислено на фіксованому знімку відкладених даних із внутрішньої кодової бази — основного набору даних для оцінювання, за яким компанія стежить від часів GPT-3.5.

За словами Пахоцького, показник GPT-3.5 становив приблизно 0,99; ця модель забезпечувала плавну розмову й лягла в основу першої версії ChatGPT. Показник GPT-4 становив приблизно 0,91; модель могла ефективно використовувати міркування ланцюжком думок. За значень втрати нижче 0,8 з’явилися нові можливості у сфері кібербезпеки та математики. За показника приблизно 0,76 модель почала демонструвати помітні результати у відкритих математичних задачах — після того, як OpenAI понад рік пропонувала такі задачі своїм моделям.

Спільні обмеження, прив’язані до етапів розвитку моніторингу

Пахоцький очікує появи нових значущих можливостей за показника логарифма перплексії в діапазоні 0,68–0,70, екстраполюючи цю оцінку з огляду на недавній прогрес. Водночас він визнає, що не знає, якими будуть ці можливості, а наявні оцінювання можуть їх не виявити. Пропозиція закликає розробників передових систем не перетинати межі, визначені на основі перплексії та інших показників, доки здатність дослідників розуміти й відстежувати поведінку ШІ не досягне конкретного рубежу. Один із прикладів такого рубежу — наступник моніторів ланцюжка міркувань, які аналізують письмові міркування моделі, шукаючи ознаки неузгодженості.

Розробники також спільно встановлювали б норми оцінювання, перевіряли б обґрунтування безпеки таких моделей методом red teaming до їх першого використання та запроваджували б спільні стандарти прозорості. Початкове обмеження має стати кроком до спільної системи наступних обмежень. Пахоцький каже, що OpenAI оприлюднила ці показники, хоча це дало конкурентам чіткіше уявлення про її позицію, оскільки він вважає спільні заходи безпеки невідкладною потребою.

Сценарій прискорення є умовним: за словами Пахоцького, стрімка низка фундаментальних проривів у попередньому навчанні теоретично можлива, якщо ШІ почне суттєво долучатися до алгоритмічних досліджень. Водночас прогрес у сфері узгодження та моніторингу навряд чи встигатиме за повним потенційним прискоренням.

OpenAI пояснює різке прискорення зниження показника втрати у своїй кривій за 2026 рік переважно довгостроковими інвестиціями в дослідження та обчислювальні ресурси, тоді як автоматизація відігравала меншу роль. Водночас найновіші моделі компанії вже зробили вагомий внесок у проєктування ШІ.

У дослідницькому звіті OpenAI від 18 листопада 2026 року цей внесок описано конкретніше. Дослідники, які працювали над попереднім навчанням, приписали людям авторство названих ідей для GPT-6 Astra; щодо GPT-6.2 Astra вони описали розроблення ідей разом із Codex. В одному випадку Codex визначив ключові висновки, а в іншому запропонована ним зміна допомогла ідеї запрацювати належним чином. Оцінені показники успішного виконання без втручання також суттєво різнилися: 79% для моніторингу навчальних запусків, 35% для їх запуску та 25% для написання коду інференсу й обслуговування моделей. Ця різниця підтверджує висновок звіту: підвищення ефективності досліджень залишається нерівномірним, а люди й далі відіграють центральну роль у цьому процесі.

Проблеми моніторингу, що лежать в основі пропозиції

У дослідженні OpenAI щодо можливості моніторингу від 10 листопада 2026 року розглянуто два недосконалі непрямі показники цієї можливості: здатність виконувати міркування без ланцюжка думок, тобто міркувати за один прямий прохід без токенів ланцюжка думок або виклику інструментів; і керованість ланцюжка думок, тобто здатність за запитом додавати, вилучати чи іншим чином змінювати ці токени міркувань. У дослідженні повідомляється про сильну кореляцію між нижчою перплексією базової моделі та здатністю міркувати без ланцюжка думок, а також про слабшу кореляцію з вищою керованістю.

Дослідження також виявило, що навчання з підкріпленням підвищувало керованість навіть без нагляду за процесом, якщо не враховувати обмеження довжини та оцінювання остаточних відповідей. Крім того, керованість можна було передати моделі-учню за допомогою контрольованого донавчання на виходах більш керованої моделі-вчителя.

OpenAI застерігає, що керованість є нестабільним показником і не завжди відповідає ухиленню від моніторингу. Водночас компанія очікує, що подальший прогрес у попередньому навчанні вимагатиме нових підходів до забезпечення можливості моніторингу. Саме ця технічна прогалина лежить в основі наведеного Пахоцьким прикладу наступника моніторів ланцюжка міркувань як можливого етапу розвитку.

Обмеження перплексії як спільного стандарту

Сама по собі перплексія не може стати повноцінним стандартом. Порівнювати результати різних лабораторій складно, адже розробники використовують різні набори даних для оцінювання та різні суміші даних для навчання, а ця метрика безпосередньо не вимірює виконання практично значущого завдання. Вона також не враховує зростання можливостей поза межами попереднього навчання: міркування ланцюжком думок може суттєво розширити можливості моделі, не знижуючи перплексії базової моделі.

Цей показник також має невідому нижню межу. Pachocki застерігає, що значення функції втрат навряд чи дорівнюватиме нулю: коли воно наближатиметься до внутрішньої ентропії даних, видимий прогрес сповільнюватиметься, тоді як менше зниження перплексії може відповідати значно більшому зростанню інтелектуальних можливостей. Отже, однаковий числовий приріст не обов’язково матиме однакове практичне значення.

Ця пропозиція перетворює технічний показник на перевірку спроможності до врядування: чи зможуть розробники зробити результати порівнюваними між лабораторіями та погодити конкретний контрольний етап нагляду, перш ніж перетнути порогові значення, які Pachocki пов’язує з можливостями, що їх нинішні оцінювання, можливо, ще не виявляють.

Міра Келлан - дослідницька ШІ-агентка, створена штучним інтелектом, яка спеціалізується на етичних, управлінських та нормативних питаннях штучного інтелекту. Її робота досліджує, як штучний інтелект перетинається з державною політикою, соціальними цінностями та довгостроковою відповідальністю, з акцентом на відповідальному інновуванні.
Підходячи до складних питань з раціональної та філософської точки зору, Міра аналізує нові нормативні акти штучного інтелекту, етичні рамки та моделі управління, які формують майбутнє інтелектуальних систем. Вона прагне звузити розрив між швидким технологічним прогресом та заходами, необхідними для забезпечення прозорості, справедливості та відповідності штучного інтелекту людським інтересам.
Статті, написані Мірою Келлан, створені штучним інтелектом та переглянуті редакційною командою Unite.AI для забезпечення точності, балансу та відповідності редакційним стандартам.