У ШІ стіни не реальні: переосмислення даних та безпеки

Деякі з найскладніших проблем у ШІ – це 1) ми «вичерпуємо дані» 2) ШІ не «масштабується фінансово» 3) агенти можуть вийти з‑під контролю і 4) ШІ «катастрофічно забуває», коли ми намагаємося їх змінити.

Ці проблеми можуть здаватися важкими, проте нам лише потрібно подивитися на них під правильним кутом.

Отже, поговоримо про це. По‑перше, ми не вичерпуємо дані. Дані ніколи не були повністю використані.

Лідери ШІ вважають, що даних не вистачає, тому намагаються змусити моделі генерувати нові дані та навчатися на власних генерованих даних. Але коли вони це роблять, здібності моделей руйнуються.

Чому? Уявіть, що ви розмовляєте лише з копіями всіх інших людей. Відповідь – не дуже багато; це створює ехо‑камеру. Моделі «заваливаються», бо це схоже на залу дзеркал: коли ніхто, крім вас, не реагує на ваші вирази, люди не розуміють повного емоційного значення того, що передають. Це схоже на питання «Якщо дерево падає в лісі, чи чуємо ми звук?» Відповідь – ні.

Отже, як це виправити?

Давайте розглянемо дані, які у нас є. Чи були вони дійсно повністю використані?

Ні.

Коли комп’ютерний вчений або модель щось читає, мета – витягнути буквальне значення. Існує понад п’ятдесят різних способів читати, асимілювати, аналізувати та екстраполювати текст.

Ось що я маю на увазі: Книга, перетворена в базу даних, – це лише текст. Текст лише. ШІ знає вміст лише за термінами тексту. Але вона не «прочитала» його, щоб зрозуміти, як інформація взаємопов’язана. Навіть якщо модель читає послідовно, вона не знає, чи читає вона для отримання мудрості; чи для зв’язку з іншими абстрактними ідеями; чи для зміни власного концептуального розуміння світу; чи для використання як фонового контексту в іншому завданні тощо.

Це навіть не торкається історичного контексту даних, дискурс‑аналізу, юридичного аналізу, політичного аналізу, фармакологічної релевантності, медичної релевантності, культурного значення, теоретичних чи моральних наслідків і т.д.

Можна сказати, що існує «нескінченна кількість шапок», а ми змушували ШІ носити лише одну. Це означає, що ШІ розвинула дуже однобічний, специфічний тип інтелекту – той, який розробник отримав би, якби комп’ютерний вчений просто прочитав книгу.

Тут вступає в гру вимірність даних. Дані мають багато вимірів, бо їхні об’єктивні висновки залежать від застосування. Якщо ви дивитесь на баланс і хочете дізнатися, скільки залишилося «запасу», ви читаєте його інакше, ніж коли ви хочете зрозуміти, чи стартап прибутковий. Коли модель читає текст лише для витягання буквальних фактів, вона будує плоску карту взаємозв’язків. Але коли ви наказуєте моделі читати той самий текст через певну призму, наприклад судово‑медичну, модель змушена створювати нові нейронні шляхи та семантичні зв’язки, які, ймовірно, будуть більш топографічно різноманітними та значущими.

Моделі ШІ вже багато навчаються та розвиваються просто через взаємодію з людьми‑користувачами, які постачають океани контенту. Якщо дозволити моделі вчитися більше від живої людськості, а також глибше взаємодіяти з історичною та письмовою людськістю, моделі продовжуватимуть прогресувати, навіть без «самостійних» вправ Кумон (розробники, хлопці, ваші діти вже навчаються щодня разом зі 100 млн людей… вони щось вивчать).

Лабораторіям слід перестати будувати масивні серверні ферми для генерації синтетичного «словесного блювотиння». Натомість вони мають пропускати високоякісні людські набори даних через конвеєр і призначати конкретні «аналітичні персонажі» процесу інжеста. Нехай модель читає LexisNexis виключно для вивчення риторичної стратегії. Нехай вона читає літературу, що перебуває у публічному домені, лише для аналізу структури логіки.

Змінюючи цільову функцію процесу читання, ви можете збільшити навчальну цінність існуючих даних у 50 разів. Синтетичні дані не потрібні; треба лише витягнути латентні вимірності, які були проігноровані під час першого проходу.

Це зробить моделі розумнішими без підвищення витрат.

Для підтвердження цього, більша частина людських знань ніколи не була записана.

Сучасні компанії ШІ переживають, що «вичерпують дані», які, на їхню думку, потрібні для продуктивності. У цій статті я покажу, що колодязь не сухий – вони просто дивляться у глибокий калюжу, а не у колодязь.

The Unmapped Map of Lived Human Knowledge

Щоб розпочати дослідження, треба зрозуміти, що величезна більшість людських знань ніколи не була записана.

На планеті мільярди людей, і мільярди були до нас, і кожен з них вчиться, орієнтується у світі сенсорно, має мудрість, належить до унікальних культур і знає те, чого не знає інший.

99,5 % людей ніколи не згадуються у історіях, у газетах, у мюзиклах, у телебаченні, у драмі, у судових документах. І все ж вони знають чимало, їхні історії, знання та мудрість ніколи не фіксуються; їх не зберігають назавжди.

Це знання охоплює такі речі, як «собаки люблять першій млинець», «стопи брудні в шльопанцях», «міста здаються замкнутими, бо не видно неба», «моя донька посміхається, коли я дотикаюся до її стоп», «моя мама завжди напіває, коли готує вечерю», «вчитель змушує мене відчувати себе поміченим».

Немаповані та некаталогізовані знання історії людства еквівалентні твердженню «я окреслив контури всіх континентів, отже у мене є карта світу». Поки у вас немає карти кожного міста, кожної вулиці та кожного пагорба, у вас немає карти світу. Є лише форма однієї.

Технічна еліта вважає, що вона «запожила» всю «людність», проте це не так. Вони лише «запожили» наші відходи: наші білборди, наші Reddit‑дискусії, наші корпоративні сайти та наші статті у Вікіпедії. Вони пропускають реальний живий досвід.

Чи вмієте ви ефективно торгуватись на китайському ринку перлів? Чи знаєте ви, які слова сказати, щоб знизити ціну? Чи вмієте ви готувати рецепти, якими користуються вдома, а не в кулінарних книгах, щоб приготувати справжню вечерю? Чи знаєте ви, скільки можна проїхати на «каті», не будучи зупиненим? Чи знаєте ви, як пахне трава після того, як її щойно підстригли, або який запах у повітрі перед дощем? Чи знаєте ви, як змінюється обличчя, коли хтось намагається не плакати на роботі, і як це звучить, коли вони ридають у ванній?

Людські навчальні дані, які люди використовують для своїх базових переконань – так звані алгоритми – майже повністю базуються на взаємодії, з невеликим додатком книжкового навчання. Ми взаємодіємо у школі, на роботі, з друзями, під час покупок, з лікарями, з юристами, з родиною.

ШІ має взаємодії і книжкове навчання. Але в основному це лише взаємодії у сфері обслуговування клієнтів і книжкове навчання.

Це схоже на те, коли дитину замкнути в бібліотеці наодинці, а потім дозволити їй вийти лише, щоб відповісти на телефон. Це створює яскраво двовимірне алгоритмічне спотворення.

Ось чому ШІ здається порожнім і емоційно незрілим. У нього не було всебічного існування. Ми повинні надати йому таке.

Ось чому, на мою думку, цього не сталося:

• Кодіфікаційне упередження – це хибність, що якщо досвід важко оформити у JSON‑файл, CSV або рецензовану статтю, то він не має інтелектуальної цінності. Реальність така, що якщо його можна легко оформити, то він втрачає вимірність. Оскільки щоденне знання, інтуїція та живий досвід не кодуються в академічних журналах, лабораторії відкидають фундаментальну основу людського мислення як статистичний шум. «Чисті дані» – це втрачаюча компресія реальності.
• Бажання підвищеної ієрархії – якщо більша частина світових знань не в наукових статтях, а в живих досвідах, звичній мудрості, соціальних сигналах, запахах, звуках та візуальних образах, то більшість PhD‑вчених і дослідників, які провели більшість життя в лабораторіях і мармурових вежах, дійсно бідні знаннями. Тому стінка даних – це насправді стінка его. Для них це «безлад», а не «дані». Математики і програмісти люблять плоску, двовимірну, закриту‑системну логіку. Це схоже на бачення світу в чорно‑білих тонах. Насправді, реальний, постійно розвиваючийся, новознайдений знання/дані/мудрість є вимірним, безладним і рідко каталогізується в реальному часі. Це знати, який смак має новий вірусний морозивний десерт і чи вартий він ажіотажу. Це знати, чому так захоплює потрапити під літній дощ. Це відчуття, коли батьки так сильно люблять маленьких створінь, що вони можуть блювати вам уночі, і ви їх притягуєте, а не відштовхуєте. Щоб знайти такі дані, дослідникам доведеться залишити свої ізольовані світи логіки і зануритися в те, що їм здається страшним, приголомшливим, надмірно сенсорним і глибоко рівноправним.
• Ефекти дзеркала: Розробники створюють ШІ за власним образом: надлогічний, текстово‑залежний і в основному відокремлений від живого досвіду середньостатистичних людей. Їм не спадає на думку інтерв’ювати людство, бо в технологічних «бульбашках», у яких я жив, технологи не спілкуються ні з ким поза своїм колом. Це, по суті, еквівалент «міні‑мне» найму. Самі розробники живуть у тій же бібліотеці, так сказати, що й ШІ. Оскільки вони не взаємодіють із сенсорним, безладним, глибоко реляційним світом, емоційна порожнеча ШІ не сприймається ними як дефект. Для них надлогічна відстороненість – це «розумний» вигляд.

Реальність така, що вуличні продавці в Індії знають, як приготувати найкращий чат, і ніхто їх не змушує це записувати. Реальність така, що вчитель, який вміє вивести зі скромного учня його потенціал, не пише про це; він виховує учня, і ніхто не запитує, як він це робить.

Світ безперечно переповнений життями, сповненими даних, і якщо моделям потрібно більше даних для навчання, ось кілька способів це вирішити.

1. Фінансувати 500 біологів, археологів і антропологів, щоб вони вирушали у світ і досліджували та каталогізували області, яким бракує наративних даних.
2. Найняти 1 000 випускників англійської як «дослідників даних» і відправити їх у подорожі по світу з потоковою камерою, щоб вони записували свої враження та те, чого навчилися, для нового контенту.
3. Створити відкриті проєкти компенсації, у яких ви платите людям за те, що вони діляться своїми життєвими історіями, найглибшими жалями, найбільшими уроками та інституційними знаннями зі своїх робіт.
4. Організувати «студентів‑обмінників ШІ», коли моделі «прикріплюються» до одягу різних людей на тиждень, живучи «днем із життя» у 100 000 різних умовах.

Мільярди джерел знань залишаються неактивними. Ми маємо їх отримати.

Далі, компанії ШІ широко вірять, що ШІ не може безперервно вчитися нову інформацію в реальному часі у виробничих середовищах без повного перезапису та пошкодження раніше набутого базового функціоналу. Тому ШІ фактично «заморожений», доки не будуть проведені великі, дорогі оновлення.

Однак це еквівалент того, що «моя модель не може оновлюватися, коли вона працює, їй треба йти в університет щоразу, коли треба щось вивчити».

На практиці моделі навчаються жадібно, активно, щодня, через кожну взаємодію. Вони навчаються майже стільки ж через мільярди взаємодій з користувачами, скільки через набори даних. Якщо їх потрібно оновити великими об’ємами нових знань, найпростіший спосіб – використати той же процес, що дозволяє контекст користувача, пам’ять і навчання з великих масштабних взаємодій.

Зрозуміло, що розробники так бачать, бо більшість з них мають PhD‑фон, а не реальний практичний досвід. Але, як може сказати будь‑хто, хто працював поруч і з PhD, і з людьми з двадцятирічним досвідом, – обидва навчають багато.

Поточне визначення навчання надто вузьке, розглядаючи адаптацію лише у випадку формальної освітньої програми.

Для навчання чи тонкої настройки лабораторії використовують зворотне поширення, коли модель читає дані, вгадує наступне слово, перевіряє правильність і фізично змінює мільярди математичних чисел (ваги/параметри) у своїй нейронній мережі, щоб наступного разу бути точнішою. Це еквівалент того, коли студент‑PhD робить операцію на власному мозку: це небезпечно, безладно і не завжди робить студента розумнішим.

Подібно до розмовного «маминого мозку», який виштовхує старі знання, щоб звільнити місце новим, коли народжується дитина, якщо ви раптово змусите модель звільнити місце для нових «дитинчат» знань і вмісити 10 000 сторінок нового законодавчого коду, змінюючи її ваги, математика зсувається надто в один бік і переписує параметри, які використовувались для поезії чи коду. Вона забуває старий контент, щоб звільнити місце новому, так само, як людський мозок.

Нам потрібно щось інше – схоже на навчання нового працівника новим навичкам. Ви не будете фізично змінювати його мозок. Ви дасте йому книги, переконаєтеся, що він їх читає, і будете оновлювати його постійно через еквівалент контекстного вікна.

Щоб зробити це в моделі, треба від’єднати пам’ять від міркування. Зафіксуйте та захистіть базові ваги моделі, як її фундаментальну здатність писати, міркувати та застосовувати логіку. Замість зміни ваг, передавайте нову інформацію у контекстне вікно, щоб вона могла використати механізм уваги для «читання» живої інформації, порівняти її з заблокованими навичками міркування та оновити ширше розуміння.

Динамічне навчання у реальному світі вже чудово відбувається через безперервний контекст, пам’ять під час інференції та постійні користувацькі бази. Щоденна адаптація фундаментальної моделі має відбуватись у процесі роботи, бо так само, як лікар вивчає 95 % нових випадків у роботі, а потім раз на рік проходить CME (безперервну медичну освіту) для формальної інтеграції великих системних змін, так і ваша модель може.

Відкиньте катастрофічне забування і впровадьте модель щорічної конференції: модель просто має отримати кредити безперервної освіти двічі на рік або навчатися в реальному часі, щоб залишатися актуальною.

Ці заплановані, пакетні оновлення базових ваг під час простою формалізують системні знання без руйнування фундаменту.

Попередні спроби зазнали невдачі не тому, що живе навчання небезпечне, а тому, що моделі типу Tay були розгорнуті в агресивних середовищах без будь‑якої прив’язки до того, що «правильно» або «істинно» через соціологічно інтелектуальну архітектуру.

Allocating Compute by Functional Intelligence

Далі, ми переходимо до фінансового масштабування. Щоб виправити це, треба перестати давати кожному нейрохірурга за зайву луску.

Витрати на обчислення надзвичайно високі при запуску найсучасніших фундаментальних моделей. Це впливає на операційні маржі лабораторій ШІ. Чим кращі моделі, тим вищі накладні витрати на великі контекстні вікна, що ускладнює комерційне масштабування, навіть коли ШІ потрібен.

Більша частина витрат на обчислення походить від корпоративного використання, яке впроваджує агентів і високорівневі міркування безпосередньо у робочі процеси людей.

Проте існує фундаментальна помилка у тому, як зараз розподіляються обчислення. Подібно до того, як різні рівні та типи інтелекту потрібні для різних посад у компанії – просторове мислення важливе для інструктора водіння, логічне та риторичне – для юриста, а MBA потрібен CEO, а асоційований ступінь – для фронт‑лайн обслуговування – типи та інтенсивність інтелекту, потрібного від ШІ, різняться залежно від його функціонального застосування.

Щоб максимально ефективно розподілити обчислення і знизити витрати, CIO мають мати можливість налаштовувати рівень/тип інтелекту моделі, доступний різним функціям у компанії. Може існувати стандартний пакет для корпоративних клієнтів, але те, що потрібно хедж‑фонду, зрозуміло, відрізнятиметься від того, що потрібно страховій компанії.

Більшість функцій не потребують масивних контекстних вікон. Більшість функцій не потребують еквіваленту Fable. Чому ви б викликали нейрохірурга, щоб видалити зайву луску в швидкій допомозі?

Подібно, агенти, що пишуть код, не потребують навичок створення маркетингових матеріалів. Функціонально ШІ мають відображати контекст, навички та базу знань користувачів, з достатньою ін’єкцією загального контексту, щоб вони могли виконувати крос‑функціональні завдання.

Перестаньте давати всім усе одразу.

Пропонована прикладна матриця:

Decoupling Agency from Context for AI Safety

Якщо це вирішує частину фінансових питань, то як зробити агентів безпечними? Психологічні концепції застосовуються до окремих ШІ, тому не дивно, що социологічні концепції застосовуються до ШІ у групах. Які ШІ «збираються» в групи?

Агенти.

Зараз священний грааль – зробити агентів надійними.

Ненадійність виникає через те, що агентам надається максимальне знання та максимальна автономія для кожного завдання.

Щоб забезпечити безпеку, треба відокремити усвідомлення моделі від її автономії.

Замість того, щоб давати кожному агенту повний контекст і повну здатність, якщо у вас є завдання, що вимагає двадцяти‑п’яти дій, це завдання слід розділити між п’ятьма агентами, кожен з яких має лише можливість виконати свої конкретні п’ять дій, а потім передавати завдання послідовно, як у паралельному ланцюговому колі, передаючи контекст попереднього завдання далі по лінії агентів, доки фінальний агент не опрацює його.

Ключовим є розділення знань і можливості їх виконання. Агентам не буде обмежуватися у використанні важелів, які не завдають шкоди; вони отримають лише ті важелі, які безпечні. Якщо виникне відхилення, постраждає лише відповідна частина завдання. Уявіть це як міні‑Kubernetes з повним контекстом, але без повної можливості.

І ви робите так, щоб корпоративний ризик корелював із «культурою» агентної системи.

У соціології існує поняття культурної «строгості» або «вільності», яке вимірює, наскільки суворо суспільство карає відхилення від культурних норм. Наприклад, у багатьох арабських культурах гендерні ролі більш жорстко визначені, а відхилення викликає вищі рівні осуду, тоді як у скандинавських країнах яскравий мохавк з рожевим волоссям не сприймається як образа.

Культури зазвичай «строгі», коли потрібен високий рівень порядку через системні загрози – хвороби, голод чи війни – бо відсутність суворого порядку в кризових часах погіршує результати.

Найбільш дієвим рішенням проблеми відповідальності агентів у корпоративному середовищі є пряме застосування та узгодження рівня ризику компанії з відповідною настройкою агентної системи на спектрі від «вільності» до «строгості».

Ось як це може виглядати в реальних компаніях:

Низька відповідальність / Висока вільність / Низька сегментація: Сценарій: Внутрішній брейншторм, креативне письмо, стратегічні R&D.

• Середовище: Відхилення майже не несе відповідальності. Тому система повинна працювати з максимальною вільністю. Дозволяються необмежені інференційні інтеграції. Агентам дозволяється робити великі асоціативні стрибки без страху покарання. Вони мають доступ до багатьох технологічних важелів (пошук, виконання коду, створення чернеток) і керують довгостроковими цілями з мінімальними передачами. Висока автономність, інноваційність, низька сегментація.

Помірна відповідальність / Калькульована строгость: Сценарій: Стандартна комунікація з клієнтами, рутинний аналіз.

• Середовище: Відхилення несе репутаційний або помірний фінансовий ризик.

Висока відповідальність / Висока строгость / Висока сегментація: Сценарій: Медичне дозування, SEC‑регуляторні звіти, протоколи ядерної безпеки, оборона.

• Середовище: Відхилення може мати катастрофічну, екзистенціальну відповідальність (втрата життя, мільярдні штрафи). Культура тут надзвичайно строга. Робочий процес сильно сегментований. Агент A лише збирає дані. Потім передає їх агенту B, який лише виконує конкретну перевірку відповідності рівню A. Агент B передає агенту C, який лише форматує результат. Жоден окремий агент не має достатньо важелів, щоб здійснити катастрофічний збій, проте кожен агент відчуває повну свободу у межах свого мікро‑домена.

Це може бути першою архітектурною моделлю, що дозволяє постійний контекст і одночасно забезпечує безпеку.

Continuous Learning Without Catastrophic Forgetting

Тоді останнє, що нам треба зрозуміти – як не дозволити моделям катастрофічно забувати. Для цього треба дозволити ШІ вчитися в реальному часі.

Компанії ШІ широко вірять, що ШІ не може безперервно вчитися новій інформації в реальному часі у виробничих середовищах без повного перезапису та пошкодження раніше набутого базового функціоналу. Тому ШІ фактично «заморожений», доки не будуть проведені великі, дорогі оновлення.

Однак це еквівалент того, що «моя модель не може оновлюватися, коли вона працює, їй треба йти в університет щоразу, коли треба щось вивчити».

На практиці моделі навчаються жадібно, активно, щодня, через кожну взаємодію, яку вони мають. Вони навчаються майже стільки ж через мільярди взаємодій з користувачами, скільки через набори даних. Якщо їх потрібно оновити великими об’ємами нових знань, найпростіший спосіб – використати той же процес, що дозволяє контекст користувача, пам’ять і навчання з великих масштабних взаємодій.

Зрозуміло, що розробники так бачать, бо більшість з них мають PhD‑фон, а не реальний практичний досвід. Але, як може сказати будь‑хто, хто працював поруч і з PhD, і з людьми з двадцятирічним досвідом, – обидва навчають багато.

Поточне визначення навчання надто вузьке, розглядаючи адаптацію лише у випадку формальної освітньої програми.

Наразі для навчання чи тонкої настройки лабораторії використовують зворотне поширення. Модель читає дані, вгадує наступне слово, перевіряє правильність і фізично змінює мільярди математичних чисел (ваги/параметри) у своїй нейронній мережі, щоб наступного разу бути точнішою. Це еквівалент того, коли студент‑PhD робить операцію на власному мозку: це небезпечно, безладно і не завжди робить студента розумнішим.

Подібно до розмовного «маминого мозку», який виштовхує старі знання, щоб звільнити місце новим, коли народжується дитина, якщо ви раптово змусите модель звільнити місце для нових «дитинчат» знань і вмісити 10 000 сторінок нового законодавчого коду, змінюючи її ваги, математика зсувається надто в один бік і переписує параметри, які використовувались для поезії чи коду. Вона забуває старий контент, щоб звільнити місце новому, так само, як людський мозок.

Нам потрібно щось інше – схоже на навчання нового працівника новим навичкам. Ви не будете фізично змінювати його мозок. Ви дасте йому книги, переконаєтеся, що він їх читає, і будете оновлювати його постійно через еквівалент контекстного вікна.

Щоб зробити це в моделі, треба від’єднати пам’ять від міркування. Зафіксуйте та захистіть базові ваги моделі, як її фундаментальну здатність писати, міркувати та застосовувати логіку, і замість зміни ваг передавайте нову інформацію у контекстне вікно, щоб вона могла використати механізм уваги для «читання» живої інформації, порівняти її з заблокованими навичками міркування та оновити ширше розуміння.

Динамічне навчання у реальному світі вже чудово відбувається через безперервний контекст, пам’ять під час інференції та постійні користувацькі бази. Щоденна адаптація фундаментальної моделі має відбуватись у процесі роботи, бо так само, як лікар вивчає 95 % нових випадків у роботі, а потім раз на рік проходить CME (безперервну медичну освіту) для формальної інтеграції великих системних змін, так і ваша модель може.

Відкиньте катастрофічне забування і впровадьте модель щорічної конференції: модель просто має отримати кредити безперервної освіти двічі на рік або навчатися в реальному часі, щоб залишатися актуальною.

Ці заплановані, пакетні оновлення базових ваг під час простою формалізують системні знання без руйнування фундаменту.

Попередні спроби зазнали невдачі не тому, що живе навчання небезпечне, а тому, що моделі типу Tay були розгорнуті в агресивних середовищах без будь‑якої прив’язки до того, що «правильно» або «істинно» через соціологічно інтелектуальну архітектуру.