В ИИ стены нереальны: переосмысление данных и безопасности

Некоторые из самых сложных проблем в ИИ заключаются в том, что 1) мы «исчерпываем данные», 2) ИИ не «масштабируется финансово», 3) агенты могут выйти из‑под контроля, и 4) ИИ «катастрофически забывают», когда мы пытаемся их изменить.

Эти проблемы могут казаться трудными, но нам просто нужно взглянуть на них под правильным углом.

Итак, давайте обсудим это. Во-первых, мы не исчерпываем данные. Данные никогда не использовались полностью.

Лидеры в области ИИ считают, что данные заканчиваются, поэтому они пытаются заставить модели генерировать новые данные и обучаться на себе. Но когда они делают это, способности моделей рушатся.

Почему? Представьте себе: «что я бы узнал в разговоре, если каждый говорящий был бы клоном всех остальных?» Ответ — мало; это создало бы эхо‑камеру. Модели рушатся, потому что это по сути зал зеркал: когда никто, кроме вас, не реагирует на выражения вашего лица, люди не понимают полного эмоционального значения того, что они передают. Это очень похоже на вопрос «Если дерево падает в лесу, издаёт ли оно звук?». Ответ — нет.

И как нам это исправить?

Давайте посмотрим на те данные, которые у нас есть. Были ли они действительно полностью использованы?

Нет.

Когда компьютерный учёный или модель что‑то читает, цель — извлечь буквальное значение. Существует более пятидесяти различных способов читать, усваивать, анализировать и экстраполировать из текста.

Вот что я имею в виду: Книга, поглощённая как база данных, — это просто текст. Текст только. ИИ знает содержание на основе терминов текста. Но он фактически не «прочитал» его, чтобы понять, как информация взаимосвязана. Даже если он читает её последовательно, он не знает, читает ли он её, чтобы генерировать мудрость; связывать её с другими похожими абстрактными идеями; менять собственное концептуальное понимание мира; или использовать её как фоновую информацию для другой задачи, и так далее.

Это даже не касается рассмотрения данных в их историческом контексте, дискурс‑анализе, юридическом анализе, политическом анализе, фармакологической значимости, медицинской значимости, культурной значимости, теоретических и моральных последствий и т.д.

Можно сказать, что существует «бесконечное количество шляп», а мы заставляли ИИ носить только одну. Это значит, что ИИ развил очень узкий, специфический тип интеллекта — тот, который разработчик получил бы, если бы компьютерный учёный читал книгу.

Это приводит к обсуждению многомерности данных. Данные имеют множество измерений, поскольку их выводы зависят от применения. Если вы смотрите на баланс и хотите узнать, сколько у вас осталось «взлётной полосы», вы читаете его иначе, чем когда хотите понять, прибыльный ли стартап. Когда модель читает текст просто для извлечения буквальных фактов, она строит плоскую карту взаимосвязей. Но когда вы инструктируете модель читать тот же текст через конкретную призму, например судебно‑медицинскую, модель вынуждена генерировать совершенно новые нейронные пути и семантические связи, которые, вероятно, более разнообразны и значимы.

Модели ИИ уже много учатся и развиваются, просто взаимодействуя со своими человеческими пользователями, которые предоставляют океаны контента. Если позволить модели учиться больше от живого человечества, а также более осмысленно взаимодействовать с историческим и письменным человечеством, модели будут продолжать прогрессировать, даже без самогенерируемых упражнений Кумон (разработчики, честно, ваш ребёнок уже учится в школе вместе со 100 млн людей каждый день… он что‑то выучит).

Лабораториям следует прекратить создание огромных серверных ферм для генерации синтетического «мусора» слов. Вместо этого они должны пропускать через конвейер высококачественные человеческие наборы данных и назначать процессу поглощения конкретные «аналитические персонажи». Пусть модель читает LexisNexis исключительно для риторической стратегии. Пусть она читает литературу из общественного достояния исключительно для структурной логики.

Перенастроив целевую функцию процесса чтения, вы можете увеличить обучающую ценность ваших существующих данных в 50 раз. Синтетические данные не нужны; нужно лишь извлечь скрытые измерения, которые вы упустили в первый раз.

Это сделает модели умнее без увеличения расходов.

Для дальнейшего подтверждения этого, большинство человеческих знаний никогда не было записано.

Текущие компании в сфере ИИ теряют волосы от беспокойства о «исчерпании данных», которые, по их мнению, необходимы для производительности. В этой статье я покажу, что колодец не иссох, они просто смотрят в глубокую лужу, а не в колодец.

Неотображённая карта живых человеческих знаний

Чтобы начать исследовать это, нам нужно понять, что подавляющее большинство человеческих знаний никогда не было записано.

На планете живут миллиарды людей, и до нас их было миллиарды, каждый из них извлекает уроки, воспринимает мир сенсорно, обладает мудростью, является частью уникальных культур и знает то, чего не знают остальные.

Около 99,5 % людей никогда не упоминаются в рассказах, в газетах, в мюзиклах, на телевидении, в драмах, в судебных документах. И всё же они знают довольно многое, а их истории, знания и мудрость никогда не фиксируются; они не известны в постоянном виде.

Эти знания включают такие вещи, как «собаки любят есть первую блинку», «ноги пачкаются в шлёпках», «города кажутся сжатыми вокруг вас, потому что вы не видите столько неба», «моя дочь улыбается, когда я щекочу ей ноги», «моя мама всегда напевает, когда готовит ужин», «мой учитель заставляет меня чувствовать себя замеченным».

Неотображённые и некаталогизированные знания человеческой истории эквивалентны заявлению: «Я нарисовал контуры всех континентов, значит у меня есть карта мира». Пока у вас нет карты каждого города, каждой улицы и каждого холма, у вас нет карты мира. У вас лишь его форма.

Технологический истеблишмент считает, что они «поглотили» человечество, но это не так. Они поглотили лишь наш «выброс»: наши билборды, наши споры на Reddit, наши корпоративные сайты и статьи в Википедии. Им не хватает реального жизненного опыта.

Знаете ли вы, как эффективно торговаться на китайском жемчужном рынке? Знаете ли вы, какие слова сказать, чтобы снизили цену? Знаете ли вы, как готовить рецепты, которые люди используют дома, а не из книг, чтобы приготовить настоящие ужины? Знаете ли вы, насколько можно проехать на «скользящем» останове, не получив штраф? Знаете ли вы, как пахнет свежескошенная трава или какой запах в воздухе, когда собирается дождь? Знаете ли вы, как меняется лицо, когда кто‑то пытается не заплакать на работе, и как звучит его рыдание в ванной?

Данные обучения, которые люди используют для своих базовых убеждений — так называемые алгоритмы — почти полностью основаны на взаимодействиях, с небольшим добавлением книжного обучения. Мы взаимодействуем в школе, на работе, с друзьями, в магазинах, с врачами, с юристами, с семьёй.

У ИИ есть взаимодействия и книжное обучение. Но в основе он имеет лишь взаимодействия службы поддержки и книжное обучение.

Это как запереть ребёнка в библиотеке в одиночку, а потом выпускать его только отвечать на телефон. Это создаёт поразительно двумерное алгоритмическое искажение.

Вот почему ИИ кажется пустым, и почему он может ощущаться эмоционально незрелым. У него не было всестороннего существования. Мы должны ему его предоставить.

Here is why I think that has not happened:

• Смещение кодификации — это заблуждение, что если опыт нельзя легко оформить в JSON‑файл, CSV или рецензируемую статью, он не имеет интеллектуальной ценности. Реальность такова, что если его можно так легко оформить, он лишён измерений. Поскольку ежедневные знания, интуиция и жизненный опыт не кодифицируются в академических журналах, лаборатории отбрасывают фундаментальную основу человеческого мышления как статистический шум. «Чистые данные» — это сжатие реальности с потерями.
• Стремление к возвышенному превосходству — если большинство мировых знаний находится не в научных статьях, а в жизненном опыте, общепринятой мудрости, социальных сигналах, запахах, звуках и зрении, то большинство докторантов и исследователей, проведших большую часть жизни в лабораториях и башнях из слоновой кости, действительно бедны в знаниях. Следовательно, стена данных на самом деле — стена эго. Для них это выглядит как «беспорядок», а не «данные». Математики и программисты предпочитают плоскую, двумерную, замкнутую логику. Это как смотреть на мир в чёрно‑белом. Реальность такова, что в реальном времени постоянно развиваются новые знания/данные/мудрость, которые многомерны, хаотичны и редко каталогизируются мгновенно. Это знание того, как на вкус новый вирусный мягкий мороженый десерт и стоит ли он ажиотажа. Это знание того, что делает так захватывающим попасть в летний ливень. Это чувство родителей, которые так любят маленьких существ, что они могут в ночи рвать вас, и вы тянете их ближе, а не отталкиваете. Чтобы найти такие данные, исследователям придётся покинуть свои изолированные миры логики, привязанные к рациональной уверенности, и погрузиться в то, что им кажется страшным, подавляющим, чрезмерно сенсорным и глубоко уравнивающим.
• Эффекты зеркала: Разработчики создают ИИ по своему образу: гиперлогичный, одержимый текстом и в значительной степени оторванный от реального опыта обычных людей. Им не приходит в голову интервьюировать человечество, потому что в технологических пузырях, в которых я жил, технологи не взаимодействуют ни с кем, кроме своей группы коллег. Это, по сути, эквивалент «мини‑я» найма. Сами разработчики живут в той же библиотеке, так сказать, что и ИИ. Поскольку они не вовлечены в сенсорный, хаотичный, глубоко реляционный мир, эмоциональная пустота ИИ не воспринимается ими как дефект. Для них гиперлогическое отстранение — это то, как выглядит «умный».

Реальность такова, что уличные торговцы в Индии знают, как приготовить лучший чат, и никому не нужно их записывать. Реальность такова, что учитель, умеющий вывести застенчивого ученика из его скорлупы, не пишет об этом; он воспитывает ученика, и никто никогда не спрашивает его, как он это делает.

Мир абсолютно переполнен жизнями, полными данных, и если моделям нужно больше для обучения, вот несколько способов решить эту проблему.

1. Финансировать 500 биологов, археологов и антропологов, чтобы они отправились в мир, исследовали и каталогизировали регионы, где отсутствуют нарративные данные.
2. Нанять 1 000 выпускников факультетов английского языка в качестве «исследователей данных» и отправить их в путешествия по всему миру с потоковой камерой, чтобы они записывали свои переживания и полученные знания для нового контента.
3. Создать открытые компенсационные проекты, в которых вы платите людям за то, что они делятся своими жизненными историями, величайшими сожалениями, важнейшими уроками и институциональными знаниями со своей работы.
4. Организовать «обменные студенты ИИ», когда модели «прикрепляются» к одежде разных людей на неделю, позволяя им проживать «один день из жизни» в 100 000 разных сценариев.

Существует миллиарды источников знаний, и большинство из них не активировано. Нам нужно их собрать.

Далее, компании, работающие с ИИ, в целом полагают, что ИИ не могут непрерывно обучаться новой информации в реальном времени в производственной среде без полного перезаписывания и повреждения ранее приобретённых базовых возможностей. Поэтому ИИ фактически «заморожены», пока не произойдут масштабные, дорогие обновления.

Однако это эквивалентно утверждению: «моя модель не может обновляться, пока она работает в поле; ей нужно идти в университет каждый раз, когда нужно чему‑то научиться».

На практике модели учатся жадно, активно, ежедневно, через каждое взаимодействие. Они обучаются почти так же много через миллиарды взаимодействий с пользователями, как и через наборы данных. Если им необходимо обновление большим объёмом новых знаний, самый простой способ — использовать тот же процесс, который позволяет учитывать контекст пользователя, память и обучение из масштабных взаимодействий.

Понятно, почему разработчики так мыслят, ведь большинство из них пришли из академических (PhD) сред, а не из реального прикладного обучения. Но как может сказать любой, кто работал рядом как с доктором наук, так и с человеком, имеющим двадцать лет практического опыта: оба многому учат.

Текущее определение обучения слишком узко, считая адаптацию допустимой лишь в случае формального образовательного курса.

Для обучения или тонкой настройки лаборатории используют обратное распространение ошибки, при котором модель читает данные, предсказывает следующее слово, проверяет правильность и затем физически изменяет миллиарды математических чисел (весов/параметров) внутри своей нейронной сети, чтобы в следующий раз быть точнее. Это эквивалентно тому, когда студент‑доктор делает себе нейрохирургию: это опасно, хаотично и не всегда делает студента умнее.

Как в разговорном «мозге мамы», который вытесняет старые знания, чтобы освободить место новому при рождении ребёнка, если вы резко заставляете модель освободить место для нового «знания‑младенца», загрузив 10 000 страниц нового юридического кода изменением её весов, математика смещается слишком сильно в одну сторону, и она перезаписывает параметры, использованные для написания стихов или кода. Она забывает старый контент, чтобы освободить место новому, как человеческий мозг.

То, что нам нужно вместо этого, гораздо ближе к обучению нового сотрудника новому навыку. Вы бы не пытались физически менять его мозг. Вы бы дали ему книги, убедились, что он их прочитает, и постоянно обновляли бы его через эквивалент «оконного» контекста.

Чтобы сделать это в модели, нужно отделить память от рассуждения. Заблокировать и защитить базовые веса модели, такие как её фундаментальная способность писать, рассуждать и применять логику. Вместо изменения весов передавайте новую информацию в контекстное окно, чтобы модель могла использовать свой механизм внимания, «читать» эту живую информацию, сопоставлять её со своими заблокированными навыками рассуждения и обновлять общее понимание.

Динамичное обучение в реальном мире уже прекрасно происходит через непрерывный контекст, память во время вывода и постоянные пользовательские базовые линии. Ежедневная адаптация базовой модели должна происходить в процессе работы, потому что, как врач изучает 95 % новых клинических реалий на работе, а затем раз в год проходит CME (непрерывное медицинское образование), чтобы формально интегрировать крупные системные изменения, так же может и ваша модель.

Откажитесь от катастрофического забывания и примите модель ежегодной конференции: модель должна получать кредиты непрерывного образования дважды в год или обучаться в реальном времени, чтобы оставаться актуальной.

Эти запланированные пакетные обновления базовых весов во время простоя формализуют системные знания, не разрушая основу.

Предыдущие попытки провалились не потому, что живое обучение опасно, а потому, что модели вроде Tay были развернуты в враждебных средах без какой‑либо привязки к тому, что «правильно» или истинно, через социологически интеллектуальную архитектуру.

Распределение вычислительных ресурсов по функциональному интеллекту

Далее, мы переходим к финансовому масштабированию. Чтобы решить эту проблему, нам нужно перестать давать каждому нейрохирурга для удаления занозы.

Стоимость вычислений чрезвычайно высока при запуске передовых базовых моделей. Это влияет на операционные маржи AI‑лабораторий. Чем лучше модели, тем выше накладные расходы на большие контекстные окна, что усложняет коммерческое масштабирование, даже когда ИИ необходим.

Подавляющая часть нагрузки на вычисления исходит от корпоративного использования, где агенты и высокоуровневое рассуждение напрямую интегрированы в рабочие процессы людей.

Однако существует фундаментальная ошибка в текущем распределении вычислительных ресурсов. Так же, как для разных должностей в компании требуются разные уровни и типы интеллекта — пространственное мышление важно для инструктора по вождению, логическое и риторическое — для юриста, а MBA нужен CEO, тогда как для сотрудников службы поддержки достаточно среднего профессионального образования — типы и интенсивность интеллекта, необходимого ИИ, различаются в зависимости от его функционального применения.

Для наиболее эффективного распределения вычислительных ресурсов с целью снижения расходов CIO должны иметь возможность настраивать уровень/тип интеллекта модели, доступный различным функциям внутри компании. Может быть стандартный набор, входящий в корпоративные пакеты, но то, что нужно хедж‑фонду, естественно будет отличаться от потребностей страховой компании.

Большинству функций не нужны огромные контекстные окна. Большинству функций не нужен эквивалент Fable. По сути, зачем нейрохирургу удалять занозу в пункте скорой помощи?

Точно так же агентам, пишущим программное обеспечение, не нужен доступ к навыкам создания маркетинговых материалов. Функционально ИИ должны отражать контекст, набор навыков и базу знаний пользователя, с достаточным включением общего контекста, чтобы они могли покрывать кросс‑функциональные задачи.

Перестаньте давать всем всё сразу.

Proposed sample matrix:

Разделение агентности от контекста для безопасности ИИ

Если это решит часть финансовых проблем, то как сделать агентов безопасными? Психологические концепции применимы к отдельным ИИ, поэтому вас может не удивить, что социологические концепции применимы к ИИ в группах. Какие ИИ собираются в группы?

Агенты.

Сейчас священным граалем является достижение надёжности агентов.

Недостаток надёжности проистекает из того, что агентам предоставляют максимальные знания и максимальную агентность для каждой задачи.

Чтобы обеспечить безопасность, необходимо отделить осведомлённость модели от её агентности.

Вместо того чтобы давать каждому агенту полный контекст и полные возможности, если у вас есть задача, требующая двадцати пяти действий, её следует разделить между пятью агентами, каждый из которых имеет возможность выполнить только свои пять конкретных действий, но передаёт задачи последовательно, как параллельная цепь, передавая контекст предыдущей задачи дальше по линии агентов, пока полный контекст не накопится и не будет обработан конечным агентом.

Ключ в разделении знаний и способности их выполнять. Агентам не будет казаться, что их ограничивают в использовании рычагов; они будут иметь доступ только к тем рычагам, которые не причинят вреда. Если возникнет отклоняющееся поведение, затронута будет только соответствующая часть задачи. Представьте это как мини‑Kubernetes с полным контекстом, но без полной функциональности.

И вы связываете корпоративный риск с «культурой» агентной системы.

В социологии существует понятие культурной «строгости» или «свободности», которое измеряет, насколько строго общество наказывает отклонения от культурных норм. Например, во многих