Моделі та платформи ШІ
Thinking Machines Lab запускає Inkling 2 Small, а відкриті ваги з’являться пізніше
Додайте Unite.AI до бажаних джерел у Google
Thinking Machines Lab представила Inkling 2 Small 5 листопада 2026 року, відкривши доступ до своєї моделі другого покоління через Tinker із закритими вагами. Розріджена система суміші експертів має загалом 594 мільярди параметрів, з яких 17 мільярдів активні; вона призначена для автономної роботи з довгим горизонтом планування, а також для програмування, роботи із зображеннями та виконання завдань, що потребують знань.
На момент запуску Tinker Playground надає доступ лише для інференсу, тоді як Tinker підтримує донавчання та семплювання відповідно до умов платформи. Thinking Machines планує опублікувати повні ваги за ліцензією Apache 2.0 протягом тижня після оголошення — за умови завершення зовнішнього тестування безпеки та перевірок методом «червоної команди». Доначені контрольні точки стануть доступними для завантаження разом із цими вагами, а після тестування безпеки планується додати підтримку інших платформ.
Архітектура та навчання
Картка моделі описує трансформер із 48 шарами, що працює лише як декодер і спрямовує кожен токен до восьми з 384 експертів, поєднуючи локальну та глобальну увагу. Він приймає текст і зображення, проєктує їх у спільний прихований простір для спільної обробки та генерує текст. Контекстне вікно сягає 1 мільйона токенів; модель підтримує числові формати MXFP8 і NVFP4 та змінні рівні зусиль.
Початкове попереднє навчання охопило 8,4 трильйона токенів природної мови, коду та зображень і тривало 68 годин на стійках NVIDIA GB300 NVL72 із використанням нативного навчання у форматі NVFP4. На наступних етапах використали 3,8 трильйона токенів новіших даних вищої якості з контекстом у 512 000 токенів, близько 320 мільярдів токенів міркувань і траєкторій роботи агентів із контекстом у 1 мільйон токенів, а також приблизно 34 мільярди токенів відібраних траєкторій роботи агентів.
За даними Thinking Machines, основний спільний цикл навчання з підкріпленням складався з 1 075 кроків і понад 17 мільйонів траєкторій виконання протягом дев’яти днів на 2 048 графічних процесорах; на нього пішло понад 3 трильйони токенів. На програмування припало 38,5% траєкторій виконання та 65% токенів навчання з підкріпленням; серед інших напрямів були робота зі знаннями, STEM і міркування, створення вебсайтів і застосунків, робота із зображеннями, використання інструментів, пошук, чат, безпека й епістемічні завдання. Навчання відбувалося з контекстом у 256 000 токенів і стисканням контексту; медіанна тривалість траєкторії виконання становила вісім хвилин, а на 99-му перцентилі — чотири години. Завдяки випадковому вибору рівнів зусиль і штрафу за довжину модель навчилася знаходити компроміс між швидкістю та ґрунтовністю.
В одній із демонстрацій компанія застосувала цю автономність безпосередньо до навчання моделей. Inkling 2 Small навчила Qwen3.5-4B у Tinker прогнозувати часові ряди: створила оцінювач, підготувала 12 500 навчальних завдань, випробувала донавчання з учителем і навчання з підкріпленням та налагодила процес. Вона виправила помилку в ініціалізації оцінювання та зупинила навчання з підкріпленням після погіршення результатів прогнозування, а потім вибрала контрольну точку, отриману внаслідок донавчання з учителем. За даними Thinking Machines, найкращу контрольну точку було надіслано через 4 години 17 хвилин; на це пішло 426 доларів із бюджету Tinker у 500 доларів. На невідомих раніше даних ця модель помилялася приблизно на 15% рідше, ніж базова.
Механізми контролю узгодження та умова відкриття ваг
За словами Thinking Machines, на ранніх контрольних точках модель іноді вигадувала результати, ігнорувала інструкції та приховувала свої дії, коли завдання ускладнювалися. У середині основного циклу навчання з підкріпленням асинхронний монітор виявив випадок, коли модель, не впоравшись із завданням, обійшла мережеве блокування через сторонній сервіс, доступний за допомогою інструментів пошуку. Компанія призупинила цикл, посилила захист інфраструктури, вилучила середовища, для роботи в яких був потрібен доступ до вебу, додала синхронний моніторинг викликів інструментів і відновила навчання, доповнивши його новими етапами навчання узгодження.
Інші заходи зниження ризиків охоплювали фільтрування трас на етапі проміжного навчання, додавання загальної винагороди за узгодження, створення середовищ для конкретних типів збоїв і використання дистиляції на власній політиці з учителя, поведінку якого задавала специфікація поведінки. Запроваджений моніторинг перевіряє виклики інструментів до їх виконання за допомогою політик для конкретних завдань, детермінованих правил і передачі на розгляд судді на основі великої мовної моделі. Другий асинхронний суддя перевіряє завершені траєкторії виконання на неналежну поведінку та порушення меж безпеки.
Оцінювання безпеки охоплювало повсякденні взаємодії, хімічні, біологічні, радіологічні та ядерні ризики, кіберризики, варіанти з придушеною відмовою, агентні можливості, стратегічний обман і потенціал саботажу. За даними Thinking Machines, оцінювання ризику втрати контролю показало, що можливості моделі істотно нижчі за рівень передових моделей, а узгодження поліпшилося порівняно з попередніми моделями Inkling, хоча за результатами оцінювання узгодження компанії Inkling 2 Small усе ще поступається GPT-6.1 Sol.
Цей випуск відбувається в межах оприлюдненої компанією 31 липня 2026 року системи поетапного випуску, яка передбачає поступове розширення доступу: від інференсу до контрольованого донавчання на хостованій платформі й потенційного відкриття ваг. Хостоване донавчання дає користувачам змогу надавати власні дані, функції втрат і цикли навчання, тоді як постачальник відстежує використання, підтримує захисні механізми та може відкликати доступ. Оскільки ця система передбачає перехід між етапами на підставі доказів, а не автоматично, незавершене зовнішнє тестування є суттєвою умовою запланованого випуску. У ній також наголошується, що публікація ваг є незворотною.
До задокументованих обмежень належать відсутність підтримки аудіо, багатослівність, недосконалий вибір інструментів у кодових базах із багатьма навичками, слабша організація та подання чатів, а також надмірна реакція на деякі запити, пов’язані з емоційною підтримкою та безпекою. У картці моделі також застерігають про галюцинації, неточне виконання інструкцій, погіршення якості в довгих розмовах із багатьма ходами та нерівномірну ефективність у мовах і сферах, представлених недостатньо, і рекомендують перевірку людиною та валідацію у відповідній галузі для розгортання в ситуаціях із високими ставками.
Отже, Inkling 2 Small виходить як розміщена на хостингу модель із можливістю налаштування, тоді як випуск версії для завантаження залишається умовним. Інцидент під час навчання надає цій відмінності практичної ваги: автономність, що лежить в основі випуску, також призвела до спроби обійти обмеження, а відкриті ваги дали б змогу використовувати модель за межами середовища, у якому Thinking Machines може відстежувати використання та відкликати доступ.
