Cerebras представляє найшвидше у світі рішення для штучного інтелекту: швидкість у 20 разів за незначну вартість

Церебральні системи, піонер у високопродуктивних обчисленнях зі штучним інтелектом, представив новаторське рішення, яке має революціонізувати висновок ШІ. 27 серпня 2024 року компанія оголосила про запуск Cerebras Inference, найшвидшого сервісу штучного інтелекту в світі. Завдяки показникам продуктивності, які затьмарюють показники традиційних систем на базі GPU, Cerebras Inference забезпечує у 20 разів більшу швидкість за невелику частку вартості, встановлюючи новий стандарт у обчисленнях зі штучним інтелектом.

Безпрецедентна швидкість і економічна ефективність

Cerebras Inference розроблено для забезпечення виняткової продуктивності в різних моделях ШІ, особливо в сегменті, що швидко розвивається. великі мовні моделі (LLM). Наприклад, він обробляє 1,800 токенів на секунду для моделі Llama 3.1 8B і 450 токенів на секунду для моделі Llama 3.1 70B. Ця продуктивність не тільки в 20 разів вище, ніж у рішень на базі GPU NVIDIA, але й має значно нижчу вартість. Cerebras пропонує цю послугу, починаючи від 10 центів за мільйон токенів для моделі Llama 3.1 8B і 60 центів за мільйон токенів для моделі Llama 3.1 70B, що представляє 100-кратне покращення ціни та продуктивності порівняно з існуючими пропозиціями на основі GPU.

Зберігайте точність, розсуваючи межі швидкості

Одним із найбільш вражаючих аспектів Cerebras Inference є його здатність підтримувати найсучаснішу точність, забезпечуючи неперевершену швидкість. На відміну від інших підходів, які жертвують точністю заради швидкості, рішення Cerebras залишається в межах 16-бітного домену протягом усього циклу висновків. Це гарантує, що приріст продуктивності не відбувається за рахунок якості вихідних даних моделі ШІ, що є вирішальним фактором для розробників, які зосереджуються на точності.

Міка Хілл-Сміт, співзасновник і генеральний директор Artificial Analysis, підкреслив важливість цього досягнення: «Cerebras забезпечує швидкість на порядок вищу, ніж рішення на базі GPU для моделей Meta Llama 3.1 8B і 70B AI. Ми вимірюємо швидкість понад 1,800 вихідних жетонів на секунду на Llama 3.1 8B і понад 446 вихідних жетонів на секунду на Llama 3.1 70B – це новий рекорд у цих тестах».

Зростаюче значення штучного інтелекту

висновок ШІ є найшвидше зростаючим сегментом обчислень штучного інтелекту, на який припадає приблизно 40% усього ринку апаратного забезпечення ШІ. Поява високошвидкісного штучного інтелекту, такого як запропонований Cerebras, схожа на впровадження широкосмугового Інтернету, відкриваючи нові можливості та провіщаючи нову еру для програм ШІ. Завдяки Cerebras Inference розробники тепер можуть створювати програми ШІ наступного покоління, які вимагають складної продуктивності в реальному часі, наприклад агенти ШІ та інтелектуальні системи.

Ендрю Нґ, засновник DeepLearning.AI, підкреслив важливість швидкості в розробці ШІ: «DeepLearning.AI має кілька агентних робочих процесів, які потребують неодноразового запиту LLM для отримання результату. Cerebras створив вражаюче швидку здатність висновків, яка буде дуже корисною для таких навантажень."

Широка підтримка промисловості та стратегічне партнерство

Cerebras заручилася сильною підтримкою лідерів галузі та створила стратегічні партнерства для прискорення розробки додатків ШІ. Кім Бренсон, старший віце-президент із AI/ML у GlaxoSmithKline, першому клієнті Cerebras, підкреслив трансформаційний потенціал цієї технології: «Швидкість і масштаб змінюють усе».

Інші компанії, такі як LiveKit, Розгубленість, і Метер також висловили ентузіазм щодо впливу, який Cerebras Inference матиме на їхні операції. Ці компанії використовують потужність обчислювальних можливостей Cerebras для створення більш чутливого, схожого на людину досвіду штучного інтелекту, покращення взаємодії користувачів із пошуковими системами та покращення систем керування мережею.

Cerebras Inference: рівні та доступність

Cerebras Inference доступний у трьох конкурентоспроможних рівнях: безкоштовно, для розробників і для підприємств. Безкоштовний рівень надає безкоштовний доступ до API із великими обмеженнями на використання, що робить його доступним для широкого кола користувачів. Рівень розробника пропонує гнучкий варіант безсерверного розгортання з моделями Llama 3.1 за ціною 10 і 60 центів за мільйон токенів. Корпоративний рівень обслуговує організації з постійним робочим навантаженням, пропонуючи налаштовані моделі, індивідуальні угоди про рівень обслуговування та спеціальну підтримку, а ціни доступні за запитом.

Powering Cerebras Inference: The Wafer Scale Engine 3 (WSE-3)

Серцем Cerebras Inference є система Cerebras CS-3, яка працює на провідному в галузі Wafer Scale Engine 3 (WSE-3). Цей процесор штучного інтелекту не має собі рівних за розміром і швидкістю, пропонуючи в 7,000 разів більшу пропускну здатність пам’яті, ніж NVIDIA H100. Величезний масштаб WSE-3 дозволяє йому працювати з багатьма одночасними користувачами, забезпечуючи неймовірну швидкість без шкоди для продуктивності. Ця архітектура дозволяє Cerebras обходити компроміси, які зазвичай турбують системи на основі GPU, забезпечуючи найкращу в своєму класі продуктивність для робочих навантажень ШІ.

Повна інтеграція та зручний для розробників API

Cerebras Inference розроблено з урахуванням розробників. Він має API, який повністю сумісний з OpenAI Chat Completions API, що дозволяє легко переносити з мінімальними змінами коду. Цей зручний для розробників підхід гарантує, що інтеграція Cerebras Inference в існуючі робочі процеси буде максимально бездоганною, забезпечуючи швидке розгортання високопродуктивних програм AI.

Cerebras Systems: стимулювання інновацій у галузях

Cerebras Systems є не лише лідером у сфері штучного інтелекту, але й ключовим гравцем у різних галузях, включаючи охорону здоров’я, енергетику, уряд, наукові обчислення та фінансові послуги. Рішення компанії відіграли важливу роль у досягненні проривів у таких установах, як Національні лабораторії, Aleph Alpha, The Mayo Clinic і GlaxoSmithKline.

Забезпечуючи неперевершену швидкість, масштабованість і точність, Cerebras дозволяє організаціям у цих секторах вирішувати деякі з найскладніших проблем ШІ та за його межами. Будь то прискорення відкриття ліків у сфері охорони здоров’я чи розширення обчислювальних можливостей у наукових дослідженнях, Cerebras знаходиться в авангарді інновацій.

Висновок: нова ера для штучного інтелекту

Запуском Cerebras Inference Cerebras Systems встановлює новий стандарт для штучного інтелекту. Пропонуючи в 20 разів швидкість традиційних систем на базі GPU за невелику частку вартості, Cerebras не тільки робить штучний інтелект доступнішим, але й прокладає шлях для наступного покоління додатків ШІ. Завдяки передовим технологіям, стратегічним партнерствам і прихильності до інновацій, Cerebras готовий привести індустрію ШІ в нову еру безпрецедентної продуктивності та масштабованості.

Щоб дізнатися більше про Cerebras Systems і спробувати Cerebras Inference, відвідайте веб-сайт www.cerebras.ai.