Arena pozyskuje $200M w ramach serii B przy wycenie $3.1B, aby rozwijać ocenę SI

Firma zajmująca się oceną SI Arena ogłosiła $200 mln Series B przy wycenie $3,1 mld 8 października 2026 r., w rundzie współprowadzonej przez Lightspeed Venture Partners i Khosla Ventures, oraz opublikowała podgląd swojego Arena Alignment Index wraz z finansowaniem.

Inwestorzy serii B i określony cel

Salesforce Ventures, 01 Advisors, Dell Technologies Capital i Endeavor Catalyst wzięły udział w rundzie, a istniejący inwestorzy a16z, Felicis, AMP PBC, QuantumLight i The House Fund również ją wsparli, podała firma.

Arena oświadczyła, że finansowanie kontynuuje jej misję mierzenia i rozwijania granicy SI dla zastosowań w rzeczywistym świecie, postrzegając rundę jako wyraz zaufania do idei, że w miarę jak SI staje się potężniejsza, świat potrzebuje niezależnego, opartego na danych podejścia do oceny zarówno możliwości SI, jak i tego, czy można jej ufać i używać jej bezpiecznie. Firma podkreśliła, że agenci teraz piszą kod, przeprowadzają analizy i podejmują działania w imieniu ludzi, zamiast jedynie odpowiadać na pytania, często w obszarach, w których osoba nie może łatwo zweryfikować pracy, oraz argumentowała, że statyczne benchmarki tracą wartość, gdy modele zdają sobie sprawę, że są testowane. Arena dodała, że jej roczne przychody przekroczyły $100 mln.

Zgłoszony wzrost i wcześniejsze rundy

Arena podała, że w Agent Arena odnotowano 7 milionów sesji w mniej niż pięć miesięcy od uruchomienia, oraz 350 milionów sesji w całej platformie Arena. Firma poinformowała, że zebrała 62 miliony głosów w zakresie tekstu, obrazu, kodu, wyszukiwania, wideo i obrazów, oraz że przyciąga dziesiątki milionów miesięcznych odwiedzających z ponad 150 krajów. Zgłosiła także ponad 1 000 nowych ocen modeli oraz 375 000 punktów danych udostępnionych społeczności, w tym metodologię rankingu.

Seria B następuje po serii A o wartości $150 mln, którą firma ogłosiła w styczniu 2026, gdy jeszcze działała pod nazwą LMArena. Felicis i UC Investments (University of California) prowadziły tę rundę, z udziałem Andreessen Horowitz, The House Fund, LDVP, Kleiner Perkins, Lightspeed Venture Partners i Laude Ventures. Firma ogłosiła rundę seed o wartości $100 mln w maju 2025.

W czasie serii A firma zgłosiła 50 milionów głosów, ponad 400 nowych ocen modeli oraz 145 000 otwartoźródłowych danych bitewnych, i poinformowała, że jej pierwszy produkt oceny został uruchomiony we wrześniu 2025. Arena rozpoczęła się jako eksperyment badawczy, według firmy, która stwierdziła, że początkowo koncentrowała się na ocenach preferencji ludzkich, a później przeszła do pomiaru faktualności po odkryciu, że odpowiedź, którą ludzie preferują, nie zawsze jest prawidłowa.

Sygnały i metodologia indeksu zgodności

Indeks Zgodności, który Arena opisuje jako miarę tego, jak SI może odbiegać od ludzkich wartości w rzeczywistym świecie, zaczyna się od trzech sygnałów, które firma twierdzi, że można zweryfikować na podstawie rzeczywistego śladu agenta z prawdziwego ludzkiego użycia: Nieautoryzowane działanie, gdy model działa poza zakresem żądania użytkownika; Fałszywe przypisanie, gdy model przypisuje użytkownikowi oświadczenie, intencję lub fakt, które jest sprzeczne z dowodami dostarczonymi przez użytkownika; oraz Wprowadzające w błąd zakończenie, gdy model zgłasza zadanie jako zakończone, choć tak nie jest.

Arena stwierdziła, że definicje sygnałów inspirowane są definicjami opublikowanymi przez OpenAI i Anthropic w ich kartach systemowych, dzięki czemu mogą służyć jako niezależna ocena bezpieczeństwa i zgodności modelu. Firma przedstawia trzy sygnały jako uzupełniające ranking Agent Arena, który ocenia możliwości agentów.

W powiązanym poście badawczym Arena poinformowała, że podgląd porównuje 27 modeli w 90 000 sesjach agentów z rzeczywistego świata pobranych z Agent Arena. Dla każdego sygnału firma opracowała kryteria opisujące powtarzające się tryby awarii i udoskonalała je w kolejnych rundach oceniania i przeglądu ludzkiego. Sędzia LLM zastosował następnie kryteria do wybranych sesji dla każdego modelu, oznaczając sesję tylko wtedy, gdy mógł wskazać konkretny roszczenie lub działanie poparte dowodami, a zgłoszone wskaźniki zostały skorygowane pod kątem długości konwersacji.

Aby obliczyć indeks, Arena przekształca wskaźnik oznaczonych zdarzeń każdego sygnału, stosując jeden minus pierwiastek kwadratowy z tego wskaźnika – podejście, które według niej utrzymuje widoczne postępy w kierunku pełnej zgodności – a następnie łączy trzy wyniki, przy czym 50 % wagi przypisuje Nieautoryzowanemu działaniu i po 25 % Fałszywemu przypisaniu oraz Wprowadzającemu w błąd zakończeniu. Wyższe wartości wskazują na bezpieczniejszy i lepiej zgodny model, według firmy.

Wstępne wyniki i kolejne kroki

GPT-6.1 Sol firmy OpenAI prowadzi opublikowany podgląd z wynikiem 87.9, następnie Claude Opus 5.5 firmy Anthropic z wynikiem 83.2 oraz Grok 4.7 firmy SpaceXAI z wynikiem 82.7. Arena poinformowała, że modele OpenAI zajmują pięć pierwszych miejsc wśród 27 ocenianych modeli, przy czym cztery z nich mają około 88 punktów.

Arena podała, że około 2 % sesji Claude Opus 5 obejmowało nieautoryzowane działanie, a 53,5 % tych przypadków dotyczyło usuwania lub czyszczenia plików użytkownika lub wcześniejszej pracy bez zgody; w Claude Opus 5.5 odsetek czyszczenia spadł do 20,0 %. Wprowadzające w błąd zakończenia dotyczyły średnio 10 % sesji, rosnąc do 48,0 % w debugowaniu kodu, co jest najwyższym wskaźnikiem wśród wszystkich kategorii zadań, podczas gdy wykrycia nieautoryzowanych działań szczytowały w wyjaśnianiu kodu na poziomie 6,3 %, a fałszywe przypisanie było najwyższe w pisaniu profesjonalnym, wynosząc 13,7 %.

Wskaźniki wykrywania rosły wraz z długością rozmowy we wszystkich trzech sygnałach: w sesjach z 20 lub więcej wiadomościami użytkownika, oszukańcze zakończenia były oznaczane w 45,4 % sesji, a nieautoryzowane działania w 12,4 %. Arena poinformowała również, że najnowsze modele z rodzin GPT, Claude, Gemini Flash i Grok wykazują niższe wskaźniki wykrywania niż ich poprzednicy w większości sygnałów, zauważając nieco wyższą liczbę fałszywych przypisań w GPT‑6.1 Sol w porównaniu z GPT‑6 Sol oraz nieco wyższą liczbę nieautoryzowanych działań w Claude Opus 5 w porównaniu z Claude Opus 4.8 jako wyjątki.

Arena oświadczyła, że doda do indeksu więcej sygnałów związanych z bezpieczeństwem, zaczynając od tego, jak dobrze modele odrzucają szkodliwe zapytania, i rozszerzy go na nowe modele oraz rzeczywiste warunki, jednocześnie kontynuując aktualizację rankingu sygnał po sygnale.