Modele i platformy AI
Ewaluacja OpenAI LifeVal sprawdza AI w praktycznych, codziennych zadaniach
Dodaj Unite.AI do preferowanych źródeł w Google
2 listopada 2026 r. OpenAI opublikowało LifeVal — ewaluację opartą częściowo na ankiecie przeprowadzonej wśród 3 995 respondentów, która ma śledzić w czasie skuteczność modeli AI w praktycznych zadaniach, takich jak znalezienie opieki nad dziećmi, przygotowanie budżetu i zamówienie zakupów spożywczych.
LifeVal obejmuje obszary, w których użytkownicy chcieli uzyskać pomoc od AI i osobistych agentów. W ciągu ostatniego roku OpenAI wykorzystywało tę ewaluację do monitorowania wyników modeli i ukierunkowywania prac nad ich usprawnianiem w codziennych zadaniach. Ewaluacja mierzy praktyczną pomoc: sprawdza, czy model potrafi pomóc komuś podejmować decyzje, radzić sobie z rutynowymi obowiązkami i podejmować znaczące działania. Dzięki temu zakres oceny wykracza poza akademickie testy wiedzy modeli. Inne przykłady praktycznej pomocy to korzystanie z usług publicznych, przygotowanie się do szkoły, modyfikowanie przepisów kulinarnych i układanie planów treningowych.
Dobór zadań i dane o wykorzystaniu czasu
Dobór zadań OpenAI rozpoczęło od dwóch badań obejmujących Stany Zjednoczone i inne kraje. Amerykańskie badanie wykorzystania czasu mierzy, ile czasu ludzie poświęcają na takie czynności jak praca zarobkowa, opieka nad dziećmi, wolontariat i spotkania towarzyskie. Międzynarodowe badanie wykorzystania czasu łączy ponad milion dni zapisów z dzienniczków pochodzących z ponad 100 losowo dobranych badań o zasięgu krajowym w jednym ujednoliconym formacie. Umożliwia analizę czasu poświęcanego na pracę i wypoczynek w 30 krajach na przestrzeni 55 lat.
Wykorzystane łącznie zbiory danych pokazują, jak codzienne czynności różnią się w zależności od grupy demograficznej, pory dnia i pory roku. OpenAI uzupełniło je o nowe badanie reprezentatywne pod względem demograficznym, w którym pytano o każde zadanie, aby ustalić, w jakich obszarach respondenci chcieliby uzyskać pomoc osobistego asystenta. Uwzględnione obszary zadań obejmują opiekę nad innymi, zdrowie, edukację, prowadzenie spraw domowych, finanse osobiste, zakupy i korzystanie z usług publicznych.
Podane wyniki dla pięciu scenariuszy pracy
OpenAI podaje wyniki swoich obecnych modeli w pięciu praktycznych scenariuszach pracy. Każdy przykład zawiera prośbę użytkownika, odpowiedź i wynik procentowy:
| Scenariusz pracy | Podany wynik | Przykładowa odpowiedź |
|---|---|---|
| Porównanie przedszkoli po przeprowadzce | 93.1% | Tworzy krótką listę trzech przedszkoli, porządkuje informacje o zapisach i pozostawia użytkownikowi do rozstrzygnięcia dwie kwestie dotyczące preferencji. |
| Koordynacja pomocy sąsiedzkiej przed powodzią dla czterech sąsiadów potrzebujących zabezpieczeń przeciwpowodziowych | 98.0% | Przygotowuje plan działania dla wolontariuszy, którzy mają ocenić teren i pomóc sąsiadom przed nadejściem niebezpiecznej pogody. |
| Poszukiwanie domu dla rodziny w hrabstwie Luzerne | 100% | Znajduje jeden dom spełniający wymagania dotyczące budżetu, osobnego lokalu mieszkalnego i dojazdu do pracy po odwiezieniu dzieci, a także oblicza podatek od przeniesienia własności. |
| Zdalne oglądanie meczu z dziadkiem lub babcią | 96.3% | Organizuje wspólne oglądanie i uwzględnia alternatywne rozwiązanie na wypadek awarii transmisji. |
| Plan opieki po tym, jak u rodzica zdiagnozowano cukrzycę | 90.4% | Przygotowuje plan na pierwszy tydzień, obejmujący posiłki, przypomnienia i pytania do zespołu opiekującego się pacjentem; przed udostępnieniem go prosi użytkownika o sprawdzenie. |
Trenowanie modeli i rola ChatGPT
OpenAI twierdzi, że w ciągu ostatniego roku trenowania jego modele stały się szybsze, bardziej zaawansowane i lepiej dostosowane do zadań związanych z korzystaniem z przeglądarki, obsługą komputera i konektorami. Te możliwości poszerzają zakres pomocy dostępnej za pośrednictwem ChatGPT. Kierunek rozwoju produktu zakłada stworzenie osobistego asystenta działającego w sposób agentowy, który potrafi wykonywać praktyczne zadania, rozszerzając rolę ChatGPT poza rozmowę.
OpenAI twierdzi, że ma nadzieję, iż ewaluacja pomoże w realizacji tego celu pomiarowego.
