Kuinka hyviä ovat tekoälyagentit oikeassa tutkimuksessa? Deep Research Bench -raportin sisällä

Kun suuret kielen mallit (LLM) kehittyvät nopeasti, myös heidän lupauksensa voimakkaina tutkimusavustajina kasvaa. Yhä useammin he eivät vain vastaa yksinkertaisiin faktatietoihin vaan hoitavat “syvän tutkimuksen” tehtäviä, jotka vaativat monivaiheista päättelyä, ristiriitaisten tietojen arviointia, tietojen etsintää verkosta ja niiden yhdistämistä johdonmukaiseksi tulokseksi.

Tämä kehittyvä kyky markkinoidaan nyt eri brändienimillä suurten laboratorioiden toimesta – OpenAI kutsuu sitä “Deep Researchiksi”, Anthropic viittaa siihen “Laajennetulla ajattelulla”, Google Gemini tarjoaa “Haku + Pro” -ominaisuuksia ja Perplexity merkitsee sitä “Pro Search” tai “Deep Research”. Mutta kuinka tehokkaita nämä tarjoukset ovat käytännössä? FutureSearchin uusi raportti, joka on otsikoitu Deep Research Bench (DRB): Arviointi web-tutkimusagenteista, tarjoaa tähän mennessä kattavimman arvion – ja tulokset paljastavat sekä vaikuttavat kyvyt että kriittiset puutteet.

Mitä on Deep Research Bench?

FutureSearch-tiimin luoma Deep Research Bench on tarkkaan rakennettu vertailukohteen, joka on suunniteltu arvioimaan tekoälyagenttien suorituskykyä monivaiheisissa, verkkopohjaisissa tutkimustehtävissä. Nämä eivät ole yksinkertaisia kysymyksiä suoraviivaisilla vastauksilla – ne heijastelevat analyytikkojen, päätöksentekijöiden ja tutkijoiden kohtaamia haasteita todellisissa tilanteissa.

Vertailukohteen sisältää 89 erillistä tehtävää 8 luokassa, kuten:

• Löydä numero: esim. “Kuinka monta FDA-luokan II lääkintälaitteiden takaisinottoja tapahtui?”
• Tarkista väite: esim. “Onko ChatGPT 10 kertaa energiankulutukseltaan suurempi kuin Google-haku?”
• Kokoelma tietoja: esim. “Työllisyystrendit Yhdysvaltain ohjelmistokehittäjille vuosina 2019-2023”

Jokainen tehtävän tyyppi on huolellisesti rakennettu ihmisen tarkastamilla vastauksilla ja arvioidaan käyttäen jäädytettyä verkkosivujen tietokantaa, jota kutsutaan RetroSearchiksi. Tämä varmistaa yhdenmukaisuuden mallien arvioinnissa, välttäen live-verkon muuttuvan tilan.

Mikä on agenttien arkkitehtuuri: ReAct ja RetroSearch?

Deep Research Benchin ytimessä on ReAct-arkkitehtuuri, joka on lyhenne “Reason + Act” -menetelmästä. Tämä menetelmä jäljittelee, miten ihmis tutkija voisi lähestyä ongelmaa – ajattelemalla tehtävän läpi, suorittamalla toiminnon kuten verkkohaku, tarkkailemalla tuloksia ja sitten päättämällä, jatkaaanko vai lopetetaanko.

Vaikka aiemmat mallit seuraavat tätä kiertoa eksplisiittisesti, uudet “ajattelu”-mallit usein suorittavat prosessin sujuvammin, upottamalla päättelyn fluidimmin toimiinsa. Varmistamaan yhdenmukaisuuden arvioissa DRB esittelee RetroSearchin – mukautetun, staattisen version verkosta. Sen sijaan, että mallit riippuvat live-internetistä, joka muuttuu jatkuvasti, ne käyttävät kuratoitua verkkosivujen arkistoa, joka on haettu työkaluilla kuten Serper, Playwright ja ScraperAPI. Mittakaava on vaikuttava: korkean monimutkaisuuden tehtävissä, kuten “Kerää näyttö”, RetroSearch voi tarjota yli 189 000 sivua, kaikki jäädytettyinä ajassa, varmistaen reilun ja toistettavan testiympäristön.

Mitkä tekoälyagentit suoriutuvat parhaiten?

Kaikkien kilpailijoiden joukossa OpenAI:n o3 nousi johtoon, saavuttaen 0,51 pistettä mahdollisesta 1,0 Deep Research Benchissä. Vaikka se saattaa kuulostaa vaatimattomalta, on tärkeää ymmärtää vertailukohteen haasteellisuus: tehtävien epämääräisyyden ja arvostelun vuoksi jopa virheetön agentti saavuttaisi todennäköisesti vain noin 0,8 – mitä tutkijat kutsuvat “melun kattoa”. Toisin sanoen, jopa parhaat mallit nykyään vielä jäävät jälkeen hyvin perustelluista, systemaattisista ihmisistä.

Silti johtajan lista tarjoaa paljastavia näkemyksiä. o3 ei ainoastaan johtanut joukkoa vaan teki sen nopeasti ja johdonmukaisesti, osoittaen vahvaa suorituskykyä lähes kaikissa tehtävissä. Anthropicin Claude 3.7 Sonnet seurasi läheisesti, osoittaen joustavuutta sekä “ajattelussa” että “ei-ajattelussa” tiloissa. Google Gemini 2.5 Pro, Google:n lippulaivamalli, erottui kyvystään suoriutua tehtävistä, jotka vaativat suunnitelmallista suunnittelua ja askelkohtaisia päättelyjä. Samaan aikaan avoimen painoisen DeepSeek-R1 tarjosi miellyttävän yllätyksen – seuraamalla GPT-4 Turboa ja kaventamalla suorituskykyeroa avoimien ja suljettujen mallien välillä.

Yleisesti ottaen selkeä kuva muotoutui: uudet, “ajattelukykyiset” mallit suoriutuivat johdonmukaisesti paremmin kuin edeltäjänsä, ja suljetut mallit ylläpitivät merkittävää etua avoimia vaihtoehtoja vastaan.

Missä agentit kamppailevat?

Lukemalla Deep Research Bench -raportin epäonnistumismalleja tuntui yllättävän tutulta. Yksi ärsyttävimmistä asioista, joita olen itse kohdannut – erityisesti pitkissä tutkimus- tai sisällöntuotantosessioissa – on, kun tekoälyagentti yksinkertaisesti unohtaa, mitä teimme. Kontekstiruutu laajenee, malli alkaa menettää langan – avainyksityiskohdat häviävät, tavoitteet hämärtävät ja vastaukset tuntuvat yhä enemmän hajanaisisilta tai tavoitteettomilta. Jossain vaiheessa olen oppinut, että usein on parempi katkaista tappiot ja aloittaa alusta, vaikka se tarkoittaisi heittää pois kaiken, mitä on luotu tähän asti.

Tällainen unohtaminen ei ole pelkästään anekdoottinen – se on merkittävin epäonnistumisen ennakkoija Deep Research Bench -arvioinnissa. Mutta se ei ole ainoa toistuva ongelma. Raportti korostaa myös, miten jotkut mallit jäävät toistuvaan työkalun käyttöön, suorittaen saman haun toistuvasti kuin olisivat jumissa silmukassa. Toiset osoittavat heikkoa hakukyselyn muodostamista, laiskasti avain sana -muodostusta ajattelematta kriittisesti, miten etsintää voidaan tehdä tehokkaasti. Ja liian usein agentit joutuvat ennenaikaisiin johtopäätöksiin – toimittamalla puolivalmista vastausta, joka teknisesti täyttää ruudun, mutta jää lyhyeksi todellisesta oivalluksesta.

Jopa parhaimmista malleista ero on selkeä. GPT-4 Turbo esimerkiksi osoitti merkittävän taipumuksen unohtaa aiemmat vaiheet, kun taas DeepSeek-R1 oli todennäköisemmin “hallusinoimaan” tai keksimään uskottavasti kuulostavia, mutta virheellisiä tietoja. Yleisesti ottaen mallit epäonnistuivat usein tarkistamasta lähteitä tai vahvistamasta löytöjään ennen lopullisen tuloksen antamista. Kenelle tahansa, joka on luottanut tekoälyyn vakavaan työhön, nämä ongelmat tuntuvat liian tutuilta – ja ne korostavat, kuinka pitkälle meillä on vielä matkaa rakentaa agenteja, jotka voivat todella ajatella ja tutkia kuin ihmiset.

Mitä muistipohjaisesta suorituskyvystä?

Mielenkiintoisesti Deep Research Bench arvioi myös niitä, mitä he kutsuvat “työkaluttomaksi” agenteiksi – kielen malleja, joilla ei ole pääsyä ulkoisiin työkaluihin, kuten verkkohakuun tai asiakirjojen hakemiseen. Nämä agentit luottavat kokonaan sisäisiin koulutusdataansa ja muistiin, generoimalla vastauksia pelkästään siitä, mitä he ovat aiemmin oppineet koulutuksen aikana. Käytännössä tämä tarkoittaa, että he eivät voi etsiä mitään tai vahvistaa tietoja – he arvaavat perustuen siihen, mitä he “muistavat”.

Yllättäen nämä työkaluttomat agentit suoriutuivat lähes yhtä hyvin kuin täydelliset tutkimusagentit tietyissä tehtävissä. Esimerkiksi “Vahvista väite” -tehtävässä, jonka tavoitteena on arvioida lauselman uskottavuutta, he saavuttivat 0,61 pistettä, lähes vastaavan 0,62 keskiarvon työkalupohjaisilla agenteilla. Tämä osoittaa, että mallit kuten o3 ja Claude ovat vahvoja sisäisiä etuoikeuksia ja voivat usein tunnistaa yleisten väitteiden totuuden ilman verkkohakua.

Mutta vaativammassa tehtävissä – kuten “Johda numero”, joka vaatii useiden arvojen yhdistämistä eri lähteistä, tai “Kerää näyttö”, joka riippuu löytämistä ja arvioimisesta moninaisista faktoista kontekstissa – nämä työkaluttomat mallit murskaantuivat täysin. Ilman ajantasaisia tietoja tai reaaliaikaisia hakumahdollisuuksia heillä ei ollut keinoja tuottaa tarkkoja tai kattavia vastauksia.

Tämä kontrasti korostaa tärkeää nuanssia: vaikka nykyiset LLM:t voivat simuloida “tietämistä” paljon, syvä tutkimus riippuu ei ainoastaan muistista, vaan myös päättelystä ajantasaisilla, verifioiduilla tiedoilla – jotka ainoastaan työkalupohjaiset agentit voivat tosiaan tarjota.

Loppusanat

DRB-raportti tekee yhden asian selväksi: vaikka nykyiset parhaat tekoälyagentit voivat ylittää keskivertoihmisen kapeasti määritellyissä tehtävissä, ne jäävät silti jälkeen taitavilta, monipuolisilta tutkijoilta – erityisesti suunnitelmallisen suunnittelun, prosessin aikaisen sopeutumisen ja nuanssin päättelyn suhteen.

Tämä kuilu tulee erityisen ilmeiseksi pitkissä tai monimutkaisissa sessioissa – jotka olen kokenut itse, kun agentti vähitellen menettää tehtävän tarkoituksen, johtaen turhauttavaan romahdukseen johdonmukaisuudessa ja hyödyssä.

Mikä tekee Deep Research Benchistä arvokkaan, on se, että se ei ainoastaan testaa pintapuolisesti tietämystä – se tutkii työkalujen käytön, muistin, päättelyn ja sopeutumisen leikkauspistettä, tarjoten lähempänä olevan vastineen todelliselle tutkimukselle kuin vertailukohdat kuten MMLU tai GSM8k.

Kun LLM:t jatkavat integroitumista vakavaan tietämyksen työhön, FutureSearch-työkalut kuten DRB tulevat olemaan olennaisia arvioimaan ei ainoastaan sitä, mitä nämä järjestelmät tietävät, vaan myös sitä, miten hyvin ne tosiaan toimivat.