Agent Laboratory: Virtuální výzkumný tým AMD a Johns Hopkins

Zatímco všichni jen bzučeli kolem AI činidla a automatizace, AMD a Johns Hopkins University pracují na zlepšení toho, jak lidé a AI spolupracují ve výzkumu. Jejich nový open-source framework, Laboratoř agentů, je kompletní reimaginací toho, jak lze urychlit vědecký výzkum prostřednictvím týmové spolupráce člověka a umělé inteligence.

Po prozkoumání řady výzkumných rámců pro umělou inteligenci vyniká Agent Laboratory svým praktickým přístupem. Místo toho, aby se snažil nahradit lidské výzkumníky (jako mnoho stávajících řešení), zaměřuje se na posílení jejich schopností tím, že se zabývá časově náročnými aspekty výzkumu, přičemž lidem zůstává v rukou.

Hlavní inovace je zde jednoduchá, ale výkonná: Namísto provádění plně autonomního výzkumu (který často vede k pochybným výsledkům), Agent Laboratory vytváří virtuální laboratoř, kde spolupracuje několik specializovaných agentů AI, z nichž každý zpracovává různé aspekty výzkumného procesu a přitom zůstává ukotven k lidskému vedení.

Rozbití virtuální laboratoře

Představte si Agent Laboratory jako dobře organizovaný výzkumný tým, ale s agenty AI hrajícími specializované role. Stejně jako ve skutečné výzkumné laboratoři má každý agent specifické odpovědnosti a odborné znalosti:

• Agent PhD řeší recenze literatury a plánování výzkumu
• Postdoc agenti pomáhají zdokonalovat experimentální přístupy
• O technickou implementaci se starají agenti ML Engineer
• Profesorští agenti hodnotí a hodnotí výsledky výzkumu

Obzvláště zajímavým je tento systém jeho pracovní postup. Na rozdíl od tradičních nástrojů umělé inteligence, které fungují izolovaně, vytváří Agent Laboratory prostředí pro spolupráci, kde tito agenti interagují a navzájem si vylepšují práci.

Proces sleduje přirozený vývoj výzkumu:

1. Přehled literatury: Agent PhD prohledává akademické práce pomocí arXiv API, shromažďování a organizování relevantního výzkumu
2. Formulace plánu: Agenti PhD a postdoktorandi se spojí, aby vytvořili podrobné výzkumné plány
3. Realizace: Agenti ML Engineer píší a testují kód
4. Analýza a dokumentace: Tým spolupracuje na interpretaci výsledků a vytváření komplexních zpráv

Ale tady to začíná být opravdu praktické: Rámec je výpočetně flexibilní, což znamená, že výzkumníci mohou alokovat zdroje na základě jejich přístupu k výpočetnímu výkonu a rozpočtových omezení. To z něj dělá nástroj určený pro výzkumná prostředí v reálném světě.

Schmidgall a kol.

Lidský faktor: Kde se AI setkává s odborností

Zatímco Agent Laboratory nabízí působivé možnosti automatizace, skutečná magie se odehrává v tom, čemu říkají „režim druhého pilota“. V tomto nastavení mohou výzkumníci poskytovat zpětnou vazbu v každé fázi procesu a vytvářet skutečnou spolupráci mezi lidskými znalostmi a pomocí AI.

Data zpětné vazby druhého pilota odhalují některé přesvědčivé poznatky. V autonomním režimu dosáhly papíry generované laboratoří Agent Laboratory průměrně 3.8/10 při hodnocení lidí. Ale když se výzkumníci zapojili do režimu druhého pilota, tato skóre vyskočila na 4.38/10. Zvláště zajímavé je, kde se tato zlepšení projevila – práce dosáhly výrazně vyššího skóre v jasnosti (+0.23) a prezentaci (+0.33).

Ale tady je kontrola reality: i s lidským zapojením tyto práce stále dosáhly asi 1.45 bodu pod přijatým průměrem NeurIPS papíru (který stojí 5.85). To není selhání, ale je to zásadní učení o tom, jak se umělá inteligence a lidská odbornost musí vzájemně doplňovat.

Hodnocení odhalilo ještě něco zajímavého: Recenzenti AI konzistentně hodnotili články o 2.3 bodu výše než lidští recenzenti. Tato mezera zdůrazňuje, proč je lidský dohled při hodnocení výzkumu zásadní.

Schmidgall a kol.

Rozebrat čísla

Na čem ve výzkumném prostředí skutečně záleží? Náklady a výkon. Přístup společnosti Agent Laboratory k porovnávání modelů v tomto ohledu odhaluje překvapivé zvýšení efektivity.

GPT-4o se stal šampionem v rychlosti a celý pracovní postup dokončil za pouhých 1,165.4 3.2 sekundy – to je 1krát rychleji než o5.3-mini a 1krát rychleji než o2.33-preview. Ještě důležitější je však to, že stojí pouhých 15 dolaru za článek. Ve srovnání s předchozími autonomními výzkumnými metodami, které stály kolem 84 dolarů, se jedná o XNUMX% snížení nákladů.

Při pohledu na výkon modelu:

• o1-preview dosáhl nejvyššího skóre v užitečnosti a srozumitelnosti
• o1-mini dosáhl nejlepšího skóre experimentální kvality
• GPT-4o zaostával v metrikách, ale vedl v nákladové efektivitě

Důsledky v reálném světě jsou zde významné.

Výzkumníci si nyní mohou zvolit svůj přístup na základě svých specifických potřeb:

• Potřebujete rychlé prototypování? GPT-4o nabízí rychlost a efektivitu nákladů
• Upřednostňujete experimentální kvalitu? o1-mini může být vaše nejlepší sázka
• Hledáte ten nejjemnější výstup? o1-preview ukazuje slib

Tato flexibilita znamená, že výzkumné týmy mohou přizpůsobit rámec svým zdrojům a požadavkům, spíše než být uzamčeny v univerzálním řešení.

Nová kapitola ve výzkumu

Po prozkoumání možností a výsledků Agent Laboratory jsem přesvědčen, že se nacházíme svědky významného posunu ve způsobu provádění výzkumu. Není to však narativ o nahrazení, který často dominuje titulkům – je to něco mnohem rafinovanějšího a silnějšího.

I když články Agent Laboratory zatím samy o sobě nedosahují nejvyšších standardů konferencí, vytvářejí nové paradigma pro akceleraci výzkumu. Představte si to jako tým asistentů výzkumu v oblasti umělé inteligence, kteří nikdy nespí a každý se specializuje na jiné aspekty vědeckého procesu.

Důsledky pro výzkumníky jsou hluboké:

• Čas strávený recenzemi literatury a základním kódováním by se mohl přesměrovat na kreativní nápady
• Výzkumné nápady, které mohly být odloženy kvůli omezeným zdrojům, se stávají životaschopnými
• Schopnost rychle vytvářet prototypy a testovat hypotézy by mohla vést k rychlejším průlomům

Současná omezení, jako je rozdíl mezi hodnocením umělé inteligence a lidským hodnocením, představují příležitosti. Každá iterace těchto systémů nás přibližuje k sofistikovanější výzkumné spolupráci mezi lidmi a AI.

Při pohledu do budoucna vidím tři klíčové změny, které by mohly přetvořit vědecký objev:

1. Až se výzkumníci naučí efektivně využívat tyto nástroje, objeví se sofistikovanější vzorce spolupráce mezi člověkem a AI
2. Úspora nákladů a času by mohla demokratizovat výzkum a umožnit menším laboratořím a institucím realizovat ambicióznější projekty
3. Schopnosti rychlého prototypování by mohly vést k experimentálnějším přístupům ve výzkumu

Klíčem k maximalizaci tohoto potenciálu je pochopení, že Agent Laboratory a podobné frameworky jsou nástroje pro zesilování, nikoli automatizaci. Budoucnost výzkumu nespočívá ve výběru mezi lidskou expertízou a schopnostmi umělé inteligence – jde o nalezení inovativních způsobů, jak je kombinovat.