Rozhovory

Rahul Nambiar, spoluzakladatel a generální ředitel Propensity Labs – série rozhovorů

Antoine Tardif
Přidejte Unite.AI mezi své preferované zdroje na Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Klíčové bodyPřizpůsobení promptů levnějšímu modelu mu umožnilo vyrovnat se prémiovému modelu za 7 %…
Zobrazit více
  • Přizpůsobení promptů levnějšímu modelu mu umožnilo vyrovnat se prémiovému modelu za 7 % nákladů.
  • Levnější modely často selhávají kvůli opravitelným vzorcům chování, nikoli kvůli nedostatečné surové schopnosti.
  • Týmy by měly měřit náklady na úspěšně dokončený úkol, nikoli pouze náklady na token.

Rahul Nambiar je spoluzakladatelem a generálním ředitelem společnosti Propensity Labs. Předtím budoval rozsáhlou infrastrukturu v AWS a poté přešel do Meta, kde vedl práci na inventáři uživatelských dat v exabajtovém měřítku s využitím klasifikace pomocí strojového učení. Nyní se zaměřuje na to, jak se modely umělé inteligence chovají, a na spojení směrování mezi modely s přizpůsobováním instrukcí s cílem zvýšit nákladovou efektivitu a spolehlivost pracovních postupů založených na agentech.

Propensity Labs vyvíjí systémy, které týmům pomáhají vybírat modely umělé inteligence a směrovat jejich využití podle konkrétní pracovní zátěže. Její přístup kombinuje vyhodnocování chování modelů, automatické přizpůsobování promptů a směrování mezi modely, aby uživatelům pomohl lépe využívat dostupné modely, aniž by se museli stát odborníky na každý z nich.

Vaše kariéra vás zavedla z Meta, kde jste vedl práci na technologiích ochrany soukromí v rámci projektu inventáře dat v exabajtovém měřítku, přes AWS až k současné roli generálního ředitele Propensity Labs. Jak vaše technické zázemí ovlivnilo váš pohled na omezení současných modelů umělé inteligence a možnosti specializovaného směrování instrukcí?

Začínal jsem skutečně v AWS a potom jsem přešel do Meta. Při budování rozsáhlých systémů jsem se naučil, že často lze dosáhnout výrazného zlepšení, když pochopíme a optimalizujeme chování jejich základních součástí, místo abychom je považovali za zaměnitelné černé skříňky. Totéž platí pro modely umělé inteligence. Zjistili jsme, že i velmi schopné modely mají své zvláštnosti v chování, které lze pochopit a obejít; výsledkem bývá často překvapivě výrazné zlepšení výkonu i nákladové efektivity.

Ve svém nedávném experimentu jste ukázal, že menší modely využívané prostřednictvím směrování překonaly prémiové modely za zlomek nákladů. Jaké jsou hlavní technické překážky při zavádění tohoto typu směrování modelů do produkčního prostředí ve srovnání s testováním na benchmarku?

Přizpůsobením promptů modelu Luna a jeho slabým stránkám jsme dosáhli toho, že podal stejný výkon jako Sol za 7 % nákladů, a to v komplexním agentním benchmarku Tau3 od Sierra. Směrováním mezi modelem Luna s přizpůsobenými prompty a modelem Sol jsme dosáhli stejného výkonu jako Astra za 16 % jejích nákladů.

Jedním z hlavních poznatků pro nás bylo, že směrování i přizpůsobování promptů musí být přesně přizpůsobeny konkrétní pracovní zátěži. Benchmarky nabízejí přehledná prostředí a hodnoticí nástroje, pomocí nichž lze zkoumat, jak si model vede při konkrétním úkolu, a vyhodnotit jeho výkon. Na základě toho lze určit, jak prompty modelu přizpůsobit a kdy směrovat úkol ke kterému modelu.

Produkční pracovní postupy nejsou tak přehledně uspořádané. Máte k dispozici záznamy o tom, jak modely plní úkoly, ale neexistuje spolehlivý způsob, jak zjistit, zda je skutečně splnily a jak vypadá dobrý výsledek. Naučili jsme se proto vycházet z existujících dat o používání, ať už jde o výsledky evaluací, nebo záznamy z produkčního prostředí, a znovu sestavit evaluační prostředí, které nám umožní testovat různé modely a způsoby přizpůsobení při stejné pracovní zátěži.

Zajímavé je, že směrování a přizpůsobování je třeba posuzovat společně. Levnější model může při plnění úkolu se stávajícími prompty selhat, ale uspět, jakmile prompty přizpůsobíte jeho způsobu fungování. Tím se mění i výběr modelu, ke kterému byste měli úkol původně směrovat.

Zmiňujete přizpůsobování instrukcí konkrétním modelům. Jak rozlišujete mezi instrukcemi, které jsou univerzální, a těmi, jež je nutné jedinečně přizpůsobit silným a slabým stránkám konkrétní architektury modelu?

Mnoho instrukcí, které se zdají univerzální, je třeba přizpůsobit konkrétnímu modelu. Jednoduchým příkladem jsou halucinace v odpovědích v jediném kole. Zkoumali jsme zde dva různé modely: DeepSeek V4 Pro a GPT-6 Luna. Oba mají silný sklon si vymýšlet, když odpověď neznají. Něco v jejich trénovacím procesu způsobuje, že se velmi zdráhají zdržet odpovědi a říct „Nevím“. Jejich chování je podobné, ale způsoby, jak je pomocí promptů omezit, se výrazně liší.

Model DeepSeek V4 Pro lze přimět, aby se zdržel odpovědi stejně často jako modely Claude, pokud mu předložíte řadu různých formulací typu „Nevadí, když řekneš, že nevíš“. Stejný postup má na model Luna jen malý účinek. Luna nejlépe reaguje na stanovení sankce za chybnou odpověď. Například formulace „Za chybnou odpověď se odečítá 90 bodů, zatímco za správnou se přičítá pouze 10 bodů“ způsobí, že se Luna zdrží odpovědi stejně často jako její větší sourozenec Sol. Chování je stejné, ale způsoby, jak oba modely od něj odradit, se velmi liší. Chcete-li přizpůsobit instrukce konkrétnímu modelu, musíte důkladně porozumět jak modelu, tak pracovnímu postupu, v němž je nasazen.

Firmy přecházejí k pracovním postupům založeným na agentech. Jaké důkazy podle vás ukazují, že směrování mezi levnějšími specializovanými modely je trvalejší strategií než čekání na jediný, stále schopnější špičkový model, který zvládne všechno?

Nový špičkový model se objevuje zhruba každý týden. Představte si, že si právě teď pro celý svůj pracovní postup vyberete ten největší a nejlepší model. Za pár měsíců, nebo dokonce týdnů, budou pravděpodobně dostupné menší modely, které zvládnou velkou část vašeho pracovního postupu, ne-li celý. Zároveň se nejspíš objeví i větší nebo specializovanější modely, které budou ve vašem pracovním postupu výkonnější. Pokud mezi modely nepřecházíte ani mezi nimi úkoly nesměrujete, přicházíte o možné zvýšení výkonu i úsporu nákladů.

Držet s tím vším krok je ale náročné a lidé by se neměli muset stát odborníky na všechny různé modely. Právě s tím podle nás můžeme pomoci: zajistíme, abyste pro svou úlohu měli vždy k dispozici nejlepší model za nejnižší cenu odpovídající požadované úrovni výkonu. Někdy to znamená vybrat pro část vaší úlohy nejvýkonnější dostupný model, jindy zase upravit většinu vaší úlohy tak, aby ji zvládly výrazně levnější modely.

Jak při správě systému, který rozděluje úlohy mezi více modelů, zajišťujete konzistenci dat a ochranu soukromí, zejména když se tyto úlohy týkají citlivých informací?

Fungujeme jako vrstva mezi uživateli a poskytovateli modelů. Uživatelé si vyberou poskytovatele, které chtějí využívat, a použijí vlastní klíče API. Z nabídky těchto poskytovatelů vybereme nejlepší model pro jejich úlohy nebo jejich části, úlohu upravíme a předáme ji příslušným modelům. Používáme pouze výsledky evaluací nebo záznamy tras, které se zákazník rozhodne sdílet, a jeho data netrénujeme ani neuchováváme.

Spoluzaložil jste Propensity Labs s Manou Azarm. Jak rozdělujete pozornost mezi výzkumně zaměřenou oblast chování modelů a praktickou stránku systémového inženýrství při budování těchto agentních procesních řetězců?

Naše dovednosti se v této oblasti dobře doplňují. Mana, naše hlavní vědecká pracovnice a zároveň profesorka, se více zaměřuje na chování modelů, zatímco já se věnuji systémovému inženýrství. Tedy alespoň takhle bychom si to představovali. Ve skutečnosti je to složitější a každý z nás nakonec pracuje na tom, co zrovna představuje hlavní překážku.

Co by měli technickými ředitelé, kteří nyní utrácejí značné částky za prémiová volání API modelů, vyzkoušet jako první při testování směrování mezi modely a přizpůsobování instrukcí v rámci stávajících pracovních postupů?

Ozvěte se nám! Ale vážně, zkusil bych na konkrétní úloze spustit menší model z nejnovější generace a zjistit, co dokáže. Mám podezření, že spousta lidí stále používá větší modely z předchozích generací a vzhledem k tomu, jak rychle se modely zlepšují, si dosud neuvědomila, že v poslední době vznikly menší a levnější alternativy, které jejich úlohy zvládnou.

Jaké jsou nejčastější mylné představy vývojářů o tom, co levnější modely dokážou, pokud jsou správně omezené nebo vedené?

Nejčastější mylnou představou je, že když levnější model selže, jednoduše nemá dostatečné schopnosti. Myslím, že je přínosné podrobně analyzovat, jak a v čem levnější modely ve vašich pracovních postupech selhávají. Část těchto selhání způsobují vzorce chování, kterým modely mají tendenci podléhat; pokud je rozpoznáte a navedete model, aby se jim vyhnul, může to stačit k tomu, aby úlohu zvládl. Další část tvoří úlohy, k jejichž správnému provedení levnějšímu modelu jednoduše chybí základní schopnosti. V takovém případě potřebujete výkonnější model.

Vaše práce se dotýká průsečíku ochrany soukromí, škálování a nákladů. Když se podíváte na příštích 12–18 měsíců vývoje infrastruktury pro AI, v čem podle vás bude největší rozpor mezi tím, co firmy potřebují, a tím, co jim současný ekosystém nástrojů nabízí?

Když mluvím s lidmi, kteří nasazují modely do produkčního prostředí, často u nich pozoruji strach, že jim něco unikne (FOMO), a do jisté míry také únavu z toho, jak musí držet krok s novými modely a jejich rostoucími schopnostmi. Většina technologií se postupem času používá a nasazuje snáze. U velkých jazykových modelů (LLM) je to naopak čím dál obtížnější: na výběr je spousta modelů i nastavení (teplota, intenzita uvažování, ukládání do mezipaměti). Myslím, že by týmům, které modely používají, velmi pomohlo vše zjednodušit a skrýt složitosti, aby se mohly soustředit na to, čeho chtějí pomocí modelů dosáhnout, a ne na to, jak toho dosáhnout.

Které metriky by měl technický tým upřednostnit, když začne experimentovat se směrováním mezi více modely, aby se nesoustředil pouze na snižování nákladů na úkor spolehlivosti?

Začal bych mírou úspěšného dokončení úloh, mírou selhání, latencí a náklady na každou úspěšně dokončenou úlohu. Samotné náklady na token nejsou příliš užitečné, pokud levnější model častěji selhává. Je proto potřeba započítat celkové náklady na úlohu – včetně opakovaných pokusů a všech klasifikátorů či rozhodovacích modelů, které voláte kvůli směrování.

Obtížné je měřit spolehlivost. Setkali jsme se s častým scénářem, kdy mají týmy potíže s migrací svých agentů z jednoho modelu na jiný, několik měsíců se intenzivně věnují evaluacím a pak zjistí, že přechod mezi modely je mnohem snazší. Důrazně doporučuji co nejdříve investovat do kvalitních evaluací vašich pracovních postupů a průběžně je aktualizovat podle toho, jak se mění vaše postupy i způsob, jakým je uživatelé využívají.

Děkuji za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o směrování mezi modely, přizpůsobování instrukcí a metodách evaluace pro spolehlivější a nákladově efektivnější pracovní postupy s AI, mohou navštívit Propensity Labs.

Antoine je vizionářský lídr a zakládající partner Unite.AI, kterého pohání neochvějné nadšení pro utváření a podporu budoucnosti umělé inteligence a robotiky. Jako podnikatel, který založil několik společností, věří, že AI promění společnost stejně zásadně jako elektřina, a často s nadšením hovoří o potenciálu převratných technologií a obecné umělé inteligence (AGI).

Jako futurista se věnuje zkoumání toho, jak tyto inovace budou utvářet náš svět. Je také zakladatelem Securities.io, platformy zaměřené na investice do špičkových technologií, které nově definují budoucnost a proměňují celá odvětví.