Fallet för att decentralisera din AI-tekniska stack

Så mycket av samtalet om AI-utveckling har blivit dominerat av en futuristisk och filosofisk debatt – borde vi närma oss allmän artificiell intelligens, där AI kommer att bli tillräckligt avancerad för att utföra alla uppgifter som en människa? Är det ens möjligt?

Medan accelerationen versus retardationen är en viktig och aktuell diskussion med framsteg som Q-star-modellen, är andra aspekter också viktiga. Framför allt, vikten av att decentralisera din tekniska stack och hur man gör det utan att det blir för dyrt. Dessa två utmaningar kan kännas som motsatsen: att bygga och distribuera modeller är otroligt dyrt, men att förlita sig för mycket på en modell kan vara skadligt på lång sikt. Jag känner till denna utmaning personligen som AI-grundare.

För att bygga intelligens behöver du talang, data och skalbar beräkning. För att påskynda tiden till marknaden och göra mer med mindre, kommer många företag att välja att bygga på befintliga modeller, snarare än att bygga från grunden. Och tillvägagångssättet är logiskt när det du bygger är så resurskrävande. Denna utmaning förstärks av att, till skillnad från programvara, de flesta vinsterna hittills inom AI har gjorts genom att lägga till mer skala, vilket kräver mer beräkningskraft och därmed kostnad.

Men vad händer när företaget som du har byggt din lösning i upplever en styrningsmisslyckande eller en produktavbrott? Ur ett praktiskt perspektiv innebär att förlita sig på en enda modell för att bygga din produkt att du nu är en del av en negativ effekt för allt som händer.

Vi måste också komma ihåg riskerna med att arbeta med system som är probabilistiska. Vi är inte vana vid detta och världen vi lever i har hittills varit utformad och designad för att fungera med ett definitivt svar. Modeller är flytande när det gäller utdata, och företag justerar ständigt modellerna, vilket innebär att koden du har skrivit för att stödja dessa och resultaten dina kunder förlitar sig på kan ändras utan din kännedom eller kontroll.

Centralisering skapar också säkerhetsproblem eftersom det introducerar en enda punkt för fel. Varje företag arbetar i sitt eget bästa intresse. Om det finns ett säkerhets- eller riskproblem med en modell, har du mycket mindre kontroll över att åtgärda problemet eller mindre tillgång till alternativ.

Var lämnar det oss?

AI kommer utan tvekan att förbättra hur vi lever. Det finns så mycket som det kan uppnå och lösa, från hur vi samlar in information till hur vi förstår stora mängder data. Men med denna möjlighet kommer också risk. Om vi förlitar oss för mycket på en enda modell, öppnar alla företag sig för både säkerhets- och produktutmaningar.

För att lösa detta måste vi minska inferenskostnaderna och göra det lättare för företag att ha en multi-modellansats. Och naturligtvis handlar allt om data. Data och dataägande kommer att spela roll. Ju unik, högkvalitativ och tillgänglig data är, desto mer användbar kommer den att vara.

För många problem kan du optimera modeller för ett specifikt tillämpningsområde. Den sista milen av AI är företag som bygger routningslogik, utvärderingar och orkestreringslager ovanpå dessa olika modeller, specialiserar dem för olika vertikaler.

Det har funnits flera betydande investeringar i detta område som tar oss närmare detta mål. Mistals nyliga (och imponerande) finansieringsrunda är ett lovande steg mot en OpenAI-alternativ. Det finns också företag som hjälper andra AI-leverantörer att göra cross-modell multiplexing till verklighet och minska inferenskostnader via specialiserad maskinvara, programvara och modelldestillation, som ett par exempel.

Vi kommer också att se öppen källkod ta av, och regeringsorgan måste möjliggöra öppen källkod för att den ska förbli öppen. Med öppen källkodsmodeller är det lättare att ha mer kontroll. Men prestandagapen finns fortfarande.

Jag antar att vi kommer att hamna i en värld där du kommer att ha juniora modeller som är optimerade för att utföra mindre komplexa uppgifter i skala, medan större superintelligenta modeller kommer att fungera som orakel för uppdateringar och kommer att öka beräkningskraften för att lösa mer komplexa problem. Du behöver inte en trillionparametrisk modell för att svara på en kundtjänsteförfrågan. Jag liknar det vid att inte ha en senior chef som hanterar en uppgift som en praktikant kan hantera. Liksom vi har flera roller för mänskliga motsvarigheter, kommer de flesta företag också att förlita sig på en samling modeller med olika nivåer av sofistikering.

För att uppnå denna balans behöver du en tydlig uppgiftsdelning och benchmarking, med hänsyn till tid, beräkningskomplexitet, kostnad och krävd skala. Beroende på användningsfallet kan du prioritera enligt. Bestäm en grundtruth, ett idealt resultat för jämförelse och ett exempel på indata och utdata, så att du kan köra olika prompter för att optimera och få det närmaste resultatet till grundtruthen.

Om AI-företag kan decentralisera sin tekniska stack och bygga på flera modeller, kan vi förbättra säkerheten och tillförlitligheten hos dessa verktyg och därmed maximera den positiva effekten av AI. Vi är inte längre på en plats för teoretiska debatter – det är dags att fokusera på hur vi kan använda AI för att göra dessa teknologier mer effektiva och resilienta.