Het geval voor decentralisatie van uw AI-techstack

Zo veel van de conversatie over AI-ontwikkeling is gaan domineren door een futuristische en filosofische discussie – moeten we general artificial intelligence benaderen, waarbij AI geavanceerd genoeg wordt om elke taak uit te voeren zoals een mens dat kan? Is dat zelfs mogelijk?

Terwijl de versnelling versus vertraging discussie belangrijk en actueel is met ontwikkelingen zoals het Q-star model, zijn er ook andere aspecten die ertoe doen. Voornamelijk, het belang van decentralisatie van uw technologie stack, en hoe dat te doen zonder dat het te veel kosten met zich meebrengt. Deze twee uitdagingen kunnen tegenstrijdig lijken: het bouwen en implementeren van modellen is enorm duur, maar te veel afhankelijk zijn van één model kan op lange termijn nadelig zijn. Ik ken deze uitdaging persoonlijk als AI-oprichter.

Om intelligentie te bouwen, hebt u talent, data en schaalbare compute nodig. Om de tijd tot markt en meer te doen met minder te versnellen, zullen veel bedrijven ervoor kiezen om te bouwen op bestaande modellen, in plaats van vanaf de grond af aan te bouwen. En deze aanpak heeft zin wanneer wat u bouwt zo resource-intensief is. Deze uitdaging wordt verergerd doordat, in tegenstelling tot software, de meeste voordelen tot nu toe in AI zijn behaald door meer schaal toe te voegen, wat meer rekenkracht en dus kosten vereist.

Maar wat gebeurt er wanneer het bedrijf waarop u uw oplossing hebt gebouwd een governance-fout of een productstoring meemaakt? Vanuit een praktisch oogpunt betekent het afhankelijk zijn van één model om uw product te bouwen, dat u nu deel bent van een negatieve ripple-effect voor alles wat gebeurt.

We moeten ons ook herinneren aan de risico’s van het werken met systemen die probabilistisch zijn. We zijn hier niet aan gewend en de wereld waarin we tot nu toe hebben geleefd, is ontworpen en gebouwd om met een definitief antwoord te functioneren. Modellen zijn vloeibaar in termen van output, en bedrijven passen de modellen constant aan, wat betekent dat de code die u hebt geschreven om deze te ondersteunen en de resultaten waarop uw klanten vertrouwen, kan veranderen zonder uw kennis of controle.

Centralisatie creëert ook veiligheidsproblemen omdat het een enkel punt van falen introduceert. Elk bedrijf werkt in het beste belang van zichzelf. Als er een veiligheids- of risicoprobleem is met een model, hebt u veel minder controle over het oplossen van dat probleem of minder toegang tot alternatieven.

Where does that leave us?

AI is onbetwistbaar going om te verbeteren hoe we leven. Er is zo veel dat het kan bereiken en oplossen, van hoe we informatie verzamelen tot hoe we grote hoeveelheden data begrijpen. Maar met die kans komt ook risico. Als we te veel afhankelijk zijn van één model, openen alle bedrijven zich voor zowel veiligheids- als productuitdagingen.

Om dit op te lossen, moeten we de inferentiekosten verlagen en het voor bedrijven gemakkelijker maken om een multi-modelaanpak te hebben. En natuurlijk, alles komt neer op data. Data en data-eigendom zullen ertoe doen. Hoe unieker, hoger van kwaliteit en beschikbaarder de data, hoe nuttiger het zal zijn.

Voor veel problemen kunt u modellen optimaliseren voor een specifieke toepassing. De laatste mijl van AI is bedrijven die routeringslogica, evaluaties en orkestratielagen bouwen op deze verschillende modellen, gespecialiseerd voor verschillende verticale markten.

Er zijn meerdere substantiële investeringen in deze ruimte die ons dichter bij dit doel brengen. Mistal’s recente (en indrukwekkende) financieringsronde is een veelbelovende ontwikkeling naar een OpenAI-alternatief. Er zijn ook bedrijven die andere AI-aanbieders helpen om cross-model multiplexing tot werkelijkheid te maken en de inferentiekosten te verlagen via gespecialiseerde hardware, software en modeldestillatie, als een paar voorbeelden.

We zullen ook open source zien opkomen, en overheidsinstanties moeten open source mogelijk maken om open te blijven. Met open-source modellen is het gemakkelijker om meer controle te hebben. Echter, de prestatiegapen zijn er nog steeds.

Ik neem aan dat we uiteindelijk in een wereld zullen belanden waarin u junior modellen hebt die zijn geoptimaliseerd om minder complexe taken op grote schaal uit te voeren, terwijl grotere superintelligente modellen als orakels voor updates zullen fungeren en steeds meer rekenkracht zullen besteden aan het oplossen van complexere problemen. U hebt geen model met een triljoen parameters nodig om op een klantenservicerequest te reageren. Ik vergelijk het met het niet laten beheren van een taak door een senior executive die een intern kan uitvoeren. Net zoals we meerdere rollen hebben voor menselijke tegenhangers, zullen de meeste bedrijven ook afhankelijk zijn van een verzameling modellen met verschillende niveaus van geavanceerdheid.

Om deze balans te bereiken, hebt u een duidelijke taakverdeling en benchmarking nodig, waarbij u rekening houdt met de tijd, de computationele complexiteit, de kosten en de vereiste schaal. Afhankelijk van de use case, kunt u prioriteit geven. Bepaal een grondwaarheid, een ideale uitkomst voor vergelijking, en een voorbeeld van invoer- en uitvoergegevens, zodat u verschillende prompts kunt uitvoeren om te optimaliseren en de dichtstbijzijnde uitkomst te krijgen tot de grondwaarheid.

Als AI-bedrijven hun technische stack succesvol kunnen decentraliseren en bouwen op meerdere modellen, kunnen we de veiligheid en betrouwbaarheid van deze tools verbeteren en zo het positieve effect van AI maximaliseren. We zijn niet langer in een plaats voor theoretische debatten – het is tijd om ons te concentreren op hoe we AI kunnen inzetten om deze technologieën effectiever en veerkrachtiger te maken.