Vad har kvantberäkning för generativ AI?

Generativ AI, som till exempel stora språkmodeller (LLM) som ChatGPT, upplever en utanför denna värld tillväxt, som visas i en nylig undersökning av McKinsey Global. Dessa modeller, som är utformade för att generera varierat innehåll som sträcker sig från text och visuella till ljud, hittar tillämpningar inom hälsovård, utbildning, underhållning och företag. Men de omfattande fördelarna med generativ AI åtföljs av betydande finansiella och miljömässiga utmaningar. Till exempel medför ChatGPT en daglig kostnad på 100 000 dollar, vilket belyser den finansiella belastningen som är förknippad med dessa modeller. Utöver ekonomiska problem är den miljömässiga påverkan betydande, eftersom utbildning av en generativ AI-modell som LLM släpper ut cirka 300 ton koldioxid. Trots utbildning medför även användning av generativ AI en betydande energibehov. Till exempel har det rapporterats att generering av 1 000 bilder med hjälp av en generativ AI-modell som Stable Diffusion har en koldioxidavtryck som motsvarar att köra 4,1 mil i en genomsnittlig bil. Enligt en rapport bidrar datacenter som stöder generativ AI till 2–3% av de globala växthusgasutsläppen.

Att tackla generativ AI-utmaningar

Dessa utmaningar härrör främst från de parameterintensiva arkitekturerna för generativ AI, som omfattar miljarder parametrar som tränas på omfattande datamängder. Denna utbildningsprocess bygger på kraftfull maskinvara som GPU:er eller TPU:er, som är särskilt optimerade för parallellbearbetning. Medan denna specialiserade maskinvara förbättrar utbildningseffektiviteten och användningen av generativa AI-modeller, leder den också till betydande utgifter i samband med tillverkning, underhåll och energibehov för att driva denna maskinvara.

Därför pågår ansträngningar för att förbättra den ekonomiska livskraften och hållbarheten för generativ AI. En framträdande strategi innebär att minska storleken på generativ AI genom att minska de omfattande parametrarna i dessa modeller. Men denna strategi väcker farhågor om potentiella effekter på funktionalitet eller prestanda för generativa AI-modeller. En annan väg som undersöks är att hantera flaskhalsar i traditionella datorsystem som används för generativ AI. Forskare utvecklar aktivt analoga system för att övervinna Von Neumann-flaskhalsen, som separerar bearbetning och minne, vilket orsakar betydande kommunikationsöverhuvud.

Utöver dessa ansträngningar finns ett mindre utforskat område som handlar om utmaningar inom den klassiska digitala beräkningsparadigmen som används för generativ AI-modeller. Detta inkluderar att representera komplexa data i binära siffror, vilket kan begränsa precisionen och påverka beräkningarna för utbildning av stora generativa AI-modeller. Mer viktigt är att den sekventiella bearbetningen i den digitala beräkningsparadigmen introducerar flaskhalsar i parallellism, vilket resulterar i förlängda utbildningstider och ökad energiförbrukning. För att hantera dessa utmaningar framträder kvantberäkning som en kraftfull paradigm. I följande avsnitt undersöker vi kvantberäkningsprinciper och deras potential att hantera problem i generativ AI.

Att förstå kvantberäkning

Kvantberäkning är en framväxande paradigm som tar inspiration från beteendet hos partiklar på de minsta skalorna. I klassisk beräkning bearbetas information med hjälp av bitar som existerar i en av två tillstånd, 0 eller 1. Kvantdatorer använder dock kvantbitar eller qubit, som kan existera i flera tillstånd samtidigt – ett fenomen som kallas superposition.

För att intuitivt förstå skillnaden mellan klassisk och kvantberäkning, tänk dig en klassisk dator som en strömbrytare, där den kan vara antingen på (1) eller av (0). Nu, tänk dig en kvantdator som en ljusdimmer som kan existera i olika lägen samtidigt, vilket representerar flera tillstånd. Denna förmåga gör kvantdatorer exceptionellt kraftfulla för vissa typer av beräkningar.

Utöver superposition utnyttjar kvantberäkning ett annat grundläggande princip – sammanflätning. Sammanflätning kan betraktas som en mystisk koppling mellan partiklar. Om två qubit blir sammanflätade, påverkar en ändring av tillståndet för en qubit omedelbart tillståndet för den andra, oavsett den fysiska avståndet mellan dem.

Dessa kvanteigenskaper – superposition och sammanflätning – möjliggör för kvantdatorer att utföra komplexa operationer parallellt, vilket erbjuder en betydande fördel jämfört med klassiska datorer för specifika problem.

Kvantberäkning för livskraftig och hållbar generativ AI

Kvantberäkning har potentialen att hantera utmaningar i kostnad och hållbarhet för generativ AI. Utbildning av generativ AI-modeller innebär att justera många parametrar och bearbeta omfattande datamängder. Kvantberäkning kan underlätta samtidig utforskning av flera parameterkonfigurationer, vilket potentiellt kan accelerera utbildning. Till skillnad från digital beräkning, som är benägen för tidsbegränsningar i sekventiell bearbetning, möjliggör kvantsammanflätning parallell bearbetning av parameterjusteringar, vilket avsevärt påskyndar utbildning. Dessutom kan kvantinspirerade tekniker som tensornätverk komprimera generativa modeller, som transformer, genom “tensorisering“. Detta kunde minska kostnader och koldioxidavtryck, göra generativa modeller mer tillgängliga, möjliggöra distribution på kantenheter och gynna komplexa modeller. Tensoriserade generativa modeller komprimerar inte bara, utan förbättrar också provkvaliteten, vilket påverkar generativ AI-problemlösning.

Dessutom, kvantmaskinlärning, en framväxande disciplin, kunde erbjuda nya datahanteringsmetoder. Dessutom kan kvantdatorer tillhandahålla den beräkningskraft som behövs för komplexa generativa AI-uppgifter, som simulering av stora virtuella miljöer eller generering av högupplösta innehåll i realtid. Därför har integrationen av kvantberäkning potentialen att främja generativ AI-kapacitet och effektivitet.

Utmaningar i kvantberäkning för generativ AI

Medan de potentiella fördelarna med kvantberäkning för generativ AI är lovande, kräver det att man övervinner betydande utmaningar. Utvecklingen av praktiska kvantdatorer, som är avgörande för smidig integration i generativ AI, är fortfarande i ett tidigt skede. Stabiliteten hos qubit, som är grundläggande för kvantinformation, är en formidabel teknisk utmaning på grund av deras skörhet, vilket gör det svårt att upprätthålla stabila beräkningar. Att hantera fel i kvantsystem för exakt AI-utbildning introducerar ytterligare komplexitet. Medan forskare hanterar dessa hinder, finns det optimism för en framtid där generativ AI, driven av kvantberäkning, för med sig omvälvande förändringar inom olika branscher.

Slutsatsen

Generativ AI brottas med kostnads- och miljöproblem. Lösningar som att minska storleken och hantera flaskhalsar är på gång, men kvantberäkning kan framträda som en kraftfull lösning. Kvantdatorer, som utnyttjar parallellism och sammanflätning, erbjuder potentialen att accelerera utbildning och optimera parameterutforskning för generativ AI. Utmaningar i stabil qubitutveckling består, men pågående kvantberäkningsforskning antyder omvälvande lösningar.

Medan praktiska kvantdatorer fortfarande är i ett tidigt skede, kvarstår deras potential att revolutionera effektiviteten hos generativa AI-modeller. Fortsatt forskning och framsteg kan bana väg för banbrytande lösningar på de invecklade utmaningar som generativ AI ställs inför.