Andersons vinkel

Hur Stable Diffusion Kan Utvecklas Som En Mainstream-Konsumentprodukt

mm
Lägg till Unite.AI bland dina föredragna källor på Google

Ironiskt nog är Stable Diffusion, den nya AI-bildsynthesramen som har tagit världen med storm, varken stabil eller riktigt “diffuserad” – åtminstone inte ännu.

Den fulla omfattningen av systemets funktioner sprids över en varierad smörgåsbord av konstant muterande erbjudanden från ett fåtal utvecklare som frantically byter den senaste informationen och teorierna i olika diskurser på Discord – och den överväldigande majoriteten av installationsförfarandena för de paket de skapar eller modifierar är långt ifrån “plug and play”.

I stället tenderar de att kräva kommandorad- eller BAT-driven installation via GIT, Conda, Python, Miniconda och andra blödande-kantiga utvecklingsramverk – programvarupaket som är så sällsynta bland den allmänna konsumenten att deras installation ofta flaggas av antivirus- och anti-malware-leverantörer som bevis på ett komprometterat värd-system.

Bara ett litet urval av etapperna i gauntlet som den standardmässiga Stable Diffusion-installationen för närvarande kräver. Många av distributionerna kräver också specifika versioner av Python, som kan komma i konflikt med befintliga versioner som är installerade på användarens maskin - även om detta kan undvikas med Docker-baserade installer och, i viss utsträckning, genom användning av Conda-miljöer.

Bara ett litet urval av etapperna i gauntlet som den standardmässiga Stable Diffusion-installationen för närvarande kräver. Många av distributionerna kräver också specifika versioner av Python, som kan komma i konflikt med befintliga versioner som är installerade på användarens maskin – även om detta kan undvikas med Docker-baserade installer och, i viss utsträckning, genom användning av Conda-miljöer.

Meddelandetrådar i både SFW- och NSFW-Stable Diffusion-samhällen är översvämmade med tips och tricks relaterade till hacking av Python-skript och standardinstaller för att aktivera förbättrad funktionalitet eller för att lösa vanliga beroendefel och en rad andra problem.

Detta lämnar den genomsnittliga konsumenten, intresserad av att skapa fantastiska bilder från textprompt, ganska mycket på nåder av det växande antalet monetiserade API-webbgränssnitt, de flesta av vilka erbjuder ett minimalt antal gratis bildgenereringar innan de kräver inköp av token.

Utöver detta vägrar nästan alla dessa webbaserade erbjudanden att producera NSFW-innehåll (mycket av vilket kan relatera till icke-pornografiska ämnen av allmänt intresse, såsom “krig”) som skiljer Stable Diffusion från de censurerade tjänsterna från OpenAI:s DALL-E 2.

‘Photoshop för Stable Diffusion’

Förvirrad av de fantastiska, pikanta eller övervärldsliga bilderna som befolkar Twitter:s #stablediffusion-hashtag dagligen, vad den bredare världen väntar på är ‘Photoshop för Stable Diffusion’ – ett cross-platform-installerbart program som integrerar det bästa och kraftfullaste funktionalitet från Stability.ai:s arkitektur, samt de olika innovativa innovationerna från den framväxande SD-utvecklingsgemenskapen, utan några flytande CLI-fönster, obskyra och ständigt föränderliga installations- och uppdateringsrutiner eller saknade funktioner.

Vad vi för närvarande har, i de flesta av de mer kapabla installationerna, är en varierad elegant webbsida som sträcker sig över en avkroppad kommandorad, och vars URL är en localhost-port:

Liknande CLI-drivna syntesappar som FaceSwap och BAT-centrerade DeepFaceLab, visar 'prepack'-installationen av Stable Diffusion sina kommandorotsrötter, med gränssnittet som nås via en localhost-port (se toppen av bilden ovan) som kommunicerar med den CLI-baserade Stable Diffusion-funktionaliteten.

Liknande CLI-drivna syntesappar som FaceSwap och BAT-centrerade DeepFaceLab, visar ‘prepack’-installationen av Stable Diffusion sina kommandorotsrötter, med gränssnittet som nås via en localhost-port (se toppen av bilden ovan) som kommunicerar med den CLI-baserade Stable Diffusion-funktionaliteten.

Utan tvekan är ett mer strömlinjeformat program på väg. Redan finns det flera Patreon-baserade integrala program som kan laddas ner, såsom GRisk och NMKD (se bild nedan) – men inget av dem integrerar för närvarande det fulla utbudet av funktioner som vissa av de mer avancerade och mindre tillgängliga implementationerna av Stable Diffusion kan erbjuda.

Tidiga, Patreon-baserade paket av Stable Diffusion, lätt 'app-iserade'. NMKD är det första som integrerar CLI-utmatningen direkt i GUI:t.

Tidiga, Patreon-baserade paket av Stable Diffusion, lätt ‘app-iserade’. NMKD är det första som integrerar CLI-utmatningen direkt i GUI:t.

Låt oss ta en titt på vad en mer polerad och integral implementation av denna förbluffande öppen källkods-marvel kan se ut som – och vilka utmaningar den kan möta.

Juridiska Överväganden för en Fullt Finansierad Kommersiell Stable Diffusion-applikation

NSFW-Faktorn

Stable Diffusions källkod har släppts under en extremt tillåtande licens som inte förbjuder kommersiella återanvändningar och derivatverk som bygger omfattande från källkoden.

Utöver de ovannämnda och växande antalet Patreon-baserade Stable Diffusion-byggnader, samt det omfattande antalet applikationsplugin som utvecklas för Figma, Krita, Photoshop, GIMP och Blender (bland andra), finns det ingen praktisk anledning till varför en välfinansierad programvaruutvecklingshus inte kunde utveckla en betydligt mer sofistikerad och kapabel Stable Diffusion-applikation. Ur ett marknadspersektiv finns det alla skäl att tro att flera sådana initiativ redan är väl på väg.

Författare på maskinlärande, domänspecialist inom mänsklig bildsyntes. Fd chef för forskningsinnehåll på Metaphysic.ai, till dess upplösning i DNEG:s Brahma.ai.
Portfolio site: martinanderson.ai
Kontakt: martin@martinanderson.ai