Ernest Piatrovich, Product Manager bij ARTA – Interview Serie

Ernest Piatrovich is een Product Manager bij AIBY Group, waar hij leiding geeft aan een van de top-apps van het bedrijf op basis van AI, ARTA – AI-afbeeldingengenerator voor iPhone en Android. Zijn strategische visie en creatief denken hebben ertoe geleid dat de app de nummer 2-positie bereikte in de Amerikaanse App Store-toplijsten kort na de release, de mijlpaal van 15 miljoen downloads wereldwijd overschreed en de best presterende AI-avatars op basis van een unieke interne pijplijn bood, onder andere successen.

U bent verantwoordelijk geweest voor het beheer van ARTA – AI-kunstgenerator vanaf de ideatiefase tot nu. Kunt u enkele inzichten delen over die vroege dagen?

Natuurlijk! Dat waren dynamische tijden. We slaagden erin om een goed gemaakte applicatie uit te brengen binnen een week, waardoor we een van de eerste consumentenapp-creators waren die tekst-naar-afbeeldingfuncties op mobiel aanboden. Ons doel was om een massamarktproduct te bouwen dat mensen een “kunstenaar” in hun zak kon geven. Dus, vanaf de conceptuele en vroege ontwikkelingsfase, hebben we ons gefocust op gebruiksvriendelijkheid en schaalbaarheid. Maar ondanks het feit dat we op tijd de markt betraden, was het nog steeds een uitdaging om onze installatievolumes te laten groeien tot een adequate omvang, zelfs met een briljant media inkopend team als het onze. Een significante boost vond plaats drie maanden na de release van de app, toen onze Avatar-functie in de mode raakte. Het volume werd snel matig hoog voor onze niche, en sindsdien is onze taak om het te onderhouden en te verhogen.

Wat was de oorspronkelijke technische stack waarop u lanceerde en wat waren enkele van de uitdagingen met kunstgeneratie tijdens deze periode?

We lanceerden op basis van Stable Diffusion 1.3 met behulp van de officiële API van Stability.ai. Ik moet zeggen dat de situatie met de kwaliteit van generaties toen en nu als dag en nacht verschilt. Toen we voor het eerst begonnen, meldden onze QA-managers vaak problemen met betrekking tot de esthetische waarde van afbeeldingen of onnauwkeurigheden bij het weergeven van specifieke concepten en kenmerken. Maar dat was standaard voor Stable Diffusion op dat moment. Nu is de generatie-uitvoer veel beter op alle gebieden, waaronder stylistische reproductie, compositie-coherentie, visuele geloofwaardigheid, detailniveau en meer.

Kort na de release van de app begonnen we servers te huren bij Amazon (AMZN ), en het ondersteunen ervan bleek een behoorlijke uitdaging te zijn. Zelfs met voldoende middelen kan het zijn dat er geen vrije A100 beschikbaar is wanneer je het nodig hebt, en je moet een paar dagen wachten. Daarom moesten we zonder autoscale leven en al het overtollige verkeer omleiden naar de API’s van onze partners.

Het onderhoud hiervan blijft nog steeds een beetje lastig, met kleine problemen die elke maand of zo optreden. Bijvoorbeeld, we komen soms tijdelijke problemen tegen met de kwaliteit van generaties wanneer de provider de server bijwerkt, gewichten test of andere wijzigingen aanbrengt die de generatie-uitvoer beïnvloeden. Dergelijke fouten kunnen van een uur tot een halve dag duren en zijn onvoorspelbaar en moeilijk te volgen. Meestal, tegen de tijd dat onze ondersteuningsafdeling een melding van een gebruiker ontvangt over vage afbeeldingen of een ander optredend probleem, heeft de API-provider het probleem al opgelost. Maar het is een ernstige zorg voor onze gebruikers. Daarom zijn we nu een systeem aan het bouwen dat meerdere providers en onze eigen servers combineert voor speciale generaties, waardoor we meer controle hebben over onze kant van de dingen.

Als productmanager, welke strategische beslissingen zijn doorslaggevend geweest bij het leiden van ARTA naar zijn topklassering kort na de release?

ARTA’s (toen Aiby genoemd) vroege opkomst was het resultaat van de tijdige beslissing om de virale Avatar-functie te implementeren toen deze net begon op te komen op sociale media. We herkenden snel de groeiende interesse in deze functionaliteit. Ons hele team, inclusief product, marketing en ontwikkeling, was op dezelfde golflengte en had een visionaire kijk op het succes ervan. We erkenden ook dat een korte tijd tot markt cruciaal was. Dus, vanaf de eerste dag, hebben we al onze middelen toegewijd aan het realiseren van deze functie, met prioriteit boven andere taken.

Aangezien onze deadline ASAP was, om de kans niet te missen om AI-avatars te bereiken op het hoogtepunt van hun hype, kozen we ervoor om een derdenoplossing te gebruiken en deze aan te passen voor onze app. Terwijl avatars net begonnen op te komen op mobiel, was de technologie al enige tijd beschikbaar op het web, zelfs met een API. Dankzij de geconcentreerde inspanningen van het team was onze eerste werkende versie binnen vijf dagen in de App Store, met een zeer concurrerende avatar-uitvoer. Het hielp ons de nummer 2-positie te bereiken in de Amerikaanse topcharts en de tweede meest gedownloade app in de VS te blijven voor een week.

Uw team heeft onlangs een upgrade uitgebracht voor ARTA’s AI-avatargeneratiefunctie. Kunt u enkele details delen over dit?

AI-modellen hebben de neiging om generieke gezichtskenmerken toe te voegen tijdens de training, waardoor avatars er anders uitzien dan de bronafbeeldingen, en hoe unieker iemands trekken zijn, hoe minder de AI-interpretatie kan lijken. Om dit probleem aan te pakken, besloten we onze eigen avatardienst te creëren. We hadden al een lange tijd een derden-API gebruikt, maar zagen geen significante verbeteringen. Met de servershift konden we een meer optimale trainings technologie instellen om de gelijkenis van de gebruikers echte gezicht in de avatar-uitvoer beter te behouden. Hoewel ik onze unieke pijplijn niet in detail kan onthullen, werd het mogelijk gemaakt door een specifieke combinatie van SDXL-instellingen, LORAs en gezichtsversterkers, en we hebben nog geen betere resultaten elders gezien.

Met de nieuwe server zijn we overgestapt van een vaste kostenstructuur per avatarpack naar een maandelijkse serverkostenstructuur en kunnen we nu avatars aanbieden via een wekelijkse abonnement in plaats van aparte in-app-aankopen. Het creëert een meer vervullende ervaring en is veel goedkoper voor onze gebruikers als ze bijvoorbeeld vijf avatarpacks binnen een week willen genereren of de foto-input willen wijzigen terwijl ze gaan. Gezien al het bovenstaande, biedt ons avatar-aanbod momenteel de beste prijs-prestatieverhouding op de markt. Terwijl er apps zijn die hoge kwaliteit realistische avatars kunnen creëren, onderscheidt ARTA zich door een diverse reeks van heldere en kleurrijke uitvoervarianten naast realistische stijlen, allemaal met hetzelfde precieze niveau van gezichtsherkenning.

Op welke andere manieren heeft het team de mogelijkheden van de app verbeterd?

We concludeerden dat het gebruik van derden-API’s efficiënter is voor algemene use-cases zoals tekst-naar-afbeeldingengeneratie, afbeeldingconversie en inpainting. Deze aanpak elimineert de noodzaak om tijd te besteden aan het integreren van deze functionaliteiten in onze serverinfrastructuur. Bovendien vermindert het de kosten in situaties waarin een nieuwe functie niet zo succesvol is als verwacht en we besluiten om het te verwijderen. De AI-afbeeldingengeneratie-industrie evolueert snel, met talrijke toegewijde diensten beschikbaar, dus we verkennen en nemen geleidelijk die diensten over die aansluiten bij onze doelstellingen.

Tegelijkertijd blijken de behoeften van ARTA vaak uniek te zijn, waardoor in-house vindingen nodig zijn. In gevallen waarin aangepaste API’s niet bestaan of niet bevredigende outputkwaliteit bieden, specialiseren en passen we onze interne diensten aan en ontwikkelen we onze eigen oplossingen om de resultaten te bereiken die we willen. Bijvoorbeeld, naast het upgraden van AI-avatars, hebben onze ML- en prompt-engineers een nieuwe pijplijn bedacht voor de AI-filters (Selfies) van de app. We hebben ook een unieke algoritme ontwikkeld voor onze aanstaande AI-baby-functie – een generatiefunctie die twee mensen in staat stelt om hun foto’s te combineren en te zien hoe hun kind eruit zou kunnen zien. Op basis van mijn perceptie van de wereld als productmanager, twijfelde ik aanvankelijk aan het succes ervan, maar ad-creaties met dit concept zijn erg populair. Dus, het controleren van marketinginzichten is vooral nuttig in contentgerelateerde gevallen.

Kunnen gebruikers de artistieke proces in ARTA beïnvloeden? Zo ja, welke tools en opties zijn beschikbaar voor gebruikers om de AI-gegenereerde kunst aan te passen?

We behandelen alle complexe aspecten die verband houden met generatie, met als doel onze gebruikers een eenvoudige artistieke ervaring te bieden zonder onnodige technische overbelasting. Dus, de primaire manier waarop gebruikers de output beïnvloeden, is via prompts. We houden dit proces transparant door de exacte woordaanzoek te laten zien die naar het model voor generatie wordt gestuurd en bieden alleen hulp bij het samenstellen van effectieve prompts als dat nodig is.

We selecteren de beste standaardinstellingen voor elk geïntegreerd model, zodat gebruikers zich geen zorgen hoeven te maken over dat. Meestal is er geen noodzaak om ze aan te passen om optimale generatie-uitvoer te produceren, aangezien ze al een optimale generatie-uitvoer produceren. Toch, als de gebruiker wil experimenteren, is de geavanceerde modus slechts één tik verwijderd, en sommige diepere parameters zijn in de instellingensectie.

Spoedig zullen we een Seed-parameter toevoegen, waardoor gebruikers volledige controle hebben over generatie wanneer ze een identieke afbeelding van scratch willen recreëren. Bovendien zijn we van plan om de lijst met aspectverhoudingen uit te breiden. We overwegen ook om enkele controlnets toe te voegen aan reguliere generaties. Ze worden al ondersteund aan de serverzijde, aangezien we ze gebruiken om AI-filters en schetsen te genereren, maar ze zijn nog niet beschikbaar voor eindgebruikers.

Hoe ziet u de impact van AI zoals ARTA op de traditionele kunstmarkt? Ziet u AI-kunstgeneratie als een verstoring of een verbetering van de kunstindustrie?

Ik zie het als een verbetering. Generatieve AI heeft nieuwe en waardevolle kansen geïntroduceerd om het artistieke proces te verbeteren, terwijl het de oplevertijd aanzienlijk vermindert. Het ondersteunt digitale kunstenaars, ontwerpers, illustrators en andere visuele content creators met een verscheidenheid aan taken, van het verkennen van ideeën en het ontwikkelen van concepten tot het genereren van schetsen en kant-en-klare afbeeldingen. Uiteindelijk is onze mogelijkheid om de vooruitgang ervan te benutten alleen beperkt door onze verbeelding.

Bijvoorbeeld, ik heb een hobby van het creëren van PC-games, en onlangs gebruikte ik ARTA om een set pictogrammen voor vaardigheden en items te genereren. Ik had ze zelf kunnen ontwerpen met Adobe Illustrator, maar met een afbeeldingengenerator kreeg ik wat ik nodig had bijna meteen. Mijn vrouw, daarentegen, is een retoucheur-fotograaf. Dankzij de Generative Fill van Photoshop werkt ze veel sneller en heeft ze meer vrije tijd (of meer inkomen als ze besluit om meer retouche-opdrachten te accepteren).

Wanneer goed gedaan, kunnen AI-gegenereerde afbeeldingen ononderscheidbaar zijn van professionele kunst. Maar in mijn mening zal AI nooit een echte professional vervangen. Hoe vaardig neurale netwerken ook worden, ze zijn nog steeds getraind op door mensen gemaakte gegevens, wat betekent dat alles wat ze genereren al ergens bestaat. Zoals toen en nu, kunnen echt innovatieve ideeën alleen door mensen worden geproduceerd. Terwijl de traditionele betekenis van kunst nog steeds geassocieerd wordt met door mensen gemaakte stukken, is AI-kunst als een verwachte spin-off, die iedereen, ongeacht artistieke achtergrond, uitnodigt om een spannende nieuwe ervaring te proberen.

Kijkt u verder dan alleen het verbeteren van de beeldkwaliteit, waar ziet u de toekomst van AI-afbeeldingengeneratie heen gaan?

Naast de beeldkwaliteit zal de snelheid van generaties toenemen, wat automatisch leidt tot meer kosteneffectieve uitvoer.

Ik denk dat het niet lang zal duren voordat er een eenvoudige manier is om dezelfde personages in verschillende omgevingen en posities te genereren, zodat we de opkomst van AI in strips, kinderboeken, gamegraphics en meer zullen zien. Interieurontwerp en ad-creatieproductie zijn al gebieden die actief generatieve AI gebruiken, maar er is nog meer aan de horizon terwijl de technologie blijft evolueren.

Aangezien alle generaties sterke GPU’s vereisen, zullen deze technologieën zich ontwikkelen samen met AI voor een behoorlijke tijd. We zijn nog maar aan het begin van de reis. Misschien zal de nieuwe Apple (AAPL ) van onze tijd Nvidia (NVDA ) zijn, met iedereen, of tenminste degenen in de IT-industrie, die nieuwe videokaartreleases verwacht zoals we dat eerder deden met iPhones.

AI-afbeeldingengeneratoren zullen blijven fun en boeiende ervaringen bieden, ofwel door het introduceren van nieuwe concepten die uit popcultuur ontstaan, ofwel door het herleven van oude ideeën met betere technologie. Bijvoorbeeld, de interesse in AI-babygeneraties groeit momenteel. Een recente technologie op basis van Stable Diffusion heeft indrukwekkende output getoond van het combineren van de kenmerken van twee individuen om de potentiële verschijning van hun biologische kind te onthullen. De resultaten overtreffen verreweg wat er een paar jaar geleden op horoscoopsites beschikbaar was, en mensen zijn bereid om het nog een keer te proberen.

Wat zijn uw voorspellingen voor wat we kunnen verwachten van Generatieve AI?

De golf van populariteit voor videogeneratie is in zicht. Met de vooruitgang van de technologie tot een voldoende niveau, zullen er ongetwijfeld pogingen zijn om neurale netwerken te trainen met behulp van mensen’s gezichtsuitdrukkingen en gebaren om videavatars te creëren, mogelijk zelfs met unieke gebruikersstemmen.

AI-audio is een andere significante doorbraak die een nieuwe era voor de muziekindustrie inluidt. Deze technologie heeft al verbazingwekkende kansen geboden voor het componeren van nummers op basis van alleen tekstinput, waardoor het een uitstekend instrument is voor het creëren van aangepaste, niet-standaard soundtracks voor verschillende soorten video-inhoud. Al met al is het echt leuk om naar iets zo alledaags als de voorwaarden rapped of gezongen met romantische intonatie te luisteren.

Dank u voor het geweldige interview, lezers die meer willen leren of enkele afbeeldingen willen genereren, moeten ARTA bezoeken.