Hazel Savage, CEO & Co-Founder van Musiio – Interview Series

Musiio biedt AI-gebaseerde analyse-, tag- en zoektools aan voor enkele van ‘s werelds grootste muziekcatalogi, waaronder Sony Music, Hipgnosis, Amanotes, Epidemic Sound en Blanco Y Negro.

Een rock-liefhebber en gitarist die Co-Founder & CEO is geworden, Hazel Savage heeft 15 jaar in de muziekindustrie gewerkt voor enkele van ‘s werelds grootste muziekmerken – van het stapelen van schappen bij HMV tot het leiden van teams in bedrijven die aan de voorlopers van muziekluisteren en -aanbevelingen werken, Hazel begrijpt de behoeften van de industrie, van muzikant tot grote multinationale onderneming.

U bent al meer dan 15 jaar actief in de muziekindustrie, wat maakt u zo gepassioneerd over muziek, en waarom wilde u betrokken raken bij de muziekindustrie?

Mijn ouders waren behoorlijk rock-‘n-roll. Ze waren enorme muziekliefhebbers, dus ik werd altijd omringd door muziek toen ik opgroeide. Toen ik 13 werd, kreeg ik een gitaar. Ik speel nog steeds en heb een passie voor optreden. Dus toen ik besloot wat ik met mijn leven wilde doen, leek het logisch om me te concentreren op iets waar ik bijna al mijn tijd aan had besteed.

Ik heb allerlei dingen gedaan die indirect met muziek te maken hadden. Ik speelde in een band. Ik beheerde bands. Ik organiseerde clubnachten. Ik deelde flyers uit voor andermans clubnachten, beheerde gastenlijsten en voordat ik het wist, werd het een carrière, hoewel zeker met een technische inslag.

Kunt u het verhaal achter Musiio delen?

Mijn eerste baan na mijn studie was het stapelen van schappen bij HMV (de Britse platenwinkel). Dus, je zou kunnen zeggen dat ik me al vanaf het begin bewust was van de problemen met het categoriseren van muziek. Een paar jaar later (via Shazam, Pandora en Universal) werkte ik voor een UGC-muziekplatform met duizenden tracks die elke dag werden geüpload. Ik werkte met een playlister die de beste muziekuploads handmatig in playlists moest verzamelen. Hij luisterde elke dag naar honderden tracks. Sommige dagen had hij genoeg geschikte content voor een playlist. Andere dagen niet. Ik begon me af te vragen of er een manier zou zijn om het vinden van de beste tracks voor een bepaalde situatie te automatiseren. Zo zou hij zijn vaardigheden als muziekexpert kunnen gebruiken voor curatie, in plaats van alleen als filter voor slechte muziek.

Musiio werd opgericht toen ik mijn mede-oprichter Aron Pettersson ontmoette via de start-up-incubator Entrepreneur First in Singapore in 2018. Aron is een AI-genie. Toen we het over manieren hadden om samen te werken, realiseerden we ons dat we Arons AI-vaardigheden mogelijk konden gebruiken om het probleem van muziekgebaseerde filtering op te lossen, door muziek automatisch te taggen of te zoeken met genres, sferen, BPM, enz. of op basis van vingerafdrukken. Aron bouwde een prototype van de algoritme in een middag, en we zetten het aan het werk op een gratis archief van muziek. We gingen uit lunchen, lieten het de gegevens verwerken. Toen we terugkwamen, waren we verbaasd over de nauwkeurigheid van de resultaten. We hadden niet gehoopt op een meer succesvolle proof of concept. Vanaf daar hebben we het algoritme enorm geoptimaliseerd. We hebben een muziekteam dat helpt om de AI te trainen en kwaliteitscontrole uitvoert, en we hebben producten gelanceerd voor tagging, audio-referentiezoekopdrachten, playlisting en zelfs song-segmentselectie voor platforms zoals TikTok.

Welke soorten machine learning-algoritmen worden gebruikt?

We hebben onze eigen propriëtaire algoritmen gebouwd, en we beschouwen dit als onze geheime saus! Mijn mede-oprichter Aron heeft meer dan een decennium aan machine learning gewerkt, van moleculaire biologie tot neurowetenschappen, natuurkunde en zelfs gamesontwikkeling. Hij leidt ons AI-team. We maken ook gebruik van geweldige beschikbare technologie zoals TensorFlow, Kubernetes en Google Cloud Services voor schaalbaarheid en om onze producten op grote schaal te leveren, op onze grootste volume waren we 5.000.000 tracks per dag aan het taggen! We hebben ook veel tijd en moeite gestoken in het stroomlijnen van onze workflows in JIRA; het gaat niet alleen om welke tools je gebruikt, maar hoe efficiënt je kunt werken met een team van ontwikkelaars en muziekexperts. De combinatie van de twee teams, AI en Muziek, is het tweede deel van onze geheime saus.

Wat zijn enkele van de uitdagingen bij het bouwen van een zoekmachine voor muziek?

Snelheid en nauwkeurigheid zijn de grote uitdagingen bij zoekopdrachten. Het moet snel zijn, omdat mensen het in real-time gebruiken. Dit is anders dan tagging, omdat een gebruiker meerdere zoekopdrachten kan uitvoeren, maar tagging gebeurt meestal maar één keer.

Er zijn verschillende dingen die je kunt doen om de zoekopdracht te versnellen. Je zou alleen tracks kunnen laten zien die dezelfde tags hebben als je seedtrack, maar dan zou je nauwkeurigheid opofferen. Een pure audio-referentiezoekopdracht in een catalogus van 200 miljoen tracks kan lang duren, dus je zoekt constant naar oplossingen om snelheid en nauwkeurigheid in balans te houden. Het is lastig en sommige kennis is hard verworven, maar wat ik kan delen, is dat we audio-bestanden omzetten in spectrogrammen, zeer gedetailleerde vingerafdrukken van audio-bestanden, en wanneer we een audio-referentiezoekopdracht uitvoeren, analyseert het algoritme tot 1.500 datapunten – verder dan wat mogelijk is met alleen woord-tags. En het pikt moeilijk te beschrijven muzikale kenmerken op, zoals vocale kwaliteit, ambiance en sfeer. We laten gebruikers ook filters definiëren, zodat hun zoekopdrachten sneller en gerichter kunnen zijn.

Wat zijn enkele van de problemen die Musiio oplost voor B2B-klanten?

We bedienen iedereen met een muziekcatalogus. We hebben de technologie gebouwd om te schalen, of je nu een muzikant bent die geen tijd heeft om muziek te taggen en zich wilt concentreren op creatie, of een streamingdienst met honderden miljoenen tracks.

We helpen platenlabels hun gegevens organiseren voor betere catalogusnavigatie, we helpen sync-bedrijven (die muziek aan video’s, TV en film koppelen) verborgen schatten ontdekken, en we helpen streamingdiensten betere playlists bouwen. Het probleem dat al deze bedrijven tegenkomen, is dat het verwerken van audio handmatig door naar elke track te luisteren, arbeidsintensief is en moeilijk te doen met een grote nauwkeurigheid voor een langere periode. Ik heb 1000 tracks getagd als experiment. Het duurde twee weken en was niet leuk. Onze AI kan miljoenen tracks per dag taggen met 90-99% nauwkeurigheid.

Met ons Musiio Search-product laten we onze B2B-klanten audio-referentiezoekopdrachten aanbieden als functie. Als een videoproductiebedrijf op zoek is naar een muziekplaatsing, zou het beginnen met het begrijpen van de verwachtingen van de klant over genre, sfeer, BPM, enz. en vervolgens zoeken op de gekozen site.

Musiio versnelt dit proces met onze partners die onze zoekopdracht installeren, door dezelfde videoproductiebedrijf toe te laten om een ‘referentietrack’ te gebruiken om de hele database binnen seconden te doorzoeken. Onze AI scant de referentietrack en retourneert de dichtstbijzijnde audio-overeenkomsten.

Musiio heeft onlangs een NFT Song Slicer-product gelanceerd, kunt u dit beschrijven?

NFT Song Slicer is een prototype ontworpen om artiesten meer waarde te geven uit hun muziek. Het gebruikt een AI-gestuurde proces om gewenste hooks in een track te vinden – tot drie per nummer – en tijdstempels te geven, zodat een artiest deze songsecties als NFT’s kan minten. Het kan dit ook automatisch doen voor hele catalogi, waardoor het voor labels en artiesten met grote back-catalogi gemakkelijker wordt om snel nieuwe digitale verzamelobjecten te creëren.

Wat zijn enkele potentiële use cases voor dit type Song Slicer-product?

Voor catalogusbezitters of artiesten met een uitgebreide back-catalogus kan NFT Song Slicer de meest waardevolle secties in miljoenen nummers per dag selecteren. Platenlabels kunnen deze songsecties bijvoorbeeld omzetten in NFT’s en verkopen als beperkte editie digitale merchandise.

Met de streamingrevolutie is het moeilijk geworden voor fans om een dollar in de zak van de artiesten te krijgen die ze liefhebben. We zien NFT Song Slicer als een manier voor fans om hun favoriete artiesten te steunen en voor fans om digitale verzamelobjecten te bezitten. Elke slice kan ook door een rechthebbende op een andere manier worden geprijsd. Bijvoorbeeld, een chorus kan meer kosten dan een couplet.

Wat is uw visie voor de toekomst van Musiio?

Ik zeg dat Musiio een derde van een miljarddollarbedrijf is. Om dat bedrijf op te bouwen, heb je drie delen nodig. Het eerste deel is legale toegang tot grote hoeveelheden gegevens, of een ‘pijplijn’. Het tweede deel is de technologie. Dat zijn wij, en we zijn erg goed in wat we doen. Het derde en laatste deel is een label: een manier om te monetiseren wat je vindt, zoekt of ontdekt. Musiio werkt altijd aan dit langetermijndoel.

Vindt u dat AI in de nabije toekomst in staat zal zijn om muziek te schrijven en te genereren?

Ik ben behoorlijk uitgesproken over het feit dat ik geen grote fan ben van AI voor creativiteit. Het is een leuk academisch experiment, en er zijn systemen die het doen, maar ik zie niet in waarom het nodig is. Musiio werkt zo goed omdat niemand duizenden nummers per dag wil taggen. Het is niet leuk, en je hebt geen persoon nodig om het effectief of snel te doen. Maar muziek maken? Ik weet het niet zo zeker. Er is geen gebrek aan mensen die muziek willen maken.

Desondanks denk ik dat we minstens vijf tot tien jaar verwijderd zijn van AI-gegenereerde muziek die goed klinkt. Ik hoorde onlangs enige AI-gegenereerde pianomuziek, en het is moeilijk te zeggen of het door AI of iemand die niet zo goed is, is geschreven. Ik ben er niet van overtuigd dat een AI-prestatie ooit ononderscheidbaar zal zijn van een ervaren menselijke speler.

Is er nog iets dat u zou willen delen over Musiio?

Ik ben erg enthousiast dat Musiio zojuist de nummer 4-positie kreeg in Fast Company’s 10 meest innovatieve muziekbusinesses van 2022. Ons team en technologie zijn gegroeid van het zaad van een idee tot internationale erkenning naast grote namen in de industrie zoals Hipgnosis en SoundCloud. Het is een eerbetoon aan het bloed, zweet en tranen dat ons team in onze industrieleidende producten heeft gestoken. We zijn zo enthousiast om aan de voorlopers van de kruispunt tussen muziek en technologie te zijn. En wetende dat er use cases zijn die we nog niet hebben bedacht, maakt me erg enthousiast over de toekomst.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Musiio bezoeken.