Spotify luistert alleen nog naar data

Muziekdienst Spotify is in vijf jaar tijd getransformeerd van een organisatie met een intuïtieve bedrijfsvoering naar een bedrijf dat beslissingen voor 100 procent baseert op data-analyse. Big data-architect Wouter de Bie: ‘We zijn een volledig datagedreven organisatie geworden.’

Spotify verzamelt dagelijks zo’n drie terabyte aan data van gebruikers. In die berg aan gegevens zit allerlei bruikbare informatie. Wouter de Bie legt uit dat gegevens worden geanalyseerd voor de muziekindustrie (bijvoorbeeld royalty’s en marketingonderzoek), de eigen bedrijfsprestaties, het product en de verbetering van dienstverlening. Spotify benadrukt dat het verzamelen van die gegevens enkel draait om de genoemde doelstellingen. Informatie wordt niet voor andere doelen gebruikt.

Product analyseren

Voor de muziekindustrie worden bijvoorbeeld rapportages gemaakt voor het verrekenen van de gestreamde nummers aan de platenmaatschappijen. Daarnaast analyseert Spotify de eigen prestaties. ‘We kijken bijvoorbeeld naar het aantal gebruikers of aanmeldingen voor ons premium-abonnement en controleren doelstellingen en kpi’s die door het management zijn gesteld’, licht De Bie toe.

Ook wordt met behulp van big data-analyse het product geanalyseerd. ‘We testen welke features wel en niet werken, wat de invloed van een feature is op de prestatie, hoe een dienst als Discover Weekly invloed heeft op retentie en de conversie van free- naar premium-gebruikers, et cetera.’ Tevens wordt de enorme databron aan gegevens gebruikt om de aanbevelingen van nummers en artiesten nog beter af te stemmen op de voorkeur van de gebruiker, vertelt de big data-architect vanuit New York.

LinkedIn

De Nederlander verhuisde in 2009 voor de liefde naar Zweden. Daar bouwde hij voor een online advertentiebedrijf zijn eerste Hadoop-cluster. Die open source software voor het opslaan en analyseren van grote hoeveelheden data vormt ook de basis in de big data-activiteiten van Spotify. ‘Ik deed bij die online adverteerder ervaring op met big data-projecten en werd vervolgens via LinkedIn benaderd door Spotify. Zij zochten mensen voor hun groeiende data-activiteiten en kwamen bij mij terecht’, blikt De Bie terug.

Het was de periode waarin Spotify vol inzette op data, herinnert hij zich. ‘Toen ik begon was die transformatie naar data net ingezet. Op dat moment werd er nog veel gestuurd op intuïtie. Beslissingen werden nog vaak genomen op basis van het onderbuikgevoel of er werd bij bekenden gecheckt wat ze van iets nieuws vonden. Langzaam maar zeker werd data het startpunt van alle besluitvorming. Onder leiding van onze ceo Daniel Ek zijn we in ongeveer vijf jaar tijd getransformeerd naar een datagestuurde organisatie.’

Hadoop

De Bie gaf eerst vanuit Zweden leiding aan een data infrastructuur-team en verhuisde in 2014 naar New York om daar bij Spotify aan de slag te gaan als big data-architect. Hij is verantwoordelijk voor de bouw van big data-toepassingen die passen bij de bedrijfsdoelstellingen en aansluiten op de infrastructuur.

Hadoop is een belangrijk fundament voor de big-data-activiteiten van Spotify. De Bie maakt bijvoorbeeld gebruik van Hive, een interface voor Hadoop’s Mapreduce, waarmee in korte tijd berekeningen over zeer grote hoeveelheden data kunnen worden uitgevoerd. De muziekdienst gebruikt ook Tableau, dat software is voor de visualisatie van rapportages. ‘In een grafische omgeving worden rapportages en koppelingen gemaakt met Hadoop. Voor realtime verwerking wordt Apache Storm ingezet en Excel blijft een belangrijk programma’, somt De Bie op.

Botte bijl

Gevraagd naar toekomstige ontwikkelingen rondom Hadoop vertelt hij: ‘Als je kijkt naar Hadoop, dan denk ik dat er in de open source-wereld meer nodig is om realtime dingen te kunnen doen. Met een toepassing als Drill kan je dan veel snellere queries uitvoeren, maar dat product is nog niet zo volwassen en lastig te deployen.’

Hadoop is in zijn ogen een beetje ‘een botte bijl’ om data-analyses mee te doen. ‘Het moet intelligenter en sneller worden.’ Hij vervolgt: ‘Hadoop is gemaakt met het idee van data locality: haal de verwerking naar de data in plaats van de data naar de verwerking. Met de komst van snellere netwerken wordt die eis minder belangrijk. Als je net zo snel van een netwerk kan lezen als van een harde schijf, dan wordt dat minder relevant. Kijk bijvoorbeeld wat Google doet: het scheiden van ‘opslaan’ en ‘bewerken’ van data. Dat is nog niet zo doorgedrongen in de open source-wereld. Bovendien zie nog te weinig netwerkoptimalisatie om technieken te versnellen.’

Concurrentie Apple

De Bie vertelt dat Spotify zich voor de toekomst nog meer op de individuele gebruiker gaat richten. ‘Onze focus ligt op personificatie. Bij het begin van Spotify was de richting een soort iTunes in de cloud, maar dat kan nu iedereen doen’, verwijst hij naar Apple dat met een eigen muziekdienst aan de weg timmert. ‘Eerder waren we de enige. Nu is dat anders en daarom proberen we ons in onze dienstverlening te onderscheiden van andere aanbieders. We willen voor onze klanten een ‘life companion’ zijn die de juiste muziek voor het juiste moment selecteert. Die dienst heet Spotify Now. Het gaat om het moment van de dag. Of je nu aan het sporten bent of onderweg naar kantoor. We zoeken er de juiste muziek bij. Wij kunnen dat doen omdat we die data hebben. Het gaat om schaal. We hebben miljoenen gebruikers, die zijn allemaal uniek maar onderscheiden zich ook in groepen. Op basis daarvan kunnen we aanbevelingen doen.’

Hij legt uit dat het rubriceren van muziek een behoorlijke uitdaging is. ‘Hoe nummers en artiesten zich tot elkaar verhouden er is een ingewikkeld patroon. Er is geen standaard van genres en classificatie van muziek is lastig. Is de muziek van een band als U2 nou rock of pop? Welke artiesten lijken op elkaar? Dat is een stuk van de puzzel die we moeten uitzoeken.’

Audioanalyse

Spotify analyseert naast gebruikers ook op geluidsbestandniveau. ‘We hebben bijvoorbeeld het bedrijf The Echo Nest uit Boston overgenomen om audioanalyse te kunnen maken. Op basis van bijvoorbeeld tempo en timbre kunnen we analyseren of een nummer klassieke muziek of popmuziek is en rubriceren het in onze database.’

Het verbeteren van de muziekdienst verloopt naast analyse van de gegevens ook via overnames. Halverwege januari 2016 maakte Spotify bekend dat het de bedrijven Cord Project en Soundwave overneemt. Cord Project is in 2015 in New York opgericht en ontwikkelt audioproducten voor wearables. Ze hebben een spraakberichtenplatform opgericht dat specifiek is toegespitst op smartphones, tablets en smartwatches met iOS- en Android-besturingssystemen. Het in 2012 in de Ierse hoofdstad Dublin opgerichte Soundwave richt zich op ict-oplossingen die het ontdekken van muziek bevorderen. Hun muzikale social media-app helpt gebruikers om nieuwe muziek te ontdekken, nummers te delen en fans met dezelfde muzieksmaak samen te brengen.

Data engineers

Om dergelijke profielen te kunnen maken is kennis van statistiek én kennis van programmeren van belang. De Bie: ‘Allerlei bedrijven zijn op zoek naar data scientists. Bij Spotify hebben we het over data engineers. In mijn ogen hoeft een data engineer geen programmeerexpert of statistiekgeleerde te zijn, maar hij moet die werelden kunnen verenigen. Hij moet goed weten hoe hij software ontwikkelt, hoe hij dataverwerking programma’s schrijft en hoe hij informatie uit die data trekt.’

‘Er zijn softwareontwikkelaars die meer hebben moeten leren aan de statistiekkant en aan de andere kant zijn er wiskundigen die met de tools aan de slag zijn gegaan en zich meer op software hebben gericht’, vervolgt De Bie. ‘Omdat tools steeds eenvoudiger worden, zal er uiteindelijk minder softwareontwikkeling nodig zijn. Ik zie bovendien een tendens naar het begrijpen van de business in plaats van puur theoretische kennis van data, statistiek en wiskunde.’

Koppelen aan marketingcampagne

Als voorbeeld noemt hij een samenwerking tussen een platenlabel en Spotify. ‘Bij de lancering van het album Random Acces van Daft Punk in 2013 werd een nieuw album aangekondigd waarop Daft Punk samenwerkte met allerlei bekende artiesten en de achterliggende platenmaatschappij een enorme marketingcampagne had opgetuigd. ‘Door per land de gegevens van gestreamde nummers van Daft Punk te analyseren en die gegevens te koppelen aan bepaalde stappen in de marketingcampagne konden we precies de successen van die marketingcampagne in kaart brengen. Voor zo’n analyse is het belangrijk dat je de vragen en behoefte vanuit de muziekindustrie begrijpt.’

Een ander voorbeeld: Voor een Europese tour zou rapper Jay-Z naar Stockholm komen, maar uit de data van Spotify bleek dat zijn fans vooral in Göteborg zaten. Toen heeft de platenmaatschappij besloten het concert te verplaatsen. Dat voorbeeld toont volgens De Bie nog maar eens aan dat data betrouwbaarder is dan het onderbuikgevoel.

Dit artikel is ook verschenen in Computable magazine jaargang 49, nummer 2, februari 2016.