Spotify a décidé de migrer l’intégralité de son infrastructure vers le Cloud de Google, Google Cloud Platform. Spotify est une entreprise de streaming musical, qui compte 75 millions d’utilisateurs, 2 milliards de playlists et 30 millions de morceaux.
Spotify utilise une multitude de micro services pour ses produits. Ces micro services sont en train d’être migrés de Data Centers dans le Cloud de Google, utilisant le stockage de Google – Cloud Storage – et son moteur de calcul – Compute Engine.
Côté données, Spotify change totalement sa pile de composants. L’entreprise quitte Hadoop, MapReduce, Hive et une série de tableaux de bord développés en interne pour les outils Google : Google Cloud Pub/Sub, Dataflow, BigQuery, et Dataproc.
Selon Google, BigQuery et Dataproc permettent d’exécuter des requêtes complexes et d’obtenir des réponses en 1 ou 2 minutes plutôt qu’en heures. Cela permettra à Spotify de procéder à des analyses en profondeur et interactives plus fréquentes, afin de piloter le développement de leurs produits et de mettre des fonctions plus tournées vers le besoin de l’utilisateur final.
Cloud Pub/Sub est un système de messagerie interne inter-applications et de streaming. Cette plateforme de transmission de messages informatiques entre applications a une capacité de plusieurs centaines de milliers de messages par seconde. Enfin, pour les traitements batchs, Spotify a choisi Cloud Dataflow de Google en tant qu’ETL.
