L’enseigne Maisons du Monde passe ses coûts Big Data dans le Cloud au crible

Maisons du Monde a fait le choix de porter son informatique et sa plateforme Data sur Google Cloud Platform (GCP) il y a plusieurs années. Face à l’envol de sa facture GCP, l’enseigne a lancé une initiative FinOps interne dont les premiers résultats sont très encourageants.

L’équipe Data de Maisons du Monde passe ses dépenses Cloud chez Google au crible. Résultat, une réduction de 30% de ses factures. C’est un travail minutieux qui a mené à ce résultat. Maisons du Monde est une enseigne spécialisée dans la décoration et l’ameublement.

Le tiers du chiffre d’affaire provient du digital

Maisons du monde compte 352 magasins dans une dizaine de pays européens et une marketplace lancée en 2020 qui représente déjà 14% du chiffre d’affaires de l’enseigne. Au total, 30% du chiffre d’affaires du distributeur proviennent du digital. L’entreprise s’est dotée en 2017 d’une équipe Data qui compte aujourd’hui 35 personnes.

Sa plateforme technique s’appuie essentiellement sur des services Google Cloud Platform, avec un Data Lake sur Google BigQuery, beaucoup de Pub/Sub (Publication/Subscription), la messagerie asynchrone de Google Cloud, beaucoup de Vertex AI (création de modèles d’IA en Machine Learning chez Google). Pour le volet visualisation de données, Maison du Monde s’appuie sur les outils de manipulations de données Qlik Sense et Qlik NPrinting.

Les déploiements informatiques sont réalisés sur Docker, Kubernetes et GKE. L’entreprise stocke de l’ordre de 1 Po de données. 3 To de données supplémentaires viennent s’y ajouter chaque mois, avec 800 sources de données. 500 utilisateurs métiers accèdent chaque mois à l’application Qlik Sense pour effectuer des analyses.

Réaction du nouveau patron de la Data face à 56% d’augmentation des coûts

Lorsque Guillaume Duflot prend la direction de l’équipe Data, en 2022, celui-ci doit faire face à une brusque montée des coûts de la plateforme Google Cloud, avec une facture en augmentation de 56% au premier semestre 2022 par rapport au premier semestre 2021. Une hausse qui ne peut pas s’expliquer totalement par la fin de l’épidémie de Covid.

« Pour notre équipe, 93% de la facture de GCP était générée par seulement 3 services, BigQuery, Compute Engine et Cloud Storage » constate alors le responsable Data. De plus, « l’évolution de ces coûts était extrêmement difficile à prévoir car nous ne disposions pas de monitoring, pas de maîtrise des coûts, ni de bonnes pratiques en place » reconnaît-il.

Le coût de BigQuery qui héberge le Data Lake de Maison du Monde avait doublé au premier semestre 2022 alors que l’équipe Data n’avait pas grossi et ne lançait pas beaucoup plus de requêtes. Par contre, les erreurs humaines induisaient une grande variabilité des coûts, avec des journées 4 fois plus coûteuses que d’autres, pour des surcoûts impossibles à justifier.

Un gros travail est réalisé sur BigQuery pour en maîtriser les coûts

Plusieurs actions sont alors initiées afin d’éradiquer cette inflation des coûts. Un monitoring fin des coûts de BigQuery est mis en place. Une acculturation de l’équipe Data est menée sur cette problématique FinOps. En outre, une investigation est désormais systématique sur chaque pic de consommation non planifié. « On demande à la personne qui a généré le pic de consommation, quelle en est la raison et est-ce que c’est justifié et comment faire pour que ce soit moins coûteux la prochaine fois. »

Une refonte des requêtes les plus coûteuses est menée, de même que l’évaluation de son retour sur investissement (ROI) pour décider si ce travail est justifié ou pas. Un travail est aussi mené sur le format des tables de données pour obtenir des gains en stockage et sur les requêtes. Cette optimisation est généralement efficace sur BigQuery.

Au-delà de ce travail purement technique, de nouvelles règles sont fixées pour les requêtes ad-hoc. « Nous avons mis en place pour nos Data Analysts un système de validation des grosses requêtes » précise le responsable Data. « Les Data Analysts peuvent aller vers les Data Engineers pour leur demander d’optimiser leur requête. De même, nous challengeons les demandes métiers, en évaluant ce que coûte le cas d’usage et ce qu’il doit rapporter. Enfin, nous avons fait monter en compétence l’équipe sur les bonnes pratiques en SQL » liste-t-il.

Les gains financiers sont au rendez-vous

Toutes ces actions ont rapidement porté leurs fruits. En 2023, la courbe de consommation de BigQuery est beaucoup plus plate qu’elle ne l’était en 2022 et les gains financiers sont au rendez-vous. « Le gain entre le mois d’août 2023 comparé au mois de juin 2023 est de -43,64%, en dépit d’une augmentation de 28% du nombre de requêtes On Demand » se félicite Guillaume Duflot.

Une nouveauté est liée à la compression du stockage. « La grosse nouveauté a été de payer le stockage BigQuery en compressé et non plus en stockage théorique non compressé. Cela nous a permis de réduire nos coûts de stockage de près de 80%. Les gains sur le second semestre 2023 devraient être encore plus importants que ceux du premier semestre » estime-t-il.

Autre démarche où une semaine de travail aura réduit les coûts de traitement de 13%. Il s’agit du poste de coût important pour l’équipe Data, que sont les serveurs Qlik Sense mis à disposition des utilisateurs métiers. Ces serveurs représentaient 78% des coûts de type Compute Engine sur la facture Google, des coûts en hausse de +32% par rapport au premier semestre 2022. La mesure la plus évidente à prendre va avoir un gros impact.

Basculement sur des serveurs moins chers en dehors des heures de travail

Les utilisateurs de la plateforme Qlik sont essentiellement localisés en France et en Europe. Dès lors, ils ne travaillent généralement pas le soir ni le week-end. Il est alors décidé de changer de serveurs lors des périodes non ouvrées pour aller vers des instances moins coûteuses. « Ce qui nous a fait économiser beaucoup d’argent, c’est de basculer sur de plus petits serveurs la nuit et le week-end » explique le responsable.

Ce basculement sur des instances moins coûteuses réduit les coûts. « Le coût du Compute Engine a été abaissé de 13% au mois de juin tout en augmentant la disponibilité des ressources pour les métiers lors des heures de travail » poursuit-il. « Les utilisateurs métiers sont contents car ils bénéficient de +20% de CPU et +56% de RAM lors des heures ouvrées, donc de meilleures performances » détaille-t-il.

Le reste du temps, la puissance informatique baisse drastiquement. « Lors des heures non ouvrées, la puissance est inférieure de 31% pour les CPU et de -35% pour la RAM » dit-il. En parallèle, des machines N2D moins coûteuses ont été privilégiées par rapport aux machines N2 et les engagements techniques (Commitments) pris par Maisons du monde pour bénéficier de meilleures conditions commerciales ont été recalculés pour mieux cadrer à la réalité.

Reprise en main des espaces de stockage informatique

Enfin, le troisième grand chantier de Guillaume Duflot à porté sur les espaces de stockage utilisés par Maisons du monde sur Google Cloud. « Pendant une longue période, nous faisions un stockage en aveugle de toutes les données, sans vraiment nous poser de question. Nous n’avions pas de gestion du cycle de vie des données » dit-il.

Les pratiques de stockage ont été revues. « Nous avons rechallengé notre stockage et évalué si nous avions besoin de stocker autant de données. Au départ, on avait considéré que le stockage ne coûtait pas grand-chose et que nous stockerions tout. 5 ans après, force est de constater que le stockage coûte quand même cher. »

La première action simple décrétée par le responsable fut la mise en place de règles de classes de stockage, avec un stockage plus ou moins chaud et coûteux en fonction de la nature des données. En parallèle, une purge automatique des fichiers a été mise en place. « Tout cela nous a demandé moins d’une semaine de mise en place, ce qui nous a permis d’abaisser notre coût de Cloud Storage de 83%  » s’étonne-t-il encore.

Une facture de Google Cloud réduite de 30%

Tout ce travail de fourmi a permis à l’équipe Data d’abaisser sa facture GCP de 30%, une tendance que Guillaume Duflot espère pouvoir poursuivre dans les mois à venir avec d’autres actions à mener : « Nous devons encore mettre en place un monitoring de coûts plus fin, par cas d’usage métier, par équipe »

« Mon rêve, c’est de pouvoir dire à l’équipe projet combien celui-ci va coûter à la fin du mois, et intégrer cette information dans le calcul du ROI. Bien souvent, les projets métiers ne prennent pas suffisamment en compte le volet Data. »

De même, un gros travail doit encore être réalisé sur la suppression de données inutilisées et la mise en place de purges dans BigQuery et Google Storage. Le responsable estime que 10% à 20% des espaces de stockage pourraient encore être libérés. Enfin, des optimisations sur BigQuery sont encore possibles, notamment sur les types de tables, sur le clustering et la rationalisation des requêtes.

La DSI de Maisons du monde rêve à son tour de FinOps

Si l’expérience FinOps de l’équipe Data est un succès, celle-ci ne représente que 16% des coûts du Cloud GCP de Maisons du monde. L’équipe Data commence à accompagner la DSI dans sa démarche FinOps afin de répercuter ces bonnes pratiques sur ses propres usages. « Nous avons une double compétence en étant matures sur notre démarche FinOps, la mise en place des bonnes pratiques. D’autre part, nous savons analyser de la donnée et la restituer aux métiers, or la DSI est un métier comme un autre. »

Maison du monde est en train de mettre en place un suivi des coûts GCP pour sa DSI, notamment de ses clusters Kubernetes sur GKE, en particulier afin de pouvoir calculer le coût exact de tel ou tel projet ou  équipe et mettre en place des alertes en cas de variation imprévue.