Maisons du Monde arbitre parmi les IA pour tirer l’information de ses avis clients

L’enseigne d’ameublement et de décoration Maisons du Monde recueille chaque année 50 000 avis clients qu’il est difficile, sinon impossible, de traiter à la main. C’est un terrain de jeu idéal pour l’IA, mais que choisir : des modèles de Machine Learning sur-mesure ou une IA générative du marché ? Au terme de benchmarks techniques et économiques, c’est Gemini de Google au final qui analyse les avis clients pour 6 € par mois.

Comme toute enseigne internationale, Maisons du Monde reçoit chaque jour sur son site des centaines d’avis sur ses produits. Certains sont positifs, d’autres moins, mais toute la difficulté consiste à analyser ces avis. D’autant plus qu’il peut être éventuellement nécessaire de déclencher une alerte en cas de produit suspecté d’être dangereux ou de renégocier avec les fournisseurs en cas de problème de qualité.

Or, quand on collecte 50 000 avis clients par an en 9 langues, le problème de la volumétrie des textes à analyser se pose très directement. « Il est extrêmement compliqué de trouver une personne qui va lire ces milliers d’avis pour en faire une analyse et identifier des tendances » explique Svetlana Arnal, Lead Data Scientist chez Maisons du Monde. « Les clients sont notre raison d’être et il est très important de savoir ce qu’ils pensent. Si on ne se livre pas à une telle analyse, on ne peut pas savoir ce que les clients pensent et on ne peut pas améliorer le parcours client sur le site et dans les magasins » ajoute-t-elle.

Un projet a été lancé afin d’automatiser l’analyse des avis client. Son objectif était d’accélérer l’analyse pour repérer les tendances et les problèmes au plus tôt. Il vise aussi à détecter les produits du catalogue en sous-performance en classant les avis et enfin améliorer l’efficacité opérationnelle des différents services concernés. En outre, l’équipe Data Science souhaitait commencer à mettre en œuvre l’IA générative et l’intégrer dans ses processus.

Les subtilités du langage difficiles à appréhender par une IA prédictive

Avant de s’engager dans cette démarche, l’équipe travaille sur des modèles de Machine Learning, mais elle se heurte rapidement aux limites de l’approche. « Nous avons généré des nuages de mots, mais avec cette approche à base de mots clés, il est très facile de perdre le sens. Par exemple, un ‘Canapé confortable’ et un ‘Canapé pas confortable’ sont agrégés ensemble » décrit-elle.

L’équipe met alors en œuvre de l’analyse de sentiment pour séparer ces mots clés, mais l’approche n’est pas totalement satisfaisante. En effet, un client peut exprimer plusieurs sentiments dans une même phrase, comme dans le commentaire « ce vase est joli, mais il est très fragile ».

« Plutôt que de travailler avec les mots, nous avons cherché à travailler sur les phrases, mais le problème était inverse : il devenait beaucoup plus compliqué de détecter les synonymes. Les phrases ‘Un canapé pas très confortable’, ‘pas trop confortable’ et ‘pas du tout confortable’ ne tomberont pas dans une même catégorie. De ce fait, les problèmes soulevés par les clients risquent de se disperser » réagit la responsable.

Test des capacités d’une IA générative

Face à ces difficultés, Maisons du Monde se tourne vers la société de services Equancy afin de tester les capacités d’une IA générative sur ce cas d’usage. Maxence Raveau, Data Scientist chez Equancy explique alors le choix qui s’est posé à l’équipe projet.  « Nous avions deux possibilités. On pouvait poursuivre dans l’approche de Maisons du Monde sur l’IA prédictive. L’avantage est de créer des modèles sur-mesure et les déployer nous-mêmes » dit-il.

« Le coût de Run est quasi nul, mais la création de l’algorithme demande du temps aux consultants, et donc le coût de Build  est élevé » précise-t-il. En outre, ces modèles d’IA sur mesure doivent être maintenus. Par exemple, si on ajoute une catégorie, cela va demander de réajuster le modèle d’IA et va encore demander du temps de consultant. « Au final, les résultats que nous pouvions espérer étaient proches de ce qu’avait déjà pu obtenir Maisons du Monde en interne. C’est la raison pour laquelle nous avons cherché une autre manière de résoudre le problème » énonce-t-il.

L’alternative consiste à avoir recours à une IA générative telle que GPT-3 d’OpenAI, Gemini de Google ou Mistral. « L’avantage est de passer beaucoup moins de temps sur la création du modèle. Le coût de Build est beaucoup plus faible, les modèles sont très performants. Le problème est que cette approche réduit les possibilités de customisation [personnalisation], et son coût de Run est basé sur l’usage » reprend Maxence Raveau.

Comparaison des coûts entre IA classique et IA générative

Les consultants estiment alors que le coût d’utilisation d’un tel modèle sera de l’ordre de 100 € par an, et le coût de création de l’ordre de 30 000 €. Ces coûts sont à comparer à ceux d’une IA classique qui sont estimés à 70 000 € pour la création du modèle et à un coût de Run de 50 € par  an pour faire tourner une machine virtuelle quelques heures par mois.

Avec 30 100 € pour l’IA générative et 70 050 € pour l’IA classique, la balance penche ainsi en faveur de l’IA générative. Il restait à évaluer les performances des deux options. « Nous nous sommes livrés à des benchmarks avec des modèles et des datasets différents.  Les performances se sont avérées très similaires sur plusieurs cas d’usage » indique le consultant. « Une solution est moins chère, avec des performances similaires à la seconde, cela nous a poussés à choisir l’IA générative sur ce projet » résume-t-on côté équipe en charge du projet.

Pour déployer ce cas d’usage, le choix des solutions Google Cloud était également évident. Maisons du Monde exploite déjà des ressources sur Google Cloud. Et Google propose des briques d’intelligence artificielle sur étagère, notamment Gemini, le modèle phare de Google, qui est alors choisi par l’équipe pour mener à bien ce projet.

Stockage des données dans un Data Lake chez Google

Un workflow est mis en place. Les avis sont collectés et stockés via une brique Apache Airflow et stockés dans le Data Lake Google Big Query. L’IA Gemini couplée à la base de données vectorielle Vertex AI traite les avis afin de générer un simple fichier Excel lisible par tous les métiers. Les avis consommateur étant rédigés en 9 langues différentes, la première étape du traitement est de les traduire.

L’équipe projet a fait le choix de Google Traduction plutôt qu’une traduction par l’IA générative. Maxence Raveau explique ce choix surprenant : « les tests ont montré que la traduction plus littérale de Google Traduction donnait de meilleurs résultats en phase d’analyse. » Dès lors que le corpus de données peut être traité, deux processus sont lancés en parallèle. D’une part, les avis clients sont classifiés dans des catégories validées par les métiers : produit dangereux, produit trop cher, produit abîmé lors de la livraison, etc.

D’autre part, l’IA génère des synthèses de tous les avis pour chacun des produits du catalogue. Ce résumé de quelques phrases seulement donne les points positifs récurrents et les points négatifs récurrents. Ces résultats sont envoyés aux métiers pour que ceux-ci puissent prendre les mesures nécessaires.

Un simple fichier Excel transmis aux équipes

Aucune interface utilisateur, aucun tableau de bord (Dashboard) n’a été développé spécifiquement pour l’application. Un simple fichier Excel est envoyé à toutes les équipes concernées, celles qui gèrent les collections de produits, les équipes achat, l’équipe E-Commerce et l’équipe qualité. Ce fichier contient une trentaine de colonnes et chacun peut trier le fichier avec ses codes, faire des croisements de données. « Il reste un travail manuel au niveau de chaque équipe, mais l’objectif n’est en aucun cas de remplacer l’intelligence humaine par l’IA » relève Svetlana Arnal.

On va vers un élargissement du projet. Pour la responsable, les objectifs du projet sont aujourd’hui atteints. L’algorithme a été mis en production et il permet de détecter tous les problèmes liés à la sécurité et à réagir dès qu’un avis est soumis. « Il était très compliqué de repérer ces messages parmi des milliers, or il faut réagir au plus vite » se félicite-t-elle. Les problèmes de qualité sont également pris en compte rapidement. « De même, il nous est possible de réagir à des problèmes de qualité, intervenir auprès du fournisseur ou du partenaire de notre marketplace  » ajoute-t-elle.

Avec le recul, le coût de fonctionnement de l’application est effectivement très faible, de l’ordre de 6 € par mois.  « Ce succès nous a poussé à élargir le périmètre du projet en intégrant non seulement les avis sur les produits, mais aussi ceux exprimés sur les réseaux sociaux » dit-elle.« Nous collectons les avis sur Facebook et Instagram pour savoir ce que pensent nos clients, et analyser toutes les tendances » précise-t-elle.

Identification des produits achetés pour un cadeau

La souplesse de l’approche l’IA générative permet à l’équipe de Data Science de Maisons du Monde de répondre à des questions de plus en plus complexes, dont identifier les produits qui ont été achetés en tant que cadeau pour un tiers. C’est une information utile pour les métiers qui ont pu ajuster les assortiments en conséquence.

 « Les objectifs de ce projet ont été atteints. L’algorithme a été mis en production. Il nous permet déjà de détecter tous les problèmes liés à la sécurité et réagir dès qu’un avis est soumis » conclut la responsable.

L’analyse des avis clients sur la qualité d’un service est un domaine où l’IA générative peut être facilement mobilisée. Elle est ainsi employée chez le groupe BNP Paribas où elle complète les traditionnelles enquêtes consommateurs. L’usage de l’IA générative dans ce cadre spécifique est alors relativement sans conséquences dramatiques en cas d’erreur ou d’hallucinations. La mise au point de l’algorithme d’IA générative si l’on veut éviter les hallucinations peut nécessiter une certaine sophistication comme c’est le cas chez le fabricant de jeux vidéo Ubisoft qui analyse ainsi les opinions de ses joueurs.