L’assureur Malakoff Humanis migre vers une seule plateforme de Data Lake

Après avoir piloté des infrastructures Data à deux vitesses durant plusieurs années, l’assureur mutualiste Malakoff Humanis procède actuellement à l’unification de l’ensemble de ses données, de ses plateformes et de leurs usages sur une seule plateforme, portée par la solution technique Snowflake dans le Cloud AWS (Amazon Web Services). L’objectif est de disposer d’une plateforme qui soit à la fois robuste pour les services critiques et agile pour l’innovation.

Les applications décisionnelles ont été migrées sur la nouvelle plateforme

Les cas d’usage pour les applications décisionnelles ont été migrés vers la nouvelle plateforme. La migration de la totalité des cas d’usage devrait être achevée fin 2024. La plateforme portera alors les tableaux de bord de gestion, l’innovation en Data Science et les cas d’usage critiques à fort engagement de service tels que la détection de fraude. Le système d’information Data de l’assureur est conçu afin de faire collaborer les Data Scientists et les Data Analysts, côté direction Data, avec les Data Engineers côté DSI.

La migration et la convergence interviennent à partir de deux solutions techniques utilisées jusqu’alors en parallèle chez l’assureur. L’une est un Data Warehouse (DWH) traditionnel en SQL Server sur site et l’autre est un Data Lake placé dans le Cloud AWS (Amazon Web Services) mis en place en 2017 afin de transformer l’assureur et de le digitaliser.

Ce Data Lake était alors destiné au Big Data pour des cas d’usage de Data Science et Data Analytics avancé, alimenté aux mêmes sources que le DWH, auxquelles s’ajoutent les espaces digitaux afin de capter toutes les interactions avec les clients (sites web, application mobile, données externes). Le budget consacré à bâtir ces nouveaux socles et infrastructures Data à l’époque fut de 40 millions d’euros sur 5 ans.

Une équipe Data indépendante de la DSI

Un Chief Data Officer a également été nommé afin de piloter la stratégie Date et de déployer des cas d’usage à forte valeur ajoutée, avec une équipe de Data Scientists, Data Analysts, Data Product Managers et les ingénieurs en charge de la Data Viz (visualisation de données et élaboration de tableaux de bord) et des personnes en charge de la gouvernance des données ainsi que de la préparation des données.

Le CDO (Chief Data Officer) se place en interaction avec la DSI Data qui se structure pour répondre aux besoins de maintenance des socles Data et pour les opérer, ainsi que pour les nouveaux applicatifs. Cela comprend le Data catalogue qui documente toutes les données de l’assureur (Data Lake, DWH et tout le SI de Malakoff Humanis). On trouve là également le Data Lake opéré par les Data Engineers. Côté applicatifs, ils interviennent sur le développement d’un référentiel client unique et d’une vision à 360° des clients.

Pour le détail, le DWH d’origine est en fait composé de plusieurs DWH issus de différentes fusions d’assureurs qui ont abouti au Malakoff Humanis actuel et comprend un ensemble d’infocentres alimentés par les briques du CRM, par le système d’information de gestion en back office et diverses autres sources. L’histoire de Malakoff Humanis se lit d’ailleurs dans la longue liste des outils de traitement de données en Business Intelligence employés par les utilisateurs, avec SAS, PowerBI de Microsoft, Oracle EPM et Qlik. « C’est un legacy assez classique comme il y en a dans beaucoup de groupes » commente-t-on côté assureur.

Un Data Lake pour des projets en 3 à 6 mois contre 18 mois auparavant

Le Data Lake dans le Cloud AWS était là pour accélérer les développements. « On avait besoin d’aller vite. Ce Data Lake sur AWS répondait aux besoins de changer de culture d’exécution de projet en développant des produits Data en 3 à 6 mois au lieu de 18 mois comme c’était le cas auparavant. Le Cloud sert à cela » insiste-t-on côté DSI.

PowerBI permet alors de réaliser des tableaux de bord. Quant aux développements de cas d’usage de Data Science, Deep Learning et Machine Learning, ils sont réalisés avec l’atelier logiciel de Dataiku qui répond à l’imagination des Data Scientists de l’assureur. Cette première évolution s’avère une réussite. « C’est alors un vrai succès car cela simplifiait la vie des métiers de la Data, c’est-à-dire les Data Scientists et les Data Analysts,etc. » rappelle-t-on côté DSI. Une centaine de cas d’usage sont alors développés dont 50 sont en production aujourd’hui chez l’assureur. C’était la première version de la plateforme Data de Malakoff Humanis.

Le temps passant, les inconvénients d’un système double, DWH et Data Lake apparaissent. « On s’aperçoit au bout de quelques années, que le système d’information Data est à deux vitesses » décrit-on côté DSI. « Le SI décisionnel est reconnu pour sa robustesse et sa fiabilité, sa capacité à s’engager sur la fraîcheur des données, qui va permettre de produire tout le pilotage en interne, pour les actuaires, la direction financière mais difficile à faire évoluer » pointe la DSI. « Et à côté on a quelque chose de très agile, un Data Lake dans le Cloud AWS et qui est en co-pilotage entre la DSI Data et les Data Scientists, les Data analysts qui fabriquent des produits Data pour les métiers » résume-t-on côté DSI.

Les mêmes données dans les deux plateformes en parallèle

Au bout du compte, il y a les mêmes données dans les deux systèmes, le DWH et le Data Lake dans le Cloud AWS. Ces deux univers de la Data entrent en concurrence. De plus, certains cas d’usage développés dans le Cloud doivent passer à l’échelle car ils sont devenus critiques pour l’assureur, tels que des APIs qui servent à lutter contre la fraude, par exemple lorsqu’un assuré demande une prise en charge de remboursement d’optique lors du passage chez un opticien. « Un service du Data Lake va scorer la demande et éventuellement demander des pièces justificatives, il y a un enjeu de plusieurs millions d’euros » explique-t-on côté assureur.

Ce service, cet algorithme doit être opérationnel par exemple lors du passage en boutique de l’assuré le samedi avec des équipes de la DSI prêtes à dépanner 24 h sur 24. Cela n’était pas demandé auparavant sur le Data Lake. Il y a donc une question de mise à l’échelle et d’industrialisation de ces cas d’usage devenus critiques avec des engagements de niveaux de service (SLA). Et en même temps, l’assureur ne souhaitait pas casser la machine à innover  et l’agilité qui a permis une centaine de cas d’usages en 5 ans.

Il a alors été décidé de re-développer une nouvelle plateforme dans Snowflake. Les captations de données sont similaires à celles existantes auparavant auxquelles sont ajoutées des capacités de captation en temps réel de données avec Fivetran. Le nouveau Data Lake comprend 3 univers d’usage. On trouve ainsi le décisionnel et les référentiels, puis un univers de « liberté » destiné au Big Data pour l’innovation afin de développer des produits Data et des cas d’usage à faible valeur ajoutée pour les métiers, donc non critiques avec de faibles engagements de service.

Des engagements de service élevés pour les cas d’usage critiques

Et enfin il y a les cas d’usage critiques comme la fraude, les espaces digitaux ou l’aide à la décision des gestionnaires, qui sont alors gérés et encadrés de bout en bout par la DSI avec des niveaux de service, incluant du dépannage 24 h sur 24, du Disaster Recovery, etc.  A noter que le décisionnel est re-developpé depuis le DWH vers Snowflake, ce qui est plutôt simple car il s’agit d’univers SQL.

L’assureur migre désormais toutes ses données et tous ses cas d’usages sur une plateforme unique au sein de la solution de Data Lake délivrée par Snowflake Cette plateforme est hébergée dans le Cloud AWS. Elle permet de gérer les données structurées et non structurées.

Le DWH SQL est recréé dans Snowflake. L’opération de migration a été enclenchée il y a six mois. Les outils décisionnels utilisés afin d’exploiter les données et leur visualisation seront alors SAS et PowerBI.

En 2022, Malakoff Humanis réalise un chiffre d’affaires de 6,4 milliards d’euros pour un résultat net de 168 millions d’euros. En assurance santé et prévoyance, Malakoff Humanis couvre 10 millions de personnes et 375 000 entreprises. En retraite complémentaire, l’assureur annonce 6,2 millions d’allocataires et 583 400 entreprises clientes.