Le CDO de Malakoff Humanis s’inquiète de créer de la déception avec l’IA générative

Stéphane Barde, Chief Data & Digital Officer de l’assureur mutualiste Malakoff Humanis, aborde de front les questions en matière d’IA générative. Il présente la réalité des enjeux de l’IA générative en entreprise, qu’il s’agisse de ses apports, et des craintes qu’elle suscite.

Les résultats de l’IA générative sont une amélioration marginale

A l’heure où de nombreuses entreprises mènent des projets sur l’IA générative, il prévient que sa plus grande crainte est de décevoir avec l’IA générative car il estime que les résultats obtenus ne sont qu’une amélioration marginale. « Les patrons s’imaginent des gains extraordinaires et en fait, on accouche d’un truc, c’est un marteau pour écraser une mouche » souffle-t-il.

Quand Stéphane Barde s’exprime, on comprend que l’on est loin de la baguette magique fantasmée par les patrons et de la destruction d’emplois redoutée par les employés. « On a créé un observatoire de l’évolution des métiers parce qu’il y a beaucoup de fantasmes en particulier avec l’IA générative. Fantasme de destruction d’emplois pour les syndicats salariés, fantasme de baguette magique pour les syndicats patronaux » exprime-t-il.

Il a pris la parole à l’occasion de l’événement EveryDay AI organisé par Dataiku qui propose une plateforme de développement logiciel centralisée, le 24 septembre. Cette plateforme est utilisée depuis bientôt 10 ans par Malakoff Humanis et il s’en félicite.

Ceci dit, Stéphane Barde prépare des cas d’usage de l’IA générative qui présentent autant que l’on puisse en juger de vrais bénéfices dans le domaine juridique pour l’assureur Malakoff Humanis. Et il détaille sa méthodologie pleine de bon sens pour sélectionner les bons cas d’usage. Il souligne qu’il faut alors résoudre la question du bon rapport entre la performance et le coût d’une IA générative et du LLM (Large Language Model) retenu. En bref, on peut admettre des performances légèrement moindres si le coût est nettement plus faible.

Stéphane Barde constate l’impératif de communiquer face à ce qu’il appelle le fantasme de destruction d’emplois pour les syndicats de salariés et le fantasme de baguette magique pour les syndicats patronaux quand il s’agit d’IA générative. « On passe beaucoup de temps à expliquer ce que sont ces technologies, ce que cela peut faire, surtout, ce que ça ne fera jamais. Expliquer que nous, dans notre philosophie, on s’en sert pour améliorer le travail des collègues » résume-t-il.

Le gain de l’IA générative est marginal

Il tient à rappeler que les intentions de Malakoff Humanis en tant que structure mutualiste à but non lucratif visent à améliorer les conditions de travail. « On n’a pas du tout l’idée de détruire [d’emplois]. De toute façon, je pense que ce n’est pas possible, sauf peut être marginalement si le métier est par exemple de faire des pictogrammes à longueur de journée. Oui, localement, quelques métiers vont être bouleversés. Mais moi, je pense plus fondamentalement qu’on est sur du gain marginal » alerte-t-il.

L’IA générative est une technologie qui réclame « pas mal d’efforts et d’investissement pour parfois des gains marginaux » dit-il. « Donc moi, ma hantise, c’est la déception, en fait. Les patrons s’imaginent des gains extraordinaires et qu’en fait, on accouche d’un truc, c’est un marteau pour écraser une mouche » ajoute-t-il. Il glisse même rapidement, « une fois que l’on a joué deux fois avec copilot in Teams, c’est cool, cela fait la synthèse de la réunion, mais il y a plein de problèmes ». Cela n’empêche pas le Chief Data Officer d’évoquer deux cas d’usage porteurs de valeur ajoutée sur lesquels il travaille actuellement.

Le premier cas concerne les notices contractuelles rédigées par les juristes de l’assureur. Des paramètres de contrat sont transmis par des ERP. Il faut que les juristes les prennent et rédigent des contrats. Les notices contractuelles sont des addendum à des contrats qui précisent de manière très chiffrée et indiscutable ce que Malakoff Humanis va devoir à ses clients. Il fallait historiquement environ une demi-journée aux juristes pour rédiger une notice contractuelle.

Le temps de rédaction des notices contractuelles est réduit à rien

Or, l’assureur signe beaucoup de contrats. « Nous avons 400 000 entreprises couvertes en santé et prévoyance, donc ça fait beaucoup de contrats chaque année » pointe le responsable. L’IA générative change tout cela. « On a réduit ce temps-là à quasiment rien. On fait gagner du temps aux juristes C’est surtout le temps humain. Ça arrive en production » annonce Stéphane Barde.

Il faut toutefois toujours un humain. « La question, c’est: comment leur travail devient plus intéressant ? On les décharge de choses un petit peu fastidieuses et là, ils viennent vérifier que la qualité de ce qui a été produit est conforme » présente-t-il. L’humain reste dans le processus comme expert qui valide le résultat.

Le deuxième cas d’usage cible les réclamations. Lors des appels téléphoniques sur les plateformes de Malakoff Humanis, ces conversations sont transcrites en texte, et l’assureur essaye d’exploiter ce texte pour comprendre si le client était content, pas content et quelle est la nature de la demande. De même, y-a-t-il des signaux faibles qui pourraient être exploitées pour mieux conseiller, mieux accompagner, le client ?

L’algorithme de prédiction des réclamations ne marchait pas

Christophe Barde reconnaît la difficulté à prédire s’il va y avoir une réclamation de la part du client à partir de ces échanges. « On n’arrive pas à prédire. Pour nous, c’est un sujet très important d’essayer de détecter si un dossier pourrait devenir une réclamation » dit-il. La prédiction était juste dans 15% à 20% des cas avant l’usage de l’IA générative. Ce qui est très mauvais. L’algorithme ne marchait pas.

« Et depuis, l’IA générative, la performance est de 90%. Donc, c’est assez monumental » s’exclame le Chief Data & Digital Officer. Et c’est là que se pose la question du compromis coût-performance. L’assureur a testé trois approches, zéro shot, puis une évaluation few shots et enfin RAG. Le coût est alors de plus en plus élevé.

Où placer le curseur entre le coût et la performance de l’algorithme

« Nous avons trouvé qu’avec une architecture few shots, avec des modèles en Open source, nous avions une performance à 80%, alors qu’avec notre architecture RAG, avec un modèle payant, qui coûte quand même un peu cher, la rentabilité baisse beaucoup » constate le responsable. « Nous sommes dans ces réflexions, où est le bon curseur et comment on va rendre l’outil viable avec un bon retour sur investissement en production ? » commente-t-il.

Le cas d’usage fait face au même enjeu que tous les autres, c’est-à-dire qu’il marche en laboratoire, mais maintenant, ce que le responsable veut c’est l’intégrer dans les CRM (outils de Gestion de la relation client) de l’assureur pour que cela devienne vraiment actionnable. « Ça, ce n’est pas simple. C’est toujours la même histoire, intégrer cette matière-là dans des chaînes de téléphonie, le réintégrer dans le CRM, c’est un petit peu un défi. Mais ça, c’est un petit peu derrière nous parce qu’on l’a déjà traité depuis plusieurs années » veut-il rassurer.

Malakoff Humanis travaille sur l’IA générative depuis un an, un an et demi. « On a tous plongé dans un autre monde et très rapidement, on s’est demandé comment on allait utiliser cette technologie-là pour améliorer ce qu’on était déjà en train de faire. En assurance, on traite beaucoup de chiffres, beaucoup de matières chiffrées. Avec l’IA Générative, ce qui est intéressant, c’est qu’on s’attaque au métier des lettres. On a aussi pas mal de matières littérales et on ne pensait pas qu’on aurait autant de choses possiblement à traiter » se réjouit le responsable.

Office 365 Copilot déçoit chez Malakoff Humanis

L’assureur mutualiste a défini trois zones d’activité. Cela a consisté à d’abord tester les assistants associés à de l’IA. « Github Copilot, marche plutôt bien chez nous pour nos développeurs. Office 365 Copilot, pour l’instant, on n’est pas hyper convaincus. Cela coûte cher. D’ailleurs, première découverte, l’IA générative coûte cher » déclare Christophe Barde. Un des enjeux clés concerne la recherche de  documents, l’indexation, les synthèses, car de nombreuses personnes chez Malakoff Humanis cherchent des informations à longueur de journée, dans des bases documentaires assez larges.

En matière d’intelligence artificielle, le responsable estime que le monde n’a pas changé. « C’est un peu tout le temps la même histoire. On essaie de faire des algorithmes, ils prédisent des choses, ils trient des choses, ils scorent, etc » liste-t-il, un peu ironiquement. Il faut alors créer de la valeur. « La valeur, on l’atteint quand on arrive à intégrer ces composants qui marchent très bien en laboratoire, mais dans un processus qui est intégré à des gros outils de gestion. Donc, il faut APIser [c’est-à-dire rendre ces services accessibles via des interfaces informatiques] tout cela. Il faut sécuriser. Il faut se demander ce que l’on fait si l’ensemble ne marche plus. Il faut regarder les coûts, comme je le disais » énumère-t-il.

En matière de cas d’usage, les équipes Data on accès à un vivier car les équipes métiers ont plein d’idées. « On les collecte, on les met de côté et on en explore certaines » explique Stéphane Borde. Le processus est sélectif selon deux critères. Tout d’abord, est-ce que c’est faisable ? « Faisable, c’est assez large. Est-ce qu’on a les données pour prédire des choses ? Une base d’apprentissage digne de ce nom ? Est-ce que les données sont de qualité ? Est-ce qu’on va pouvoir intégrer quelque chose dans un outil de gestion à la fin ? Toute cette partie technicité, c’est la faisabilité » établit le responsable.

Déterminer la valeur du cas d’usage

Puis après, il y a la valeur du cas d’usage. « La valeur c’est l’espoir de gains associé au cas d’usage. Est-ce que le cas d’usage vaut le coup de l’investissement ? L’espoir de gains chez nous, c’est comme chez toutes les entreprises. C’est satisfaire mieux les clients ou gagner de l’argent, gagner de la productivité en assumant qu’on parle aussi de gain technique » précise-t-il.

C’est ainsi que tous les cas d’usage sont classifiés. En ce qui concerne l’IA générative, il a été procédé à la régénération d’une soixantaine de cas d’usage.  Malakoff Humanis avait déjà mis en œuvre depuis cinq ou six ans une trentaine de cas d’usage. Il y a une nouvelle vague avec l’arrivée de l’IA générative. « Les métiers ont vraiment envie de faire plein de choses. Et comme je le disais, c’est plutôt sur les métiers des lettres. C’est assez intéressant » constate Stéphane Borde.

La sélection des cas d’usage s’effectue ensuite selon le tri faisabilité-valeur et l’espoir de gains. « Et puis, nous faisons une exploration pour vérifier que nos hypothèses de faisabilité sont vraiment là. Et puis, si ça marche plutôt bien, on va faire un POC [Proof of Concept], un pilote et puis après, on passe en phase d’industrialisation » conclut-il.

Détection de fraudes et prédictif

Historiquement, l’équipe de Stéphane Barde travaille spécifiquement sur des sujets de détection de fraude et d’automatisation de tâches, réalise du prédictif, et traite aussi les images parce que l’assureur reçoit beaucoup de photos transmises par ses clients, telles que des photos de devis ou de factures. Cela est traité avec de l’IA et au fil du temps, de nombreux traitements ont pu être automatisés.

En 2023, Malakoff Humanis a réalisé un chiffre d’affaires de près de 6,8 milliards d’euros, en augmentation de +5% par rapport à 2022. Son résultat net a progressé à 183 millions d’euros. La satisfaction client est un enjeu clé du projet d’entreprise Smile 26. L’assureur annonce 85% de clients satisfaits. Le groupe emploie 10 500 personnes en France. Il a 9 millions de clients sur les contrats santé/prévoyance/épargne, 7 millions de cotisants Agirc Arrco et 6,3 millions de retraités.

En 2023, Malakoff Humanis a versé 42,2 milliards d’euros d’allocations à 6,3 millions d’allocataires, et gère 34,5 milliards d’euros de cotisations de 601 000 entreprises et plus de 7 millions de salariés, ce qui correspond à 40% de la retraite complémentaire Agirc-Arrco.