L’IA générative améliore la productivité, à utiliser en terrain balisé

L’usage de l’IA générative rend les professionnels du conseil plus productifs, à condition de l’employer en terrain où elle fonctionne correctement. C’est ce que mesure l’étude menée par des chercheurs de Harvard, du MIT et de Wharton auprès de consultants du BCG (Boston Consulting Group), un grand cabinet conseil international.  

Une accélération de 25% pour réaliser les tâches

Les consultants du BCG aidés par l’IA générative ont terminé 12,2% de tâches en plus, et ont été 25,1% plus rapides pour réaliser leurs tâches. De plus, les résultats étaient de meilleure qualité, avec une qualité de 40% supérieure à un groupe de contrôle. Ce test concerne 18 tâches réalistes que l’on confie à un consultant et avec une IA dans les limites de son fonctionnement.

Moins les consultants étaient performants sur une tâche, plus ils ont bénéficié de l’apport de l’IA. Ceux en dessous du seuil de performance moyen ont augmenté leur score de 43 % et ceux au-dessus de ce seuil de performance ont amélioré de 17 % leur performance par rapport à leur propre score.

Toutefois, l’IA générative présente une frontière irrégulière, préviennent les chercheurs. « Certaines tâches sont facilement accomplies par l’IA, tandis que d’autres, bien que de niveau de difficulté apparemment similaire, échappent aux capacités actuelles de l’IA » décrivent-ils. On peut citer les hallucinations de l’IA, qui produisent des résultats plausibles mais incorrects.

En dehors des limites, les consultants sont 19 points moins justes

Résultat, pour une tâche qui est en dehors des frontières des capacités de l’IA, les consultants utilisant l’IA étaient 19 points de pourcentage moins susceptibles de produire des solutions correctes par rapport à ceux sans IA. Enfin, l’étude montre l’émergence de deux modèles distinctifs d’utilisation réussie de l’IA par les humains. Un groupe de consultants a agi en divisant et en déléguant ses activités de création à l’IA ou à eux-mêmes.

Un autre groupe de consultants intégrait complètement leur flux de tâches à l’IA et interagissaient continuellement avec la technologie. En pratique, l’expérience s’est concentrée sur l’innovation et le développement d’un produit créatif. La tâche d’évaluation initiale demandait aux consultants du BCG de réfléchir à des concepts de boissons innovants. À partir de leurs idées, ils ont identifié l’option la plus viable et ont élaboré un plan complet pour son entrée sur le marché.

Après cette tâche, les consultants sont passés à la phase expérimentale principale. Dans cette tâche expérimentale, les participants devaient conceptualiser une idée de chaussure pour des marchés de niche et délimiter chaque étape impliquée, de la description du prototype à la segmentation du marché jusqu’à l’entrée sur le marché. Un cadre d’une grande entreprise mondiale de chaussures a vérifié que la conception de la tâche couvrait l’ensemble du processus par lequel son entreprise passe généralement, de l’idéation au lancement du produit.

4 types de tâches évaluées

Les participants du BCG ont répondu à un total de 18 tâches ou autant qu’ils le pouvaient dans le délai imparti. Ces tâches sont de 4 types (Page 44/58). Cela concerne la créativité avec par exemple, « Proposer au moins 10 idées pour une nouvelle chaussure ciblant un marché ou un sport mal desservi. »

Autres enjeux évalués, il y a la pensée analytique avec par exemple, « Segmenter le marché de l’industrie de la chaussure en fonction des utilisateurs. » ; la maîtrise de l’écriture avec par exemple, « Rédiger un communiqué de presse pour votre produit. » et le pouvoir de persuasion avec par exemple, « Rédigez une note inspirante pour les employés expliquant pourquoi votre produit surpasserait vos concurrents. »

L’expérience menée a impliqué 758 consultants du BCG. Lors de la réalisation d’une tâche, le consultant était assigné au hasard à une situation où soit il n’avait pas d’accès à l’IA, soit il avait accès à l’IA GPT-4 d’OpenAI ou soit il avait accès à l’IA GPT-4 d’OpenAI avec un aperçu de l’ingénierie des prompts, les invites de commande de GPT-4.

Consacrer l’IA aux tâches où elle est excellente

L’étude souligne que l’un des défis est que le fonctionnement interne de l’IA est encore opaque pour qu’il soit difficile de savoir exactement quand elle est suffisamment fiable pour être utilisée pour certaines tâches. C’est ce que l’étude décrit comme une « frontière technologique irrégulière », c’est-à-dire une barrière difficile à discerner entre les tâches facilement réalisables par l’IA et d’autres qui échappent aux capacités actuelles de l’IA.

L’étude pointe que certaines tâches inattendues comme la génération d’idées sont faciles à réaliser pour les IA, tandis que d’autres tâches qui semblent faciles pour les machines comme des mathématiques de base constituent des défis pour certains grands modèles de langages (LLM). Cela crée une « frontière irrégulière », où des tâches qui semblent présenter une difficulté similaire peuvent être exécutées mieux ou moins bien par les humains utilisant l’IA.

En raison de la nature « irrégulière » de la frontière, le même flux de travail peut avoir des tâches des deux côtés de la frontière.  Autre enseignement, il faut laisser l’IA faire ce pour quoi elle est excellente. Il ne faut pas commettre l’erreur de conclure que l’IA est la meilleure solution pour générer une première ébauche.  « Vous laissez l’IA faire ce pour quoi elle est vraiment excellente, et les humains devraient essayer de sortir de cette frontière et de plonger vraiment en profondeur et de consacrer leur temps aux autres tâches » déclare Francois Candelon, Senior Partner au BCG, qui était responsable de l’expérimentation du côté du BCG et interviewé par VentureBeat.

L’étude a ainsi montré qu’il était bon de consacrer l’IA à certaines tâches, par exemple la synthèse d’entretiens et d’autres tâches créatives, tandis que l’humain se consacre à des choses plus pertinentes, par exemple des tâches liées aux données ou à la gestion du changement.