Le projet qui a fonctionné et n’a rien changé

Tout s’est bien passé

Le mandat était de prédire quels clients étaient sur le point de partir. L’équipe l’a fait. Elle a rassemblé l’historique, traité honnêtement le déséquilibre des classes, résisté à la tentation de laisser fuir la réponse dans les variables, et livré quelque chose qui dépassait la cible fixée. Il y a eu une démo. Elle s’est bien passée. Quelqu’un a employé le mot « transformateur ».

Puis la liste des clients à risque a commencé à arriver chaque lundi dans la boîte d’une équipe de rétention qui a la capacité d’appeler une quarantaine de personnes par semaine, qui n’a aucune latitude sur les prix, et qui ne peut rien offrir qui ferait changer d’avis un client. La liste est exacte. Elle est aussi inerte. Au bout d’un moment, on cesse de l’ouvrir, et personne ne le soulève, parce que le soulever reviendrait à dire que le projet transformateur n’a rien produit.

C’est l’éléphant que nous appelons Mirage : résoudre parfaitement le mauvais problème d’affaires. Notez l’adverbe. Mirage n’est pas l’histoire d’un projet qui s’est effondré. Ceux-là ont droit à un post-mortem. C’est l’histoire d’un projet qui a rempli chacune des exigences reçues, alors que les exigences étaient l’erreur.

Comment un projet peut-il échouer alors que tout a fonctionné ?

RAND a posé la question à 65 personnes qui avaient réellement mené ces projets, et ce qui est ressorti en tête n’était ni la puissance de calcul, ni le volume de données, ni le choix du modèle, ni le talent. C’était mal comprendre ou mal communiquer le problème à résoudre. Avant tout modèle. Avant toute donnée.

Il vaut la peine d’être précis sur ce qu’est ce genre de constat, et sur ce qu’il n’est pas. C’est un classement tiré d’entretiens de praticiens, pas un pourcentage de projets. Personne n’avance ici un taux d’échec mesuré, et quiconque le cite ainsi va trop loin. Ce que ça dit, en revanche, c’est où des gens d’expérience, en regardant leurs propres décombres, situent l’erreur décisive. Ils la situent au début, dans une conversation, avant que quiconque ouvre un carnet.

Ça compte, parce que c’est la seule cause qu’aucune excellence en aval ne peut compenser. Un modèle faible qui s’attaque au bon problème s’améliore au trimestre suivant. Un modèle solide qui s’attaque au mauvais est terminé le jour de sa livraison.

• Personne ne peut nommer la personne dont le lundi change si ça fonctionne.
• Les critères de succès sont tous des propriétés du modèle : exactitude, latence, couverture. Aucun n’est une propriété de l’organisation.
• Le problème a été choisi après la découverte du jeu de données, plutôt qu’avant.
• Quand on demande ce qui arrive si le résultat dit quelque chose de dérangeant, la salle n’a pas de réponse, parce que personne n’a l’autorité d’agir dessus.
• Le projet est décrit par ce qu’il est (« un modèle d’attrition ») plutôt que par la décision qu’il change.