La démo que tout le monde a adorée

Mars, puis dix-huit mois

La démo se passe bien. Elle se passe toujours bien. C’est le propre d’une démo. Le comité directeur est sincèrement impressionné, convient qu’il faut mettre ça en production, et demande un plan.

Puis le plan rencontre l’édifice. Le pilote tournait sur un extrait que quelqu’un avait nettoyé à la main pendant deux fins de semaine. Les données de production comportent les huit pour cent embêtants dont personne n’avait parlé. La révision de sécurité a une file d’attente et prend quatre mois. Les deux ingénieurs qui l’ont bâti sont bons, ce qui explique qu’on les ait déjà affectés ailleurs. Le système dans lequel il doit écrire appartient à une équipe qui n’a jamais été dans la salle. Et vers le onzième mois, le commanditaire change de poste, et le nouveau demande, raisonnablement, pourquoi on dépense encore là-dessus.

Rien de dramatique ne se produit. Aucune décision d’annulation, aucun post-mortem, aucune leçon consignée. C’est l’éléphant que nous appelons Pilote : un succès en vase clos qui n’atteint jamais la production, ni les résultats financiers.

Un taux d’abandon de 46 %, n’est-ce pas simplement ce à quoi ressemble l’expérimentation ?

C’est la bonne objection et elle mérite une réponse franche : oui, les expériences sont censées mourir. Une organisation dont toutes les preuves de concept atteignent la production ne réussit pas, elle est timide. Elle ne tente que ce dont elle savait déjà que ça marcherait. Une preuve de concept qui établit à peu de frais qu’une idée ne tient pas est un bon résultat, et 46 % n’aurait rien de remarquable si c’était ce que ce chiffre décrivait.

Or ce n’est surtout pas le cas, et c’est la distinction que le chiffre global masque. Deux populations entièrement différentes cohabitent dedans. La première : des expériences qui ont échoué de façon instructive. Le modèle n’était pas assez juste, les données n’appuyaient pas la thèse, l’économie ne tenait pas. Ce sont des gains, acquis à bon compte.

La seconde : des pilotes qui ont fonctionné et n’ont quand même pas été livrés. Ceux-là n’ont rien appris à l’organisation, sinon qu’elle n’arrive pas à faire franchir à quoi que ce soit la frontière entre la démonstration et l’exploitation. Cette leçon n’est jamais consignée, alors on la réapprend l’an prochain avec une autre technologie. Le chiffre qui mérite d’être présenté à un conseil n’est pas combien de preuves de concept ont été abandonnées. C’est combien des abandonnées avaient déjà fait leurs preuves.

• Une preuve de concept a été déclarée réussie, et personne ne peut dire ce qu’elle est devenue.
• Les données du pilote ont été préparées à la main, et personne n’a chiffré ce que ça coûterait en continu.
• Les gens qui l’ont bâti ne sont pas ceux qui l’exploiteraient, et on ne l’a jamais envisagé autrement.
• La sécurité, la conformité et l’équipe propriétaire du système sont convoquées après la démo plutôt qu’avant.
• L’organisation a mené plusieurs pilotes sur le même thème d’une année à l’autre, chacun repartant de zéro.