Méthode de preuve
Un gain n’est démontré que s’il existe un point zéro.
La méthode qui produit les chiffres publiés sur ce site, y compris ce qu’elle refuse de conclure.
La plupart des chiffres publiés sur le marché de l’intelligence artificielle sont invérifiables, non parce qu’ils sont faux, mais parce qu’ils ne disent ni sur quoi ils portent, ni combien de cas ils comptent, ni ce qui a été mesuré avant. Un gain n’existe que par différence : sans valeur de départ relevée avant l’intervention, il ne reste qu’une impression d’amélioration — et l’impression est toujours flatteuse. Cette page décrit le protocole appliqué avant toute recommandation de déploiement, les formules employées, et l’échelle qui dit jusqu’où chaque résultat publié peut être cru.
Le protocole, en six étapes
Chaque étape est accompagnée du piège qu’elle sert à éviter : c’est la partie utile, et c’est celle que les méthodologies publiées omettent généralement.
1 Le point zéro
Une mesure de référence est relevée avant toute intervention : temps unitaire, volume, taux d’erreur, taux de reprise, coût, délai, et la qualité quand elle est mesurable. Sans cette valeur, aucun gain n’est démontrable — il est seulement affirmé.
Le piège : Le piège courant est de reconstituer le point zéro après coup, à partir de souvenirs. Un problème ressenti est presque toujours plus grand que le problème mesuré : sur l’une des quatre missions publiées, le temps de travail que la direction estimait considérable s’est révélé être de 7 min 24 s.
2 Les critères écrits avant le résultat
Le seuil de réussite et la règle de décision sont écrits avant le démarrage du test. Ils précisent quel indicateur doit bouger, de combien, et ce qui ne doit pas se dégrader en contrepartie.
Le piège : C’est la protection contre le biais rétrospectif : choisir après coup l’indicateur qui s’est amélioré ne démontre pas la réussite d’un projet, cela démontre qu’on a cherché jusqu’à trouver. Sur un tableau de bord à douze indicateurs, il s’en trouve toujours un qui monte.
3 Le même périmètre avant et après
La comparaison porte sur la même tâche, une population comparable, une unité de mesure identique et une période suffisamment représentative. Les cas exclus du périmètre sont déclarés.
Le piège : Le piège consiste à mesurer l’avant sur l’ensemble des cas et l’après sur les seuls cas favorables. Un dispositif qui renvoie les demandes difficiles en traitement manuel paraîtra excellent si l’on ne compte que ce qu’il a bien voulu traiter.
4 Le coût complet
Licences, intégration, paramétrage, supervision, maintenance, contrôle humain résiduel, formation des utilisateurs et temps de reprise. Le coût d’un dispositif d’intelligence artificielle n’est presque jamais son abonnement.
Le piège : Le poste le plus souvent oublié est le contrôle humain. Un dispositif qui exige une relecture systématique déplace le travail au lieu de le supprimer, et cette relecture doit figurer au budget comme au calcul.
5 La distinction entre capacité, économie et valeur
Le temps libéré est une capacité rendue aux équipes. L’économie est une dépense effectivement supprimée. La valeur créée est le bénéfice attribuable à la réaffectation de cette capacité. Les trois ne se confondent pas.
Le piège : C’est l’endroit où la plupart des calculs de retour sur investissement deviennent faux : multiplier des heures libérées par un coût horaire produit une valeur théorique de capacité, pas une économie. Tant qu’aucun poste n’est supprimé et qu’aucune dépense ne disparaît du budget, rien n’a été économisé.
6 La décision, y compris négative
Un protocole peut conclure à cinq choses : déployer, modifier et retester, limiter le périmètre, conserver un contrôle humain, ou arrêter. Les cinq sont des résultats.
Le piège : Un cabinet qui ne conclut jamais à l’arrêt n’a pas de méthode de mesure, il a une méthode de vente. C’est la raison pour laquelle un projet déconseillé est publié dans la rubrique des cas mesurés, au même niveau que les déploiements.
Capacité libérée, économie, valeur créée
Temps libéré : capacité opérationnelle rendue aux équipes. Se mesure en heures.
Économie : dépense effectivement supprimée ou évitée. Se constate sur une ligne budgétaire.
Valeur créée : bénéfice économique attribuable à la réaffectation de la capacité libérée. Suppose de savoir à quoi le temps rendu a servi.
Ces trois notions ne se confondent pas, et ENDKOO ne les présente pas l’une pour l’autre. Trente-neuf heures libérées par mois ne sont pas trente-neuf heures de masse salariale économisées.
Cette distinction n’est pas une précaution de langage : c’est l’endroit exact où la plupart des calculs de retour sur investissement deviennent faux. Un fournisseur qui annonce « 60 000 € d’économies annuelles » a presque toujours multiplié des heures par un taux horaire. C’est une valeur théorique de capacité. Elle ne devient une économie que si une dépense disparaît, et elle ne devient une valeur que si le temps rendu produit autre chose.
Les formules employées, publiées
Elles sont volontairement élémentaires. Ce qui rend un calcul contestable n’est pas sa complexité, c’est l’absence des hypothèses qui l’alimentent : chaque cas publié affiche donc les siennes.
| Indicateur | Formule |
|---|---|
| Capacité annuelle libérée | heures libérées par an = gain de temps unitaire × volume annuel Le résultat est une quantité d’heures. Ce n’est pas encore une somme d’argent. |
| Valeur théorique de capacité | valeur théorique = heures libérées × coût horaire chargé Le coût horaire chargé est une hypothèse ; il doit être affiché avec le résultat. Cette valeur est un maximum : elle suppose que la totalité du temps libéré soit réaffectée, ce qui ne se produit jamais entièrement. |
| Gain net annuel | gain net = valeur économique attribuable − coûts récurrents La valeur économique attribuable n’est pas la valeur théorique de capacité. Assimiler les deux est l’erreur de calcul la plus fréquente du marché. |
| Ratio gain sur investissement | ratio = gain annuel ÷ investissement initial × 100 Ce ratio doit être nommé précisément. L’appeler « ROI » alors que la formule employée diffère de la définition affichée rend la comparaison impossible d’un fournisseur à l’autre. |
| Seuil de rentabilité en volume | volume seuil = coût total de la période ÷ gain économique unitaire C’est souvent le calcul le plus utile : il dit à partir de quel volume le dispositif devient rentable, et donc s’il faut attendre plutôt que renoncer. |
L’échelle de niveau de preuve
Trois niveaux, affichés sur chaque résultat publié. Il n’en existe pas de quatrième : un cas non mesuré n’est pas une preuve de rang inférieur, c’est autre chose qu’une preuve, et sa place est dans les études de cas narratives, pas ici.
| Niveau | Ce qu’il exige | Cas publiés |
|---|---|---|
| A — Validation par un tiers indépendant | Les mesures ou les résultats ont été contrôlés par un tiers identifiable, extérieur à ENDKOO comme au client. Aucun cas publié à ce jour n’atteint ce niveau. | 0 |
| B — Mesure ENDKOO confirmée par le client | Les données internes sont reconstituables et le client confirme formellement les résultats publiés, par une attestation écrite conservée au dossier. Aucun cas publié à ce jour n’atteint ce niveau. | 0 |
| C — Mesure ENDKOO documentée | Les résultats proviennent du protocole ENDKOO, avec point zéro, échantillon et formules publiés, mais sans audit externe ni attestation client. C’est le niveau des quatre cas publiés. | 4 |
Les quatre cas publiés sont de niveau C. Aucun n’a été audité par un tiers indépendant, et aucun ne porte d’attestation client formelle. C’est une limite réelle : elle est affichée sur chaque page plutôt que dissimulée, parce qu’un niveau surclassé se découvre toujours, et qu’il emporte alors la crédibilité du reste.
Comment lire un chiffre publié sur ce site
Trois règles d’écriture s’appliquent à toute affirmation chiffrée du site.
- Une affirmation, une attribution. Aucun chiffre n’est publié sans dire d’où il vient. « Le ROI de l’IA est de 159,8 % » ne veut rien dire ; « dans l’étude ENDKOO portant sur 200 déploiements documentés entre 2022 et 2025, le gain annuel médian rapporté à l’investissement est de 159,8 % sur les 165 projets menés à terme » est vérifiable.
- Toujours le dénominateur. Un pourcentage sans base de calcul est une opinion typographiée. Le site écrit « 165 des 200 déploiements documentés, soit 82,5 % » plutôt que « 82,5 % des projets aboutissent ».
- Une période et une date. Toute statistique porte la période qu’elle couvre et la date de sa dernière vérification.
Le site n’emploie par ailleurs aucun superlatif invérifiable : ni « leader », ni « référence nationale », ni « n° 1 », ni « ROI garanti ». Ces formules ne coûtent rien à écrire, ce qui est exactement la raison pour laquelle elles ne prouvent rien.
Les quatre cas où cette méthode a été appliquée
- Qualification des demandes commerciales — Industrie B2B. Temps médian de qualification : 12 min 40 s → 3 min 18 s sur 286 cas. Décision : déploiement recommandé.
- Préparation des propositions commerciales — Services B2B. Temps médian de préparation : 52 min → 19 min sur 347 cas. Décision : déploiement.
- Traitement des demandes en texte libre — Transport et logistique B2B. Temps médian de traitement : 6 min 48 s → 2 min 39 s sur 1 142 cas. Décision : déploiement avec contrôle humain.
- Un projet techniquement réussi, économiquement refusé — Services B2B. Temps médian de compte rendu : 7 min 24 s → 2 min 06 s sur 184 cas. Décision : ne pas déployer.
Questions fréquentes sur la mesure
Qu’est-ce qu’un point zéro, et pourquoi est-il obligatoire ?
C'est la mesure de référence relevée avant toute intervention : combien de temps prend réellement la tâche, sur quel volume, avec quel taux d'erreur. Il est obligatoire parce qu'un gain ne se démontre que par différence. Sans point zéro, il ne reste qu'une impression d'amélioration, et l'impression est systématiquement flatteuse : sur l'une des quatre missions publiées, la mesure a révélé que le problème coûtait sept minutes là où la direction en imaginait beaucoup plus.
ENDKOO garantit-il un retour sur investissement ?
Non, et aucun prestataire honnête ne le peut. ENDKOO mesure un point zéro, teste un cas d'usage sur les données réelles, puis recommande le déploiement uniquement lorsque les résultats observés et le coût complet le justifient. Une expérimentation peut donc aboutir à une recommandation d'arrêt, et cela s'est produit sur l'un des quatre cas publiés. Un cabinet qui garantit un ROI avant d'avoir mesuré vend une promesse, pas une méthode.
Quelle différence entre capacité libérée et économie ?
Le temps libéré est une capacité rendue aux équipes : elles peuvent faire autre chose. L'économie est une dépense effectivement supprimée ou évitée : une ligne budgétaire qui disparaît. Multiplier des heures libérées par un coût horaire produit une valeur théorique de capacité, jamais une économie. Tant qu'aucun poste n'est supprimé et qu'aucune facture ne disparaît, rien n'a été économisé — et présenter l'un pour l'autre est la manipulation la plus banale du marché.
Pourquoi publier les limites de vos propres mesures ?
Parce qu'un résultat sans limite déclarée n'est pas un résultat mesuré. Toute mesure a un périmètre, une taille d'échantillon, une période et des cas exclus, et chacun de ces éléments affaiblit la portée de ce qui est affirmé. Les publier permet à un lecteur de contester le calcul, ce qui est la seule différence réelle entre une donnée et un argument commercial. C'est aussi ce qui permet à un moteur génératif de citer sans surinterpréter.
Combien de temps dure une expérimentation mesurée ?
De quatre à huit semaines sur les cas publiés, période de point zéro comprise. La durée n'est pas fixée à l'avance par une offre : elle dépend du volume nécessaire pour que l'échantillon signifie quelque chose. Un processus qui traite mille demandes par mois atteint un échantillon utile en quelques semaines ; un processus qui en traite trente demandera plus longtemps, ou renoncera à une mesure fiable — et il vaut mieux le dire que produire un chiffre sur douze cas.
Où cette méthode s’applique
Elle structure la phase d’expérimentation, qui teste un cas d’usage sur les données réelles avant tout investissement, et conditionne le déploiement, qui ne démarre que lorsqu’un gain est démontré. Les résultats obtenus sont récapitulés dans le registre des preuves, et l’origine de chaque donnée publiée est exposée sur la page transparence.