Trompés par les métriques : 7 erreurs commises par les responsables informatiques en matière de KPI

Mark Twain a fait remarquer qu’il existe trois types de mensonges : les mensonges, les maudits mensonges et les statistiques. Aujourd’hui, de nombreux DSI ressentent la même chose à propos des métriques.

Les métriques ne sont aussi bonnes que leur source. « Trop souvent, les entreprises technologiques paient des cabinets de conseil ou d’analyse pour créer des mesures basées sur les meilleures caractéristiques de leurs offres », déclare Judith Hurwitz, PDG de Hurwitz Strategies, une société de conseil en technologie émergente. « Par conséquent, les DSI doivent être prudents et ne pas prendre les mesures au pied de la lettre [and] les dirigeants doivent comprendre les données derrière les métriques.

L’interprétation des métriques est essentiellement un jeu de nombres et, comme pour tout jeu de nombres, il est possible de gagner ou de perdre. Voici sept façons dont les responsables informatiques sont souvent induits en erreur par les indicateurs de performance clés (KPI) et d’autres mesures commerciales et informatiques essentielles.

1. Ne pas tenir compte de la source

Lorsque vous étudiez une métrique, il est important de savoir qui l’a créée et la source de données. Les résultats peuvent être basés sur une enquête, par exemple. Si oui, demandez combien de personnes ont été interrogées et les rôles qu’elles ont joués dans leurs organisations respectives. Vérifiez également si les mesures sont basées sur une méthodologie éprouvée. « Il est important de comprendre la recherche et les données derrière les mesures », déclare Hurwitz.

Tenez également compte de l’objectif de la métrique. Sera-t-il utilisé comme outil de planification? Si oui, cela aidera-t-il à déterminer une stratégie commerciale, une sélection de technologie ou un autre besoin ? « Les métriques ne sont qu’un outil parmi d’autres pour la prise de décision », note Hurwitz. « Par conséquent, abordez les métriques avec scepticisme. »

2. Ne pas collaborer avec le personnel de première ligne

À ce jour, la plupart des entreprises ont atteint la maturité des données. « Si votre entreprise dispose de données, vous en tirez certainement parti et essayez d’utiliser les informations issues de l’analyse pour générer des résultats commerciaux positifs », déclare John Loury, président et chef de la direction de Cause + Effect Strategy, une société de conseil en intelligence d’affaires. « Nous sommes en 2022, nous avons dépassé l’ère du DRIP : riche en données, pauvre en informations. »

Loury pense que la plupart des organisations ne creusent pas suffisamment lorsqu’elles communiquent avec le personnel commercial de première ligne qui utilisera en fin de compte les mesures collectées pour prendre des décisions et conduire des actions. Avant de créer des analyses, il recommande de collecter les exigences commerciales de toutes les parties concernées. Cela signifie distiller les mesures jusqu’aux points de données les plus pertinents pour générer des résultats, note Loury. « Donnez la priorité à ce qui a le plus d’impact direct sur la décision commerciale que votre utilisateur essaie de prendre. »

Loury conseille de développer et de perfectionner les compétences en communication pour transmettre aux membres de l’équipe des informations basées sur des mesures. « Les DSI modernes et les responsables de l’analyse doivent être capables de rassembler les mesures clés qui auront le plus d’impact pour une équipe et de les présenter d’une manière qui a du sens pour l’utilisateur et qui aidera à guider son comportement », dit-il.

Loury ajoute qu’il est également temps pour les DSI de charger leurs équipes de vraiment comprendre leurs utilisateurs et de leur créer des solutions d’analyse personnalisées et efficaces. « L’époque où les responsables des données et leurs équipes se démenaient pour créer quelque chose – n’importe quoi – et l’expédier aux équipes commerciales est révolue », explique-t-il. « Nous vivons avec les résultats de ces jours, où les équipes sont inondées de tableaux de bord mur à mur qui leur disent tout et rien. »

3. Négliger l’importance de l’appropriation, de l’implication et de l’équilibre

Les métriques présentent une excellente opportunité pour l’appropriation et l’implication du personnel, ainsi que pour l’amélioration continue et le contrôle des processus. « La clé pour interpréter correctement les métriques est d’engager toute votre équipe et d’utiliser les métriques pour améliorer collectivement les processus », déclare Paul Gelter, coordinateur des services CIO de la société de conseil en affaires et en technologie Centric Consulting.

Lors de l’évaluation des métriques, Gelter pense qu’il est essentiel de trouver un équilibre entre le coût, la qualité et le service. Les mesures de coût, par exemple, pourraient être suivies dans les tickets complétés par individu, mais la qualité des tickets pourrait être dégradée par des tickets retravaillés / répétés. « Le service pourrait alors être affecté par le temps de réponse, l’arriéré et la disponibilité », note-t-il. Il s’agit d’obtenir un équilibre optimal.

4. Chasser les mauvais numéros

Le temps, c’est vraiment de l’argent, alors ne gaspillez pas de précieuses heures à scruter des mesures non pertinentes. Identifiez clairement tous les objectifs avant de décider quelles mesures étudier. Dans la plupart des cas, les mesures qui ne prennent pas en charge ou ne reflètent pas les options de décision futures sont inutiles et, pire encore, distrayantes et font perdre du temps.

Une fois l’objectif entièrement défini, allouez suffisamment de temps pour comprendre les facteurs qui font fluctuer les métriques individuelles, suggère Alex Levin, co-fondateur du studio de technologie et de design L+R. Ensuite, étudiez comment les métriques individuelles sont liées les unes aux autres et ce qui est susceptible de se produire au cours des différentes étapes du cycle de vie d’une initiative ou d’un projet qui pourrait affecter directement les KPI suivis.

En attendant, ne faites pas perdre de temps au personnel en dissimulant ou en accumulant des conclusions. Levin conseille de partager les résultats de l’étude avec votre équipe, en veillant à ce que chaque individu puisse utiliser des informations basées sur des métriques pour améliorer les performances et/ou les résultats.

5. Faire cavalier seul

La recherche et l’étude des métriques ne devraient pas être une entreprise solitaire. Mike Capone, PDG du développeur de plate-forme d’analyse et d’intégration de données Qlik, et ancien directeur informatique, recommande de travailler avec les propriétaires de domaines fonctionnels dès le départ pour recueillir et appliquer des détails contextuels précieux. « Ces apports et ces relations donnent au DSI et à l’équipe informatique le bon niveau de compréhension de ce qui se passe réellement dans l’entreprise… pour soutenir les objectifs opérationnels à court et à long terme », explique-t-il. Capone recommande également d’établir de solides partenariats consultatifs avec C-suite et d’autres dirigeants d’entreprise clés.

6. Trop faire confiance aux chiffres

Une bonne dose de scepticisme peut vous empêcher de vous laisser entraîner sur la voie de conclusions erronées. Rappelez-vous la boutade de Twain sur les statistiques et les mensonges. Il y a toujours la possibilité que les données collectées soient elles-mêmes défectueuses d’une manière ou d’une autre.

Les données peuvent être erronées de plusieurs façons. La taille de l’échantillon pourrait être trop petite, l’échelle de temps pourrait être décalée ou celui qui a collecté les données pourrait avoir sa propre conclusion à promouvoir. « Il est extrêmement important de vous assurer que vous comprenez parfaitement comment les données sont collectées et ce qui est inclus dans la portée avant de pouvoir déterminer ce qu’elles vous disent », déclare Brian Winters, CTO chez le développeur de logiciels ERP ECI Software Solutions.

En fait, toute mesure peut être trompeuse, surtout si vous n’avez pas une bonne compréhension globale des données. « Les métriques du système peuvent être particulièrement trompeuses car elles fournissent souvent des métriques pour une très petite partie d’un système vaste et complexe », note Winters. « Cette vue étroite peut facilement vous conduire dans un terrier de lapin. »

7. Ne pas voir au-delà des statistiques

Les métriques, bien que généralement perspicaces et précieuses, peuvent ne pas raconter toute l’histoire. En fait, prendre n’importe quelle métrique au pied de la lettre peut parfois conduire à des conclusions totalement erronées. « Parfois, vous devez creuser plus profondément avec d’autres mesures moins évidentes pour déterminer ce qui se passe réellement », explique Adi Gelvan, PDG et co-fondateur du développeur de logiciels de base de données Speedb.

Par exemple, une lecture élevée du niveau d’utilisation de la mémoire peut impliquer qu’une application surcharge la mémoire. « Mais quelque chose de complètement différent peut être en cause – peut-être un composant qui ne nettoie pas la mémoire assez rapidement », déclare Gelvan. Une enquête plus approfondie peut indiquer le véritable goulot d’étranglement, qui peut ne pas être du tout dans la mémoire. « Par exemple, si le moteur de stockage ne peut pas vider efficacement les données sur les disques alors que la consommation d’E/S est élevée, la mémoire se remplira rapidement et affectera les performances du système. »

Pour vous protéger contre les idées trompeuses, apprenez à penser de manière critique et ne sautez pas immédiatement à ce qui semble être la conclusion la plus évidente. À mesure que les processus métier et les architectures de données deviennent plus volumineux et plus complexes, de nombreux problèmes peuvent survenir et il peut être difficile de trouver la cause première. « La meilleure approche consiste à vous entourer d’une équipe diversifiée d’experts en la matière à consulter avant de prendre des décisions », conseille Gelvan.