Arrêter les métriques Mania

Alors que les entreprises se tournent de plus en plus vers l'apprentissage automatique pour donner un sens à de grandes quantités de données, elles veulent être sûres de nourrir leurs algorithmes avec des mesures des bonnes choses, prises pour les bonnes raisons. Ils peuvent vouloir prêter attention à la critique récente de Jerry Z. Muller sur l'utilisation des indicateurs de performance métriques.

Muller, professeur d'histoire et ancien président du département d'histoire à l'Université Catholique d'Amérique, a expérimenté une mesure trop zélée, quand son université a introduit de nouvelles mesures pour mesurer le rendement des élèves. Les paramètres n'ont rien ajouté à la forme actuelle d'évaluation des performances des élèves: les notes. Sa prise de conscience que ces métriques étaient une perte de temps et d'effort l'a amené à se pencher sur les modèles plus larges de la mesure de la performance dans les organisations contemporaines.

Credit: Princeton University Press

Muller, étudie l'histoire du capitalisme et La politique publique, écrit son nouveau livre, The Tyranny of Metrics pour contrer l'hypothèse selon laquelle quantifier la performance et rendre les résultats publics mènera toujours à une plus grande responsabilité, une meilleure prise de décision et de meilleurs résultats. En fait, soutient-il, forcer les gens à adapter leur travail aux mesures standardisées aide les organisations à se surveiller, mais décourage l'innovation.

Nous avons demandé à Muller ce que les chefs d'entreprise devraient faire pour lutter contre ce problème. Q

Vous dites que nous mesurons trop de mauvaises choses et utilisons les résultats de façon inappropriée. Que devraient faire les chefs d'entreprise pour rectifier la situation?

Jerry Z. Muller: Les entreprises ont éliminé beaucoup de cadres intermédiaires – les personnes ayant une expérience réelle des parties de l'entreprise qui produisent des produits et traitent avec les gens. Le niveau C a donc recours à des mesures normalisées pour comprendre ce qui se passe. Mesurer quelque chose n'est pas la même chose que la comprendre, cependant.

Pour reprendre la compréhension, nous pourrions inverser la tendance consistant à supprimer les cadres intermédiaires qui sont «dans les mauvaises herbes» au sujet du fonctionnement de l'entreprise. Nous pourrions également nous rappeler que même si nous avons plus que jamais accès aux données, la collecte et le partage ne sont pas une panacée. Essentiellement, nous devons rejeter la croyance que les métriques sont toujours objectives et supérieures au jugement humain.

En 1986, le gourou de la gestion Tom Peters écrivait: «Ce qui est mesuré est fait», ce qui a contribué à créer l'idée que les choses sont quantifiées. premier pas nécessaire pour les améliorer. Mais lorsque vous vous concentrez uniquement sur des mesures, vous finissez comme Wells Fargo, qui a encouru des amendes de plusieurs millions de dollars parce que certains employés de première ligne ont décidé qu'ils pouvaient respecter leurs quotas de vente croisée en signant de nouveaux services à leur insu

Q

Qu'est-ce qui rend une métrique significative?

Muller: Vous devez savoir non seulement si les données sont exactes, mais si elles sont significatives. Les entreprises mesurent les profits parce qu'elles sont concrètes et faciles à comprendre en tant que mesure du succès. Mais l'épanouissement à long terme d'une entreprise est influencé par des facteurs tels que la relation client, l'innovation, la collaboration, le mentorat, toutes choses qui sont critiques même si elles sont plus difficiles à généraliser et à quantifier. Vous avez besoin d'un cadre chevronné pour les évaluer, pas d'un algorithme.

Un autre exemple de fausseté métrique est l'évaluation d'un but non lucratif par combien il dépense pour l'administration par opposition aux programmes. Les frais généraux faibles peuvent être des mesures précises, mais elles ne sont pas vraiment significatives. Nous supposons qu'un rapport élevé entre les frais généraux et les coûts du programme indique une fraude ou une mauvaise gestion, mais la plupart du temps, les faibles frais généraux n'équivalent pas à une productivité élevée. Au contraire, les faibles frais généraux prive le personnel qualifié, les bureaux fonctionnels et les outils de gestion de programmes nécessaires pour accomplir son travail.

Enfin, les indicateurs perdent leur sens lorsqu'ils sont utilisés pour récompenser ou punir la performance plutôt que pour diagnostiquer et analyser. S'il y a des récompenses et des punitions attachées à une mesure, les gens peuvent et vont la jouer. Cela peut être une question de vie ou de mort. Dans l'État de New York, les taux de mortalité des chirurgies cardiaques ont baissé après que l'État a commencé à publier des statistiques sur les taux de réussite des médecins individuels – parce que les médecins étaient moins disposés à traiter les patients à haut risque. Q

Des recherches récentes suggèrent que l'intelligence artificielle (IA) entraînée sur des photographies peut réellement diagnostiquer le cancer de la peau plus précisément que les dermatologues expérimentés peuvent. Est-ce que la ligne devient plus mince entre l'utilisation des données pour informer ou augmenter la prise de décision humaine et laisser les données prendre les décisions pour nous?

Muller: Cet exemple n'est que la pointe du diagnostic médical. . L'utilisation de données pour diagnostiquer le cancer de la peau semble être vraiment utile. Ce que l'IA fait de mieux est de découvrir des variables clairement mesurables mais négligées qui sont plus significatives que même une personne ayant une expertise et une expérience peut reconnaître ou lorsque l'expérience d'une personne est susceptible d'être trop limitée pour développer un jugement intuitif. Le faire est de fournir une vision ou des idées ou de construire le sens de l'objectif commun au sein d'une entreprise. L'esprit d'entreprise et l'innovation impliquent la vision et le risque. Les métriques ne peuvent que quantifier ce qui existe déjà. Si vous comptez sur eux pour vous dire quoi faire, sans vous laisser influencer par le jugement humain, vous créerez une entreprise avide au risque, qui est finalement une affaire morte.

Depuis la découverte de l'Internet naissant au début des années 1990, Fawn Fitter a été fasciné par les lieux où les affaires et la technologie se croisent. Elle a passé 15 ans à San Francisco, à regarder les flux et les reflux de l'économie numérique et à écrire pour des magazines, notamment Entrepreneur et Fortune Small Business .

Source link