Rencontrez l'équipe d'élite de superforecasters qui ont fait de la prospective une science

Avant le 1er janvier 2022, le Comité olympique des États-Unis annoncera-t-il qu'il boycotte les Jeux olympiques de 2022 ?

Nicolás Ortega

Je suis dans un atelier virtuel qui testera mes capacités à prévoir l'avenir, et je avoir 10 secondes pour répondre. Je scanne mon cerveau. (Simone Biles, pas pertinent. Moscou, 1980, oui. Ouïghours ?) Mais le temps est écoulé. Je suppose que 20 pour cent. Passons ensuite aux questions suivantes : Quelle est la probabilité que les États-Unis régulent les crypto-monnaies en bourse d'ici janvier 2023 ? La Chine tentera-t-elle de prendre Taiwan au cours des cinq prochaines années ? Quelle est la superficie de la mer Méditerranée en kilomètres carrés ?

« Je parie que vous ne vous êtes pas réveillé en pensant que vous deviez répondre à cette question aujourd'hui », déclare Warren Hatch, qui co-anime cet atelier.[19659005]Nous sommes environ 12 à suivre cette formation, dont un gars du ministère de la Défense. Au cours des deux prochains jours, nous nous grattons la tête, échangeons des informations, essayons de nous débarrasser de nos biais cognitifs (nous en parlerons plus tard) et voyons si nous avons les moyens de prédire les choses de manière professionnelle. Je suis définitivement absent, mais je soupçonne qu'un couple de ce groupe se qualifie. Ceux qui le feront seront un pas de plus vers l'obtention d'un statut d'élite, bien que geek : cela s'appelle un "superforecaster". Et si vous en êtes un, vous pouvez rejoindre le réseau mondial d'über prédicteurs, les meilleurs des meilleurs, qui travaillent avec l'entreprise qui a organisé cet atelier en premier lieu. Il s'appelle Le bon jugement. Hatch est son PDG.

Pendant que je suis devant mon ordinateur portable en train de transpirer pour le bon jugement en septembre, des experts font les gros titres dans le monde réel en répondant à des questions similaires. « L'inflation est élevée et le restera probablement dans les mois à venir », prédit  le président de la Réserve fédérale, Jerome Powell ; « Il est possible que nous assistions à de fortes baisses dans les années à venir », parie un économiste de Yale sur les prix des maisons. Anthony Fauci quant à lui, déclare qu'une augmentation du nord-est de Delta est « possible ». C'est un contraste intéressant. En tant que culture, nous en sommes venus à accepter « Probable », « Possible » ou « Il y a une chance dans les années à venir » comme le meilleur que nos plus hautes autorités puissent nous dire sur ce qui nous attend. Mais que signifie probablementde manière concrète ? Y a-t-il 51 % de chances que cela se produise ou 85 % ? 2022 et 2023 sont-ils considérés comme des « années à venir » ou 2024 et 2025 ?

Connexe : Vos 4 questions principales sur 2022, auxquelles répondent les meilleurs superforecasters du monde

Nous peut ne pas exiger ce niveau de spécificité de nos experts, mais nous en avons certainement besoin dans les affaires. Et comme le prouve Good Judgment, vous pouvez en fait quantifier de vagues intuitions comme celles-ci avec une précision semblable à celle d'un scalpel – simplement avec le cerveau humain, sans IA ni big data.

Peu de gens le font avec plus de compétence olympienne que les superforecasters de Good Judgment. Mais comme pour la plupart des sports, nous pouvons tous nous améliorer. Nous avons juste besoin de nous former.

Contrairement à de nombreuses entreprises qui commencent leur vie dans un bar sombre griffonné sur une serviette à cocktail, Good Judgment est né dans le ventre du gouvernement américain. D'une certaine manière, cela remonte au 11 septembre. Après que les analystes aient semblé manquer des signaux de l'attaque terroriste catastrophique, un groupe appelé IARPA (ou Intelligence Advanced Research Projects Activity) a été créé en 2006, sur le modèle de l'agence de défense DARPA. Son objectif était de mener des recherches audacieuses et innovantes qui améliorent le renseignement américain. En 2010, la communauté du renseignement avait commencé à utiliser un marché interne de prédictions classifiées où des employés ultra-secrets pouvaient négocier si un événement se produirait. Mais l'IARPA s'est demandé s'il existait un moyen encore meilleur d'utiliser la sagesse de la foule pour prévoir ce qui allait arriver.

C'est pourquoi, en 2011, il a lancé un énorme tournoi de prévisions pour le public. Au début, il y avait cinq équipes, et au cours des quatre années suivantes, des milliers de Joes et Janes ordinaires répondraient à environ 500 questions, telles que : La Corée du Nord lancera-t-elle un nouveau missile à plusieurs étages avant le 10 mai 2014 ? Robert Mugabe cessera-t-il d'être président du Zimbabwe d'ici le 30 septembre 2011 ? Les équipes devaient atteindre certains repères de précision ; s'ils échouaient, ils étaient éliminés. Après les deux premières années, il ne restait qu'une seule équipe. Il était dirigé par Philip Tetlock et Barbara Mellers à la Wharton School de l'Université de Pennsylvanie, et s'appelait Good Judgment.

Tetlock était déjà plongé dans la science de la prédiction. Dans les années 1980, il était devenu curieux de savoir pourquoi tant d'experts en politique étrangère n'avaient pas réussi à prédire le sort de l'Union soviétique, et cela l'a inspiré à analyser un large éventail de prédictions. Il s'avère que l'expert moyen était à peu près aussi précis qu'un chimpanzé lanceur de fléchettes. (Ce n'est pas tout à fait comme ça qu'il l'a dit, mais assez près pour qu'il ne se soucie pas de la blague.) Il a donc développé une approche plus systématique – pas seulement pour les prédictions, mais pour identifier les types de personnes qui sont douées pour faire des prédictions. Pour participer au tournoi de l'IARPA, lui et Mellers ont recruté 3 200 bénévoles, puis les ont répartis dans les 2 % supérieurs, qu'ils ont appelés superforecasters. Parmi ce groupe figurait Hatch, un gars de Wall Street qui avait quitté Morgan Stanley pour créer sa propre petite société d'investissement et qui négociait sur une plate-forme de prévision parallèlement.

À la quatrième année du tournoi, le Bon L'équipe de jugement était 50 % plus précise que l'équipe de contrôle de l'IARPA recrutée dans le public ; dans certains cas, il a même surpassé les analystes du renseignement utilisant le marché de prédiction interne de l'IARPA avec accès à des informations classifiées. Les chercheurs ont beaucoup appris et ils ont élaboré un guide que la communauté du renseignement a commencé à utiliser pour former nombre de leurs analystes, selon le directeur du programme IARPA Steven Rieber. "Ce n'est pas ce que nous nous attendions à trouver", dit-il à propos du tournoi. « Le fait qu'il y ait ces personnes qui ont des compétences inhabituelles dans tous les domaines pour faire des prévisions précises m'a surpris ainsi que beaucoup d'autres. Et que nous, les gens ordinaires, pouvons devenir plus précis dans nos propres prédictions. »

Mais le gouvernement n'était pas le seul à voir une opportunité ici. Comme le tournoi était à un an de la fin, en 2014, Tetlock, Mellers et un autre collègue ont transformé Good Judgment en une société de prévision – avec un plan pour utiliser ses superforecasters d'élite pour répondre aux questions des clients sur l'avenir. Ils ont demandé à Hatch de les aider à le faire fonctionner avec eux. Et, sur la base de ses propres prédictions, il a décidé que c'était une bonne idée.

Êtes-vous trop confiant ? La plupart des gens diraient non. Mais la plupart des gens se trompent. C'est ce que Good Judgment a trouvé – et pourquoi, lorsqu'il évalue si quelqu'un a les compétences pour être un super prévisionniste, il teste l'excès de confiance.

Pour voir à quoi cela ressemble, un autre membre de l'équipe Entrepreneur soumet au questionnement de Hatch : Jason Feifer, rédacteur en chef.

« En quelle année Gandhi est-il né ? » Hatch demande. Plus précisément, il veut une gamme – la première et la dernière année, Feifer pense que Gandhi aurait pu naître. Non seulement cela, Feifer devrait choisir des années pour lesquelles il est sûr à 90% d'avoir raison.

Feifer rit, parce qu'il n'en a tout simplement aucune idée. « Je vais dire 1940 et 1955 ». à propos de Gandhi ! s'exclame Feifer, gêné par son ignorance.

"Cela n'a pas d'importance", lui dit Hatch. Le véritable objectif de l'exercice, explique-t-il, est le suivant : bien qu'il n'ait pas la moindre idée de la réponse, Feifer a choisi une fourchette étroite – seulement 15 ans. Il aurait pu dire à la place : « Gandhi est né entre 1600 et 1980 », ce qui aurait été techniquement correct. Mais Feifer était trop confiant ; il n'était pas disposé à considérer (ou à révéler) les choses qu'il ne savait pas, et par conséquent, il a inutilement réduit ses options et donc ses chances d'être précis. Cela, Hatch dit, c'est pourquoi l'excès de confiance conduit à de mauvaises prédictions.

Connexe : 5 choses que l'avenir nous réserve, selon les superforecasters les plus élites du monde[19659005] En dehors du milieu universitaire, dans une culture où les gens veulent des réponses définitives, des termes comme « 90 % de confiance » et « 67 % de probabilité » peuvent sembler inutiles ou obscurs. Mais le monde n'est pas binaire, soutient Hatch ; il est rempli d'incertitude. « Donc, plutôt que de faire face à cette incertitude par des suppositions ou de partir de votre instinct, tenez-vous plutôt responsable en utilisant des chiffres », dit-il. Pourquoi? Le processus vous oblige à affiner votre réflexion, à rechercher de bonnes informations et à faire attention aux nuances, ce qui conduit à prendre de meilleures décisions. Cela nécessite un changement de mentalité. Si vous n'avez confiance qu'à 67 % dans votre réponse, vous reconnaissez un certain échec dès le départ et vous créez une fenêtre pour vous permettre d'en savoir plus. en dehors de leur propre bulle et prendre le temps de comprendre les expériences et les opinions des autres (et aussi de partager les leurs). Disséminés dans le monde, beaucoup d'entre eux sont à la retraite ou font ce travail à côté, et ils apportent souvent des bits de données inhabituels d'où qu'ils soient. Parmi les rangs se trouve Paul Theron, un gestionnaire d'investissement en Afrique du Sud, qui a un jour retrouvé un porte-parole des Frères musulmans pour entrer dans le scoop sur une question sur l'Égypte. Une autre superprévisionniste, JuliAnn Blam, est une Américaine qui a vécu en Chine en produisant des attractions de parcs à thème avec sa société ; lorsqu'elle répond à des questions sur ce pays, elle passe par ses canaux arrière. « Tout n'est pas dans la presse, dit-elle. « Parfois, vous n'avez qu'à écouter les habitants – et même alors, vous devez lire entre les lignes parce qu'en Chine, ils ne peuvent pas vraiment vous le dire. Est-ce le bon moment pour faire une augmentation de capital ? » à « Est-ce un mauvais moment pour faire une augmentation de capital ? ») peuvent vous aider à avoir une vue d'ensemble. Une autre pratique clé consiste à modifier fréquemment vos prévisions au fur et à mesure que de nouvelles informations arrivent. , Superprévision. « C'est un prédicteur à peu près trois fois plus puissant que son plus proche rival, l'intelligence ». imaginez être au mariage royal du prince Harry et de Meghan Markle. Il met en place une autre tactique de base pour de bonnes prédictions : commencez par le taux de base.

Avec les conseils de Koehler, nous imaginons quelqu'un au mariage nous demandant quelle est la probabilité que les heureux mariés restent mariés. Nous pensons à 100 %, n'est-ce pas ? Le regard dans les yeux du couple est indéniable, et il y a Charlotte avec les fleurs; nous pouvons déjà voir leurs enfants. Koehler nous arrête là. Nos esprits aiment une bonne histoire, dit-il, mais c'est une autre chose qui peut faire dérailler une prévision. Au lieu de cela, nous devrions aller directement au taux de divorce, qui aux États-Unis a été signalé jusqu'à 50 %. "Peu importe qui est le prince Harry et qui est Meghan Markle. Peu importe qu'ils aient quitté Buckingham Palace. Tout ce que je dis, c'est de considérer que deuxième », explique Koehler. « Nous savons que les personnes qui commencent par le point de vue extérieur ou le taux de base, puis passent à l'examen des détails du cas, seront environ 10 % plus précises. »

Après l'atelier, je conteste ce point avec Tetlock, puisque c'est lui qui a fait la science. Bien sûr, commencer par le taux de base est logique, mais cela ne décourage-t-il pas le risque ? Personne ne se marierait s'il pensait de cette façon – et d'ailleurs, peu de gens créeraient une entreprise compte tenu des statistiques sur le nombre de startups qui échouent. Je suggère que si vous êtes un entrepreneur, vous devrez peut-être ignorer ces choses – et être trop confiant ! — afin de lancer les projets ambitieux que la plupart des gens prédisent qu'ils échoueront. « Excellent point », dit Tetlock. « Le succès nécessite des gens inspirants, et il est difficile d'inspirer les gens avec beaucoup de « toutefois » dans vos discours d'encouragement. L'excès de confiance est lié au charisme. Elle est également liée à la catastrophe. Alors pensez comme un superpréviseur bien calibré en privé – et projetez la confiance en public. "

"Ce fut une matinée chargée", déclare Hatch à son bureau du bureau new-yorkais de Good Judgment via Zoom cet automne, alors qu'il fait le tour du Mots croisés du jour annulé New York Times. Il ne le fait pas juste pour le plaisir. La reconnaissance des formes est une compétence importante pour les superforecasters, donc Hatch fait un mot croisé quotidien, parfois deux, pour rester au courant. « Détecter les modèles et voir ce que l'image pourrait être avant tout le monde », dit-il, « est en fin de compte ce qu'est la prévision. »

Mais la création de cette entreprise a testé toutes les compétences de superprévision de Hatch et plus encore.

Comment faire vous monétisez la capacité de trouver, de former et de coordonner des esprits brillants pour voir l'avenir ? Enseigner leurs tactiques de prédiction semblait logique, alors Good Judgment a lancé des ateliers pour les particuliers et les entreprises. Il a également créé Good Judgment Open, un site gratuit pour tous ceux qui souhaitent se mêler aux superforecasters et s'essayer aux prédictions, qui a servi de terrain de recrutement. La question beaucoup plus importante a été de savoir comment tirer parti des prédictions réelles de son réseau de superforecasters, maintenant environ 170 membres actifs, de la manière que les clients paieraient réellement. « Et c'est là que nous avons eu notre juste part de bêtises », déclare Hatch.

En fin de compte, de nombreux clients potentiels dans les mondes financier, juridique et gouvernemental pensent déjà que les meilleurs experts font les meilleures prédictions. . Qu'y a-t-il à gagner en embauchant un tas d'amateurs piochant sur Internet ? Et la vérité est que les superprévisionnistes ne sont pas infaillibles. Le groupe, par exemple, avait environ 80% de probabilité que Clinton gagne en 2016. Mais dans l'ensemble, les superforecasters continuent de battre la concurrence dans les tournois organisés par le gouvernement. Et Good Judgment était correct et au début de ses prédictions sur COVID-19, ce qui s'est avéré instructif.

Le premier indice de quelque chose comme COVID est apparu en septembre 2019 lors d'un atelier pour une société financière canadienne. Les participants pratiquaient un « pré-mortem » – une autre pratique de prévision critique destinée à anticiper les surprises. Dites que vous pensez qu'un événement va aller dans un sens. Avant de faire votre prédiction, prenez du recul et racontez pourquoi cela s'est passé dans l'autre sens. Les Canadiens faisaient cela, essayant d'imaginer un événement inhabituel ou anormal qui changerait leurs prévisions sur l'économie chinoise, et quelqu'un a proposé une épidémie de type SRAS. « Lorsque COVID a commencé à faire les gros titres », dit Hatch, « ils étaient mieux équipés pour y faire face. » Tout comme Good Judgment.

Connexe : Comment l'intelligence artificielle façonnera notre avenir

En janvier 2020, grâce aux premiers échanges sur la plate-forme de Good Judgment sur COVID-19, Blam (le super prévisionniste qui a beaucoup travaillé en Chine) a refusé un autre emploi lucratif de trois ans dans un parc à thème dans le pays. «Nous savions tous que ça allait être mauvais», dit-elle. "Et je ne voulais pas rester coincé là-bas." Hatch et son équipe ont également agi rapidement, réalisant que les gens étaient soudain désespérés pour exactement le genre d'informations que le bon jugement pouvait fournir. La société a créé un tableau de bord public et a mis son équipe d'élite au travail pour prévoir tout, des niveaux de charge de travail au calendrier de vaccination. Bientôt, des sociétés financières comme Goldman Sachs et T. Rowe Price ont commencé à faire référence à ses prévisions dans leur travail. "Cela nous a mis à Broadway", dit Hatch, "même si nous étions dans un petit théâtre." voulez des prévisions sur chaque semaine, avec des options personnalisées pour une prime. À l'automne, le produit générait déjà un tiers des revenus totaux de l'entreprise, selon Hatch. En attendant, il a beaucoup d'autres idées, dont la commercialisation de Delphineo – la plate-forme de collaboration qu'il a construite pour les ateliers, qui, naturellement, a été nommée par la foule utilisant l'outil lui-même. Pour chaque grand projet, Hatch demande à son équipe : «  À quoi ressemblerait le succès ? Et à quoi ressemblerait l'échec ? Ensuite, il attache des probabilités à chacun, un processus qui le prépare aux signes de risque et d'opportunité à venir. « Evitons les surprises, bonnes ou mauvaises. »

Au fur et à mesure que Good Judgment se développe, il doit prédire non seulement ce qui se passera avec sa propre entreprise, mais aussi l'avenir de l'entreprise de prévision dans son ensemble. Parce que cela changera aussi.

"Les machines dominent déjà la prédiction dans tous les paramètres de Big Data, mais elles ont du mal à mesure que les données se raréfient et nécessitent une analyse plus qualitative", explique Tetlock, l'homme dont la recherche a initialement lancé Good Judgment, et qui aime toujours s'occuper des cas clients les plus difficiles tout en poursuivant son travail chez Wharton. « Les hybrides homme-machine seront l'avenir pour les types de problèmes que nous traiterons au cours des 20 prochaines années. Pour l'instant, attendez-vous à ce que les hiérarchies de statut obsolètes poursuivent leurs efforts d'obstruction pour introduire la comptabilité, en particulier au sein du gouvernement, mais aussi dans de nombreuses entreprises. »

Une entreprise, cependant, va à l'encontre de cette tendance. Et cela pourrait signaler de bonnes choses à la fois pour Tetlock et Hatch.

David Barrosse est le fondateur et PDG de Capstone, une société mondiale d'analyse des politiques pour les entreprises et les investisseurs. En 2015, lorsqu'il a récupéré un exemplaire du Superforecasting de Tetlock, il a été, à sa grande surprise, impressionné. « Il m'est toujours apparu que dans le secteur mondial de la recherche en valeurs mobilières, qui représente plusieurs milliards de dollars et couvre toutes les banques d'investissement du monde entier, aucune d'entre elles ne se concentre sur l'exactitude de ses prévisions », déclare Barrosse. « Ils ne le suivent pas. Ils n'en parlent pas. Et 99% d'entre eux ne mettront pas de chiffre dessus. »

Connexe : 10 Steps to Future Proofing Your Personal Brand for 2022

Au début, il a passé le livre autour des employés de son entreprise et a envoyé cinq ou six analystes aux ateliers de Good Judgment pour faire circuler les idées dans le sang. Mais ensuite, il s'est demandé à quoi cela ressemblerait de changer radicalement les systèmes de prédiction de Capstone, à la fois au sein de l'entreprise et pour ses clients. Pour explorer cela, l'année dernière, il a engagé Good Judgment pour qu'il vienne concevoir une formation pour tous les analystes. "Il y avait beaucoup de résistance et d'appréhension au début", explique Cordell Eddings, analyste de supervision de Capstone, qui dirige le projet. « Mais la formation a aidé à donner aux gens les outils pour bien faire les choses. Et dans toute l'entreprise, les gens ont fini par acheter de tout cœur. "

Il a été un peu plus délicat de convaincre les clients qu'ils devraient changer leurs systèmes de prédiction, "parce qu'ils pensent juste que c'est de la pure connerie", explique Barrosse. « Comme : « Comment pouvez-vous savoir que c'est 67 % ? » Mais cela nous donne l'occasion de parler :« Peut-être que nous avons commencé avec une prédiction de 40 % et l'avons mise à jour tellement de fois qu'elle est arrivée à 67 ». Et nous débattu en interne : « Est-ce que cela va nous donner l'impression que nous plions avec le vent ? Mais même cela est l'occasion d'avoir une conversation avec le client où nous pouvons dire : « Nous vous disons comment les choses changent en fonction de sur les informations qui arrivent en temps réel. Nous faisons les devoirs, vous donnant une prédiction dynamique réaliste. » Même si nous n'avons pas toujours raison, il vaut mieux leur dire : « Nous serons avec vous et nous tiendrons le cou et vous donnerons une probabilité dans un laps de temps distinct. .'  »

Barrosse y voit désormais l'avantage concurrentiel de son entreprise. Et il en est sûr à bien plus de 67 pour cent.