Pourquoi la CIA (et tout le monde) devrait se mettre au poker

• 16 mars 2016
• petiteglise
• 2360
•  PA  0
• 8 Commentaires

De l'attaque de la Baie des cochons à la traque de Ben Laden en passant par les armes de destructions massives en Irak, découvrez comment l'incompréhension de la base des probabilités a mené le renseignement américain à commettre de graves erreurs. Vous verrez également comment mesurer la valeur d'une prédiction et comment le poker aide à gérer les probas dans la vie.

Les probabilités et le renseignement américain

A la fin des années 40, le gouvernement communiste de la Yougoslavie romput avec l’Union Soviétique, laissant craindre une invasion. En mars 1951, la National Intelligence Estimate, dont la mission est d’analyser et résumer les renseignements glanés par les espions et la surveillance, publiait en conclusion de son rapport “une attaque contre la Yougoslavie durant l’année 1951 doit être considérée comme une sérieuse possibilité”, ce qui à l’époque satisfit tout le monde.
Quelques jours plus tard, le chef analyste Sherman Kent discutait de ce rapport avec un haut placé du département d’Etat. Ce dernier lui demanda ce qu’il entendait par “sérieuse possibilité”. Kent lui répondit une probabilité de 65%. L’officiel était choqué, lui et ses collègues pensaient que la probabilité était bien plus basse. Kent revint vers ses équipes et demanda séparément à chaque individu à quelle probabilité correspondait “sérieuse possibilité”. Les réponses allaient de 20% à 80%...
Autrement dit, le coûteux travail de centaines d’espions et de dizaines d’analystes, destiné à aiguiller les décisions du gouvernement, aboutissait à une conclusion sans aucune valeur.

Mais la leçon ne fut pas apprise. En 1961, alors que Kennedy hésitait à ordonner le débarquement de la Baie des Cochons, un haut militaire lui annonça que l’attaque avait “une chance raisonnable” de succès. Kennedy décida d’attaquer, ce qui fut un désastre. Plus tard, le militaire dit que par “chance raisonnable”, il parlait d’une probabilité de succès de 25%. Personne ne sait ce qu’aurait fait Kennedy si on lui avait explicitement dit que l’attaque avait 75% de chances d’échouer, mais il n’aurait peut-être pas commis ce qui est considéré comme la pire erreur de sa carrière.

Sherman Kent ne pouvait plus supporter ces mots vagues qui veulent tout et rien dire et tenta d'imposer la charte suivante :

Cette charte est loin d’être parfaite, mais elle aurait grandement amélioré la précision des analyses. Las, elle ne fut pas adoptée, les analystes exprimant un attachement à la richesse de la langue et une révulsion envers les probabilités.

Au début des années 2000, l’ensemble des 15 agences de renseignement américaines, dont la CIA et la NSA, disposaient d’un budget d’environ 50 Milliards de $ et employaient quelque 100 000 personnes.
La question la plus importante à laquelle ils devaient répondre était “est-ce que l’Irak de Saddam Hussein dispose d’armes de destruction massive ?”. Et leur réponse était un clair oui, à 100%. Pas le moindre doute ne fut objecté. La guerre en Irak aurait sûrement eu lieu si le renseignement avait conclu à une probabilité de 80% de présence d’ADM, ce qui paraissait crédible à l’époque. Mais là, en annonçant un oui à 100%, toute l’Intelligence Community fut couverte de critiques et contrainte à une refonte : ils furent enfin obligés d’adopter les probabilités pour exprimer leur certitude. Les conclusions n’étaient plus “sérieuse possibilité” ou “chance raisonnable”, mais 25% ou 37%.

Malheureusement, tout le monde n’a pas une formation en probabilité, pas même le président des Etats-Unis. En 2011, les espions américains avaient remarqué une habitation ultrasécurisée dans un quartier riche d’Abbottabad au Pakistan, qu’ils suspectaient être la planque d’Oussama ben Laden. Lancer une attaque dans un pays plein de tensions qui dispose de l’arme nucléaire n’était pas sans risque et Obama voulait être sûr de son coup.
Il réunit les dirigeants des agences de renseignement et chacun y alla de son estimation. La majorité donnait du 80%, certains plus bas, pour une moyenne dans les 70% que Ben Laden y soit caché. Après avoir écouté tout le monde, Obama prit la parole “C’est fifty-fifty. Regardez les gars, c’est un coin-flip. On n’a pas plus de certitude que ça”. Cet épisode a été rapporté le journaliste Mark Bowden dans son livre “The Finish : the killing of Osama bin Laden. L’introduction des probabilités dans les agences de renseignement n’avait servi à rien, car le président, comme beaucoup de gens, ne raisonne qu’avec trois : oui = 100%, non = 0% et peut-être = 50%.

Le poker, école de probabilité.

Un tout débutant ne fonctionne, comme la majorité des gens, qu’avec trois probabilités : je vais gagner, je vais perdre, coin flip, c’est-à-dire le fameux 100% / 0% / 50%. Plus il progresse, plus il va manier d’autres probabilités. De trois, il passera à cinq, en rajoutant en gros 75% et 25%. Avec l’expérience, il sera de plus en plus précis : un 55/45 ne sera plus perçu comme un 45/55, un 8 outs ne sera plus équivalent à un 9 outs, une mise de 0.5 pot sera différente d’une mise de 0.55 pot, etc

Cette agilité avec les probas au poker va ensuite se transposer dans la vie réelle.

C’est une des raisons pour lesquelles j’aime le milieu des joueurs. A la question “tu viens à la soirée ?” beaucoup de joueurs ont l’habitude de répondre par un pourcentage “oui à 85%”, là où la plupart des gens répondent souvent par oui ou non, parfois peut-être. Avec pour conséquence des faux bonds car un oui de non joueur ne signifie pas oui à 100%.
Entre joueurs, on entend peu de péremptoires “Clinton va gagner c’est sûr” mais plutôt des probas chiffrées comme “Clinton est favorite à 75%”.
Quand un joueur de poker regarde la météo sur Google et voit pour un jour donné “précipitations : 10%” il ne se dit pas “mais ça veut rien dire, soit il pleut soit il pleut pas… 10% ça signifie quoi ? Il va pleuvoir sur 10% de la ville ? Il va pleuvoir durant 10% de la journée ?”. Le joueur de poker comprend que pour 100 jours pour lesquels Google prévoit “précipitations : 10%”, il y en aura en moyenne 10 où il pleuvra et 90 où il ne pleuvra pas.
Enfin, à la place d’Obama, un joueur de poker n’aurait pas considéré qu’un 70/30 est un coin flip…

Mesurer la valeur des prédictions probabilistes

Qu’est-ce qu’une bonne prédiction ? On pourrait dire que lorsqu’un bon prédicteur annonce être sûr à 70%, il a raison 70% du temps, lorsqu’il annonce être sûr à 50%, il raison une fois sur deux. Mais cela ne considère que le calibrage des probabilités. Imaginez que vous habitiez dans une ville où il pleut en moyenne un jour sur deux. Diriez-vous qu’une météo qui tous les jours prédit de la pluie à 50% fait des bonnes prédictions ? Évidemment, parfois 50% sera la meilleure prédiction possible, mais le range idéal doit être varié, avec des prédictions tendant vers les extrêmes 0% et 100%.

Une mesure intéressante de la valeur d’une prédiction est le Brier Score, qui consiste à prendre le carré de l’écart entre la probabilité prédite et le résultat, qui peut-être 0 ou 1. En langage mathématiques, cela donne :
BS = (p - r)²
Plus le BS est petit, meilleure est la prédiction. Pour juger un ensemble de prédictions, il suffit de faire la moyenne de tous les BS. 

Prenons l'exemple d'une main de poker : 

Le meilleur prédicteur est donc celui qui a le BS le plus petit, sur le long terme. Imaginons deux joueurs de poker, Fish et Shark, faire deux flips. Fish prédit qu’il va gagner à 100% et Shark à 50%. Fish gagne le premier flip, son BS est de 0 alors que le BS de shark est de 0.25. Fish perd le deuxième flip, son BS est de 1 et donc de 0.5 en moyenne alors que le BS de Shark est toujours de 0.25 Personne ne peut avoir un BS de 0, mais meilleur on est plus notre BS sera bas.