L’inférence causale
Dans l’inférence causale nous tentons de démontrer que certains éléments sont les causes des effets que nous observons. Etant donné que nous n’observons que rarement, voire jamais, le lien direct de cause à effet, nous devons faire une inférence. La façon de procéder dans une telle inférence dépend fortement de l’approche de causalité que nous adoptons. À nouveau, notre inférence causale sera incertaine.
Une grande partie des travaux scientifiques ont une visée d'inférence causale en offrant l'explication à certains phénomènes. Certains auteurs argumentent que l'on peut faire une distinction entre d'un côté des tentatives d'explication de certains phénomènes et de l'autre côté leur compréhension. Les sciences humaines auraient plutôt une vision de compréhension. Comme on n'observe quasiment jamais le lien direct entre la cause et l'effet, on fait une inférence. La façon de faire cette inférence dépend fortement de l'approche choisie. Par exemple, si un crime a été commis, le juge doit faire une inférence sur la personne qui l'a tuée, inférence qui est incertaine car sur la base des informations à disposition, on peut incriminer un innocent.
Introduction
Différentes approches sont présentées pour concevoir la « causalité », souvent en fonction de différentes traditions philosophiques. Dans Causation and Explanation in Social Science[1] publié en 2008, Brady présente les quatre approches observées à travers le temps pour rendre compte d'une causalité :
- conjonction constante : selon Hume, « Constant conjunction of causes and effects required by the neo-Humean approach ». Si deux phénomènes se produisent plus ou moins de manière systématique en même temps par exemple que le soleil se lève quand le coq crie, alors ceci nous indique qu'il y a un lien de causalité entre ces deux phénomènes. Cette façon de procéder pose le problème de la symétrie, c'est-à-dire que l'on observe deux phénomènes en même temps mais que l'on ne peut pas dire ce qui est la cause et ce qui est l'effet. Pour résoudre ce problème, il faut observer la temporalité, la séquence temporelle. Cette approche est souvent remise en question car ne donne pas beaucoup d'informations sur le lien entre cause et effet.
- approche contrefactuelle : « No effect when the cause is absent in the most similar world where the cause is present as required by the counterfactual approach ». Lorsque l'on observe l'effet et la cause, on s'imagine un monde qui est le plus similaire que possible au monde, on imagine la présence de la cause et de l'effet. Ce monde similaire se scinde seulement par la non présence de la cause. Par exemple, pour expliquer la Deuxième guerre mondiale, il ne faut pas oublier que le premier pays à mobiliser ses troupes fut la Pologne en 1939 et que ce fut cette mobilisation qui déclencha la Deuxième guerre mondiale, et non l'Allemagne nazie. En suivant l'approche contrefactuelle, on suppose que la Pologne n'ait pas mobilisé en mars 1939 ses troupes, est-ce que cela aurait amené l'Allemagne à ne pas attaquer. La Deuxième guerre mondiale aurait-elle eu lieu ? Il est évident que oui, et donc on peut stipuler que la mobilisation en Pologne n'est pas la cause de la Deuxième guerre mondiale.
- cause manipulée : « An effect after a cause is manipulated ». On observe de tels effets après avoir manipulé la cause. Cela suppose des expérimentations. C’est l’approche la plus puissante entre terme d’inférence causale. Dans le domaine internationale et les sciences sociales, c’est une approche est problématique. Il n’y a qu’en psychologie qu’on arrive à utiliser cette approche de manière systématique.
- mécanismes : « Activities and processes linking causes and effects required by the mechanism approach ». Quels sont les processus qui lient les causes avec les effets ? On essaie de spécifier exactement ce qui se passe entre la cause et l'effet en terme de mécanismes. On observe deux démocratie et la paix. Que se passe t-il entre ces deux observations ?
- 𝑑𝑒𝑢𝑥 𝑑é𝑚𝑜𝑐𝑟𝑎𝑡𝑖𝑒𝑠 →^? →^? →^? →^? → 𝑝𝑎𝑖𝑥
Le simple fait de constater que deux phénomènes se produisent ensemble ne signifie pas forcement un lien de causalité. On essaie de spécifier en détail qui fait qu’une cause provoque un effet. Si on développe une chaine de causalité, on arrive à identifier différents maillons. Pour démontrer, on est forcé de faire une inférence de type causale. Le fait de spécifier uniquement les mécanismes n’est pas forcement convaincant pour mettre en évidence une relation de cause à effet. Une grande partie des recherches dans le domaine des relations internationales s’appuie sur l’idée d’analyser un monde très similaire où la cause n’est pas présente. Lorsqu’on fait l’observation de pays démocratiques qui ne rentrent pas en guerre, on essaie de faire des exemples contrefactuels afin de voir si l’absence de la cause pour la paix, le fait qu’il y ait deux démocraties, fait que le risque de guerre est plus élevé. On peut soit s’imaginer un monde différent où la cause n’est pas présente ou de trouver les contrefaits où la cause n’est pas présente.
Dans Causation. A Unified Framework for the Social Sciences[2] publié en 2005, Gerring plaide pour une vision universelle de la causalité en s’appuyant sur la définition suivante : « [...] a cause raises the probability of an event occurring ». Cette définition est très proche de celle employée dans la littérature récente sur la causalité probabiliste notamment par Pearl dans Causality publié en 2001. Ainsi, les différentes approches pour étudier la causalité comme celles de Brady sont liées à la stratégie empirique utilisée pour démontrer le lien de cause à effet.
Des quatre approches de causalité présentées par Brady, la première ne satisfait plus guère à nos exigences, et la troisième, vue les questions de recherche qui nous intéressent, n’est guère viable. Dans Designing Social Inquiry: Scientific Inference in Qualitative Research[3] publié en 1994 King, Keohane et Verba discutent essentiellement la deuxième approche liée à l’analyse contrefactuelle.
Pour une observation donnée () l’effet causal réalisé correspond à la différence entre la situation où la cause est présente () et la cause est absente () :
- effet causal realisé =
Etant donné que dans le monde des sciences sociales, comme ailleurs aussi, nous avons le problème de devoir distinguer ce qui est systématique de ce qui ne l’est pas, nous arrivons à la formulation suivante :
- 𝑒𝑓𝑓𝑒𝑡 𝑐𝑎𝑢𝑠𝑎𝑙 𝑎𝑙é𝑎𝑡𝑜𝑖𝑟𝑒 =
Pour enlever la partie non-systématique :
- 𝑒𝑓𝑓𝑒𝑡 𝑐𝑎𝑢𝑠𝑎𝑙 𝑚𝑜𝑦𝑒𝑛 = 𝐸(𝑒𝑓𝑓𝑒𝑐𝑡 𝑐𝑎𝑢𝑠𝑎𝑙 𝑎𝑙é𝑎𝑡𝑜𝑖𝑟𝑒)
- 𝑒𝑓𝑓𝑒𝑡 𝑐𝑎𝑢𝑠𝑎𝑙 𝑚𝑜𝑦𝑒𝑛 =
Etant donné que nous n’observons jamais la même unité d’observation sous exactement les mêmes conditions, une fois avec la présence de la cause et une fois sans la présence de la cause, nous sommes confrontés au « Fundamental Problem of Causal Inference » comme le postule King, Keohane et Verba.
Comment contourner le problème ? Si nous remplaçons l’observation i avec l’observation j, ne correspond à l’effet causal que sous certaines conditions :
- une condition (forte) est celle de l’homogénéité des unités : les unités que l'on compare, si on tient compte de la présence ou de l'absence de la cause (la variable indépendante), devraient percevoir le même salaire (deux personnes n'ayant pas suivi de formation universitaire devraient avoir la même salaire: ça ne fonctionne pas si on compare le salaire de Wawrinka avec mon salaire). Il faut donc choisir deux unités qui se « ressemblent ».
- une condition (moins forte) est celle de l’effet constant : les unités devraient produire le même effet, un effet constant, lorsque la cause est présente. Par exemple, si Wawrinka avait suivi une formation universitaire, il devrait gagner autant en plus que j'en gagnerai en ayant suivi une formation universitaire.
À part adopter une de ces deux conditions, on doit aussi adopter la condition suivante :
- indépendance conditionnelle : l'indépendance conditionnelle est satisfaite quand, par exemple, on tient compte de tous les facteurs qui expliquent le niveau de salaire le fait que la cause soit présente n'est pas affecté par le niveau de salaire. Il n’y a pas de lien entre le niveau de salaire et la formation universitaire. Si on part de l’idée qu’un groupe à une certaine autonomie, il y a plus de risque de s’engager dans un conflit. Il y aurait dans ce cas une causalité de l’autonomie vers le conflit, étant donné que plus on est autonome, plus le risque de conflit est important. Tenant compte de l’autonomie qui influence le conflit ainsi que d’autres facteurs, le fait que c’est un État qui va donner une autonomie à un groupe, cet État va penser le fait de savoir le niveau de conflit va augmenter en donnant une plus grande autonomie à un groupe.
L’indépendance conditionnelle vient du problème que nous ne pouvons pas, comme dans l’approche expérimentale, choisir aléatoirement nos cas et soumettre au traitement aussi d’une manière aléatoire certaines observations. King, Keohane et Verba postulent qu’avec une sélection aléatoire et un traitement imposé d’une manière aléatoire nous satisfaisons à l’indépendance conditionnelle :
- nous attribuons les causes indépendamment des effets ;
- on évite le problème de biais de sélection ;
- on n’aura pas de problème lié à l’omission de variables.
L’approche de causalité liée à l’analyse contrefactuelle est très présente au moins d’une manière implicite dans beaucoup de travaux de recherche en sciences sociales et donc aussi en relations internationales. Cette approche est aussi sous-jacente à plusieurs approches méthodologiques comme celle de Fearon dans Counterfactuals and Hypothesis Testing in Political Science publié en 1991. Evidemment, elle n’est pas sans problème, et l’approche basée sur les mécanismes est aussi souvent présente dans la discipline.
L’approche quasi-expérimentale
En l’absence de possibilités d’avoir recours à l’approche expérimentale, nous devons nous contenter d’analyses qui se basent sur d’autres approches de causalité. Lorsqu’on tente de faire des inférences causales en tenant compte des problèmes que des approches non-expérimentales posent, on parle normalement d’une approche quasi-expérimentale comme le relatent Campbell et Stanley dans Experimental and Quasi-Experimental Designs for Research[4] publié en 1963.
Dans Statistical Analysis of Quasi-Experiments[5] publié en 1986, Achen définit l’approche quasi- expérimentale comme englobant toute recherche qui ne travaille pas avec des manipulations (aléatoire) des causes qui nous intéressent et aussi certains travaux qui ne sélectionnent pas leur cas d’une manière aléatoire. L’inférence causale dans des quasi-expériences pose problème, comme on l’a déjà discuté.
Néanmoins, le constat de Achen s’applique toujours : « [the] dangers [of quasi-experiments] should be of central concern to the social sciences. Surprisingly among social scientists only policy analysts have been much concerned with the statistical weaknesses of the experimental designs they are compelled to use ».
Angrist et Pischke publie en 2008 Mostly Harmless Econometrics: An Empiricist's Companion et argumentent que lorsque l’on procède à une étude qui vise une inférence causale, il faudrait se poser les quatre questions (FAQs) suivantes avant de commencer la recherche qu’elle soit quantitative ou bien qualitative :
- quelle est la relation causale qui nous intéresse ?
quelle expérimentation nous permettrait, idéalement, de saisir l’effet causal ? ceci pour éviter des FUQs à savoir des « fundamentally unidentified questions ».
- quelle stratégie d’identification de l’effet causal allons-nous employer ? de quelle façon allons-nous utiliser des données observationnelles pour faire une inférence causale ?
- quelle est notre mode d’inférence statistique (population, échantillon, incertitude) ?
Lorsque l'on s'intéresse au lien entre une cause et un effet, l'effet peut être adressé par plein d'autres causes. Pour identifier l'effet causal dû uniquement à la formation universitaire sur le salaire, il faut contrôler les autres éléments qui influencent le salaire. Etant donné qu’il n’est pas possible de manipuler la cause qui nous intéresse, nous devons tenter de « corriger » notre inférence causale dans de « quasi-expériences ».
Une première « correction » tente de contrôler la relation qui nous intéresse pour des variables qui pourraient perturber notre inférence causale. La variable indépendante qu’on cherche à expliquer est 𝑦, 𝑥 est le genre 𝑢 est le terme d’erreur. Ainsi, on passe de :
- Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle 𝑦 = 𝛽_0 + 𝛽_1𝑥 + 𝑢}
à
- Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle 𝑦 = 𝛽_0 + 𝛽_1𝑥_1 + 𝛽_2𝑥_2 ... + 𝑢}
Les équations précédentes indiquent que pour chaque mois supplémentaire de formation universitaire, le salaire augmente de Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle 𝛽_1} , Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle 𝛽_2} , etc. Si y est le salaire, il y a𝛽!et les éléments qui l'influencent outre le nombre de mois passés à l'université. Cela nous permet d'arriver à une spécification de tous les facteurs explicatifs dont on a besoin. Une spécification « correcte » nécessite que 𝑢 ne soit pas corrélé avec des variables indépendantes . De s’assurer d’une spécification « correcte » est difficile. Il faut donc s'assurer une spécification correcte et que la cause ne soit pas affectée par l'effet sinon, il y a un problème d'endogénité. Ce problème de la spécification correcte englobe deux aspects importants : l’élimination des effets d’autres variables [1] et la tentative d’éliminer le problèmes de l’endogénéité [2].
- Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle \hat {𝑦} = 𝑏_0 + 𝑏_1 + 𝑥}
- Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle \hat {𝑦} = 𝑏_0 + 100 + 𝑥_1}
- Échec de l’analyse (MathML avec SVG ou PNG en secours (recommandé pour les navigateurs modernes et les outils d’accessibilité) : réponse non valide(« Math extension cannot connect to Restbase. ») du serveur « https://en.wikipedia.org/api/rest_v1/ » :): {\displaystyle \hat {𝑦} = 𝑏_0 + 70 + 𝑥_1}
La sélection des observation ne serait jamais se faire en fonction de la variable dépendante. Lorsqu’on fait des inférences causales, il y potentiellement un biais de sélection. Principalement, les bais de sélections se produisent lors de l’échantillonnage.
Un problème supplémentaire est sur le comment du choix des observations choisies. Il ne faut pas que les observations choisies induisent un biais de sélection :
- comment les observations de notre étude sont-elles choisies ?
- si cette sélection est liée d’une façon ou d’une autre avec notre variable dépendante, des biais apparaissent: biais de sélection.
Dans Statistical Analysis of Quasi-Experiments, Achen discute ce problème sous la notion de « censoring ».
L’analyse contrefactuelle
Fearon soulève l’importance du raisonnement contrefactuel et ses parallèles avec des analyses statistiques dans Counterfactuals and Hypothesis Testing in Political Science[6] publié en 1991 : « The difference between regression and the counterfactual strategy is not that one relies on counterfactuals while the other does not. Rather, the strategies differ in the way that each employs counterfactuals and in the way that each evaluates support for a causal hypothesis ».
L’analyse contrefactuelle nécessite un argument du style « si C n’avait pas été présent, E ne se serait pas produit ». Cet argument peut être justifié soit en ayant recours à un ou plusieurs cas où C n’était pas présent, soit en construisant un « most similar » cas sans la présence de C comme le postule Brady dans Causation and Explanation in Social Science publié en 2008.
Dans Counterfactuals and Causal Inference: Methods and Principles for Social Research[7] publié en 2007, Morgan et Winship montrent que lorsque le nombre de cas à comparer devient important, des analyses statistiques deviennent possibles, se basant également sur un raisonnement contrefactuel : « The key assumption of the counterfactual framework is that each individual in the population of interest has a potential outcome under each treatment state, even though each individual can be observed in only one treatment state at any point in time ».
L’analyse contrefactuelle dans la pratique
Fearon argumente que l’analyse contrefactuelle se fait différemment selon le nombre de cas. Une étude d’un seul cas tentant l’inférence causale doit se baser sur une analyse contrefactuelle qui construit un « most similar » cas sans la présence de C. On peut aussi se référer à l’article intitulé Causation[8] de Lewis publié en 1973.
Si on n'a qu'un seul cas, on ne peut pas le comparer à d'autres cas (il n'y a pas d'autres Première guerre mondiale) et on doit donc s'imaginer une situation similaire où la seule chose différente est que la cause n'est pas présente. Par exemple, la crise des missiles de Cuba a été analysée par Lebow et Stein dans Back to the Past : Counterfactulas and the Cuban Missile Crisis[9] publié en 1996, repris par Tetlock et Berlin dans Counterfactual Thought Experiments in World Politics[10] publié en 1996, en argumentant que pour comprendre ce qui s'est passé et pour expliquer les décisions prises la seule façon de procéder est de faire une analyse contrefactuelle en s'imaginant que des informations différentes mises à disposition des dirigeants influencerait de fait le déroulement de cette crise. Une étude avec un nombre de cas limité, mais plus qu’un seul a souvent recours à un mélange des deux types d’analyse contrefactuelle à savoir le cas construit et le cas actuel de comparaison.
Les problèmes liés à l’analyse contrefactuelle
Dans Counterfactuals and Hypothesis Testing in Political Science[11] publié en 1991, Fearon note deux points importants à retenir à savoir que :
- des évaluations de la force d’une relation nécessitent une série de contrefaits ;
- des arguments sur la précision sont difficile à faire : « arguments about the relative importance of possible causes become arguments about the relative plausibility of different counterfactual scenarios ».
Il y a souvent des arguments, dans des études de cas où on s'intéresse à un phénomène qui n'adressent pas une seule cause. En prenant la guerre des Malouines entre l'Argentine et la Grande- Bretagne : si les relations commerciales avaient été plus importantes entre ces deux États, alors on aurait préféré réglé le différend de manière pacifique. Comment pourrait-on alors convaincre un lecteur que cet argument est plus important que la nature du régime politique ? Lorsqu'on a plusieurs causes pour expliquer une conséquence, alors il faut plusieurs contrefaits pour peser l'importance de chacun.
Il faudrait pouvoir comparer la guerre des Malouines avec deux cas construits : dans un cas on aurait des réactions commerciales faibles et deux régimes démocratiques au lieu du cas initial où il n'y a qu'une démocratie et dans l'autre contrefait, on conserve un des deux pays non démocratiques mais on a des relations commerciales importantes et non faibles comme dans le cas initial. On compare alors la contribution de chacune de ces causes dans le déclenchement de la guerre des Malouines. Il en ressort alors que la nature du régime est plus déterminante que l'intensité des relations commerciales dans le déclenchement de la guerre.
Il faut autant de contrefaits que de causes qu'il y a à évaluer. Il faut évaluer la plausibilité des contrefaits en se demandant si il est plausible d'imaginer une Argentine démocratique dans les années 1980. Oui, comme cette dernière est devenue démocratique peu après la guerre, donc le contrefait est relativement plausible et donc l'explication liée à la paix libérale est une inférence relativement précise.
Selon Fearon, nous attendons aussi qu’une analyse contrefactuelle respecte les conditions de :
- la pertinence de causes (régularité) : des causes passées ont déclenchées un processus amenant à un phénomène actuel, mais ces causes passées sont si uniques qu'il est difficile d'y attacher une relation causale. Si on dit que c'est le nez de Cléopâtre qui a déclenché la Première guerre mondiale, ce n'est pas sérieux car il y a absence de régularité : ce n'est pas parce qu’une dirigeante a un joli nez qu'il y a des guerres.
- la « légitimité » de causes : on s'imagine toujours le même monde avec l'absence de la cause dans une analyse contrefactuelle. Or, il est parfois difficile de s'imaginer un tel monde sans qu'il y ait d'autres éléments qui changent et le scénario contrefactuel n’a pas lieu d’être. Par exemple, si on s'intéresse aux conséquences du développement des voies ferrées sur le développement industriel de la Grande-Bretagne, on construit un monde où les voies ferrées n'existent pas. On doit alors s'appuyer sur une explication du pourquoi de l'invention des moteurs à essence, par exemple, avant les voies ferrées. Ainsi, en changeant la cause qui nous intéresse, n'y a-t-il pas aussi d'autres éléments qui sont changés en même temps ? En effet, s'il n'y pas de voies ferrées avant les moteurs à essence, alors plein d'autres éléments sont changés.
Comment construire les contrefaits
Les idées de l'analyse contrefactuelle sont omniprésentes dans quasiment toutes les recherches du domaine international. Toutefois, il y a toute une série de conditions lorsque l'on veut faire une analyse contrefactuelle, et on doit s'appuyer sur des bases théoriques pour que les inférences causales soient convaincantes. Pour une analyse contrefactuelle, de solides bases théoriques sont nécessaires et aussi pour éviter le problème de la (multi-)colinéarité. Il faut offrir des raisonnements théoriques expliquant la validité des cas construits et la validité des explications de l'absence de la cause.
Des bases solides se trouvent, par exemple, dans des théories formelles notamment dans Rerunning History : Counterfactual Simulation in World Politics[12] de Cederman publié en 1996 et dans Counterfactuals and International Affairs : Some Insights from Game Theory[13] de Bueno de Mesquita publié en 1996.
Conclusion
Comme l’argument les auteurs comme Fearon, Tetlock et Berlin encore ou Morgan et Winship, l’analyse contrefactuelle est omniprésente lorsque nous nous basons sur des données observationnelles. Toutefois, et ceci amène les recommandations de Fearon, ces analyses ne sont pas toujours explicites et doivent s’appuyer sur des comparaisons.
L’approche quasi-expérimentale et opposée à l’approche expérimentale afin de faire une inférence causale.
Certaines recherches mais c’est assez rares utilisent des expérimentation avec la possibilité d’une cause manipulée. Cela signifie que l’approche quasi- expérimentale est la plus pertinente.
Annexes
Références
- ↑ Brady, H. E. (2008). Causation and explanation in social science.
- ↑ Gerring, J. (2005). Causation: A unified framework for the social sciences. Journal of Theoretical Politics, 17(2), 163-198.
- ↑ King, G., Keohane, R. O., & Verba, S. (1994). Designing social inquiry: Scientific inference in qualitative research. Princeton university press.
- ↑ Campbell, D. T., & Stanley, J. C. (2015). Experimental and quasi-experimental designs for research. Ravenio Books.
- ↑ Achen, C. H. (1986). The statistical analysis of quasi-experiments. Univ of California Press.
- ↑ Fearon, J. D. (1991). Counterfactuals and hypothesis testing in political science. World politics, 43(02), 169-195.
- ↑ Hipp, J. R. (2008). Counterfactuals and causal inference: Methods and principles for social research.
- ↑ Lewis, David (1973). Causation. Journal of Philosophy 70 (17):556-567.
- ↑ Lebow, R. N., & Stein, J. G. (1996). Back to the past: Counterfactuals and the Cuban missile crisis. Tetlock and Belkin (Eds.), 119-148.
- ↑ Tetlock, P. E. (1996). Counterfactual thought experiments in world politics: Logical, methodological, and psychological perspectives. Princeton University Press.
- ↑ Fearon, James D. “Counterfactuals and Hypothesis Testing in Political Science.” World Politics, vol. 43, no. 2, 1991, pp. 169–195. www.jstor.org/stable/2010470.
- ↑ Cederman, Lars-Erik. 1996. “Rerunning History: Counterfactual Simulation in World Politics.” In Counterfactual Thought Experiments in World Politics: Logical, Methodological, and Psychological Perspectives, eds. Philip E. Tetlock and Aaron Belkin. Princeton, NJ: Princeton University Press, 247–67.
- ↑ de Mesquita, B. B. (1996). Counterfactuals and International Affairs. Counterfactual thought experiments in world politics: Logical, methodological, and psychological perspectives, 211.