Star Wars: The Empirics Strike Back

Abstract

Journals favor rejection of the null hypothesis. This selection upon tests may distort the behavior of researchers. Using 50,000 tests published between 2005 and 2011 in the AER, JPE, and QJE, we identify a residual in the distribution of tests that cannot be explained by selection. The distribution of p-values exhibits a two humped camel shape with abundant p-values above 0.25, a valley between 0.25 and 0.10, and a bump slightly below 0.05. The missing tests (with p-values between 0.25 and 0.10) can be retrieved just after the 0.05 threshold and represent 10% to 20% of marginally rejected tests. Our interpretation is that researchers might be tempted to inflate the value of those just-rejected tests by choosing a significant specification. We propose a method to measure this residual and describe how it varies by article and author characteristics. / Les journaux académiques favorisent le rejet de l’hypothèse nulle. Cette sélection des tests statistiques peut affecter le comportement des chercheurs. Nous identifions un résidu dans la distribution de plus de 50,000 tests publiés dans l’AER, le JPE et le QJE entre 2005 et 2011 ne pouvant être expliqué seulement par la sélection. La distribution des tests a la forme d’un chameau à deux bosses avec beaucoup de valeurs p audessus de 0.25, une vallée entre 0.25 et 0.10, et une bosse juste au-dessous de 0.05. Les tests manquants (entre 0.25 et 0.10) se retrouvent juste après le seuil de 0.05 et représentent entre 10% et 20% des tests marginalement rejetés. Notre interprétation est que les chercheurs sont enclins à enfler la valeur de leurs statistiques en trouvant une spécification “significative”. Nous proposons une méthode pour mesurer ce biais et montrons comment il varie selon les caractéristiques des auteurs et des articles.