O P-valor nosso de cada dia nos dai hoje…o que, exatamente?

Surely, God loves the 0.06 nearly as much as the 0.05 (Rosnow, R.L. & Rosenthal, R. “Statistical Procedures and the Justification of Knowledge in Psychological Science” – American Psychologist, 44, 1989, p.1276-84)

"O coeficiente da variável X tem p-valor 0.049 e o da variável Z tem p-valor de 0.051! O que fazer? O que fazer?"

“O coeficiente da variável X tem p-valor 0.049 e o da variável Z tem p-valor de 0.051! O que fazer? O que fazer?”

Antes de qualquer análise econométrica, lembre-se sempre disto. Algumas pessoas ouvem isto em sala de aula, anotam (ou apenas fazem cópia do caderno dos outros, mas não fazem a leitura cuidadosa) e parecem se esquecer da lição rapidamente.

Bem, Rosnow & Rosenthal (1989) deram um jeito de dizer isto de forma bem sucinta. Aproveite a lição. Pense nela antes de interpretar os resultados dos testes de diagnóstico de sua regressão múltipla.

Eu sei que a discussão do p-valor pode parecer assustadora para muitos de nossos leitores mais novos, mas eu conheço o professor de Econometria I da nossa faculdade e posso dizer que ele explica o significa deste conceito como ninguém. Isto sem falar nos professores de Estatística que conheço: todos sempre tomam o maior cuidado com esta história de p-valor.

Geralmente, todo mundo decora a interpretação informal dada aqui. Contudo…

Fundamentally, the p-value does not in itself support reasoning about the probabilities of hypotheses, nor choosing between different hypotheses–it is simply a measure of how likely the data (or a more “extreme” version of it) were to have occurred by chance, assuming the null hypothesis is true.

Pois é. Não é tão simples assim, não? A Wikipedia nos diz mais (e vou citar literalmente):

There are several common misunderstandings about p-values.

  1. The p-value is not the probability that the null hypothesis is true, nor is it the probability that the alternative hypothesis is false – it is not connected to either of these. In fact, frequentist statistics does not, and cannot, attach probabilities to hypotheses. Comparison of Bayesian and classical approaches shows that a p-value can be very close to zero while the posterior probability of the null is very close to unity (if there is no alternative hypothesis with a large enough a priori probability and which would explain the results more easily). This is Lindley’s paradox. But there are also a priori probability distributions where the posterior probability and the p-value have similar or equal values.[21]

  2. The p-value is not the probability that a finding is “merely a fluke.” As calculating the p-value is based on the assumption that every finding is a fluke (that is, the product of chance alone), it cannot be used to gauge the probability of a finding being true. The p-value is the chance of obtaining the findings we got (or more extreme) if the null hypothesis is true.

  3. The p-value is not the probability of falsely rejecting the null hypothesis. This error is a version of the so-called prosecutor’s fallacy.

  4. The p-value is not the probability that replicating the experiment would yield the same conclusion. Quantifying the replicability of an experiment was attempted through the concept of p-rep.

  5. The significance level, such as 0.05, is not determined by the p-value. Rather, the significance level is decided by the person conducting the experiment (with the value 0.05 widely used by the scientific community) before the data are viewed, and is compared against the calculated p-value after the test has been performed. (However, reporting a p-value is more useful than simply saying that the results were or were not significant at a given level, and allows readers to decide for themselves whether to consider the results significant.)

  6. The p-value does not indicate the size or importance of the observed effect. The two do vary together however–the larger the effect, the smaller sample size will be required to get a significant p-value (see effect size).

Viu só? No entanto, usamos, no dia-a-dia, o p-valor como alguém muito importante na decisão de desprezar ou não algumas variáveis no modelo de regressão linear múltipla. A discussão pode se tornar mais e mais complicada, mas o melhor conselho para você, aluno de graduação, é: seja humilde com suas conclusões. Não pense no p-valor de 0.10 como algo assim, que mereça uma bananada na cabeça. Nem pense no p-valor de 0.05 como merecedor de cota na faculdade (ou em concursos públicos).  Aliás, desconfie de quem usa os p-valores para falar de racismo, estupro de mulheres ou outros temas polêmicos.

Não é que você deva desistir de tudo e seguir carreira como fotógrafo da revista Time. Apenas seja cuidadoso e paciente.

Uma resposta em “O P-valor nosso de cada dia nos dai hoje…o que, exatamente?

  1. Pingback: P-valor… | De Gustibus Non Est Disputandum

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s