Toda prueba contrapone dos hipótesis:
- H0, la hipótesis nula: no hay diferencia. Es la hipótesis por defecto, aquella que se pretende refutar.
- H1, la hipótesis alternativa: hay una diferencia.
La prueba calcula la valor p : la probabilidad de observar una diferencia al menos tan grande como la tuya si H0 fuera cierta. Un valor p bajo hace que la hipótesis del azar resulte poco creíble, por lo que se rechaza H0.
Le riesgo alfa es el umbral que te fijas, tradicionalmente 5 %. Es el riesgo de anunciar una diferencia que no existe.
Ellistat Análisis de datos clasifica la conclusión en cuatro niveles, con un código de colores:
| valor p | Conclusión |
| p ≤ 0,01 | Muy significativo |
| 0,01 < p ≤ 0,05 | Significativo |
| 0,05 < p ≤ 0,1 | Límite significativo |
| p > 0,1 | No significativo |
⚠️ «No significativo» no significa «igual». Esto significa que tus datos no son suficientes para sacar conclusiones. Con cinco mediciones por grupo, una diferencia real importante puede seguir sin ser significativa, ya que la prueba no tiene la potencia suficiente para detectarla. Para eso sirve precisamente la entrada Potencia.
💡 Del mismo modo, una diferencia mínima cobra importancia cuando se trata de muestras muy grandes. «Significativo» no significa «importante». Hay que tener siempre en cuenta la magnitud de la diferencia, además del valor p: la estadística indica si la diferencia es real, el ingeniero determina si es relevante.