İstatistiksel Anlamlılık

İstatistiksel anlamlılık, gerçekte hiç fark yokken gözlenen bir farkın rastlantıyla ne kolaylıkla ortaya çıkabileceğine dair bir ifadedir. Alışılmış sınama bir p-değeri hesaplar — bu varsayım altında en az bu kadar uç bir sonucu görme olasılığı — ve sonuç önceden belirlenmiş bir eşiğin, genellikle 0,05'in altına düştüğünde anlamlı der. Gürültüye kanmaya karşı bir korumadır ve düzenli olarak yanlış okunur. Üç yanlış okumayı adlandırmakta fayda var. Bir p-değeri, değişikliğinizin işe yarama olasılığı değildir ve eşiğin üstünde kalması onun işe yaramadığının kanıtı değildir — çoğu zaman örneklemin ayırt etmeye yetmediği anlamına gelir. Anlamlılık büyüklük değildir: yeterli trafikle ticari olarak hiç önemi olmayacak kadar küçük bir fark bile her eşiği geçer; bu yüzden bir karar için güven aralığıyla birlikte verilen bir etki kestirimi, evet/hayır hükmünden daha yararlıdır. Ve anlamlılık planladığınız sınama için geçerlidir, bulduğunuz için değil — her gün bakıp çizgi geçtiğinde durmak ya da yirmi kesiti karşılaştırıp eşiği geçeni bildirmek, eşiğin ima ettiğinden çok daha yüksek oranda yanlış pozitif üretir. Pratik disiplin şudur: birincil ölçütü, örneklem büyüklüğünü ve süreyi başlamadan sabitleyin; çıplak bir hüküm yerine kestirilen etkiyi ve aralığını bildirin; kesit düzeyindeki bulguları sonuç değil, gelecekteki bir sınama için hipotez sayın. Aynı veri üzerinde yinelenen sınamalar açık bir düzeltme ister ve anlamlı ama minicik bir sonuç, yayınlamanın maliyetine bakmak için bir nedendir.