Giá trị p không nói xác suất giả thuyết của bạn đúng. Nó cũng không nói mức độ quan trọng của hiệu ứng.
Nó nói: nếu thực sự không có hiệu ứng, thì xác suất quan sát được dữ liệu cực đoan như thế này hoặc hơn là bao nhiêu. Đó là một câu khác hẳn.
Bốn hiểu lầm phổ biến
- Giá trị p là xác suất giả thuyết không đúng — sai.
- Giá trị p nhỏ nghĩa là hiệu ứng lớn — sai, nó phụ thuộc cả cỡ mẫu.
- Giá trị p lớn chứng minh không có hiệu ứng — sai, có thể chỉ là thiếu sức phát hiện.
- Ngưỡng năm phần trăm là ranh giới tự nhiên — không, đó là quy ước.
Cái nên báo cáo thay vào đó
- Độ lớn của hiệu ứng, kèm đơn vị có nghĩa.
- Khoảng tin cậy — nó cho biết độ chính xác của ước lượng.
- Cỡ mẫu.
- Giá trị p có thể báo, nhưng không nên là con số duy nhất.
Vì sao khoảng tin cậy hữu ích hơn
- Nó cho biết cả độ lớn lẫn độ không chắc chắn.
- Khoảng rộng cho biết dữ liệu chưa đủ để kết luận chắc.
- Khoảng hẹp quanh không cho biết hiệu ứng thật sự nhỏ — đây là kết luận có giá trị.
Vấn đề của việc so nhiều lần
- Kiểm định nhiều giả thuyết trên cùng bộ dữ liệu làm tăng xác suất tìm thấy khác biệt giả.
- Hai mươi kiểm định độc lập thì trung bình có một cái đạt ngưỡng do ngẫu nhiên.
- Nêu rõ bạn đã chạy bao nhiêu kiểm định.
Thực hành tốt
- Xác định giả thuyết chính trước khi nhìn dữ liệu.
- Phân biệt rõ phân tích đã định trước và phân tích khám phá.
- Không đổi giả thuyết sau khi thấy kết quả.
Một điều đáng nhớ
Báo cáo độ lớn hiệu ứng và khoảng tin cậy, không chỉ báo giá trị p.
Giá trị p trả lời một câu hỏi hẹp mà ít người thực sự muốn hỏi. Độ lớn hiệu ứng trả lời câu hỏi mọi người thực sự đang hỏi: khác biệt này có đáng kể không.
Câu hỏi thường gặp
Giá trị p nói gì?
Nếu thực sự không có hiệu ứng thì xác suất quan sát được dữ liệu cực đoan như thế này hoặc hơn là bao nhiêu — không phải xác suất giả thuyết của bạn đúng.
Có những hiểu lầm phổ biến nào?
Rằng p là xác suất giả thuyết không đúng, rằng p nhỏ nghĩa là hiệu ứng lớn, rằng p lớn chứng minh không có hiệu ứng, và rằng ngưỡng năm phần trăm là ranh giới tự nhiên.
Nên báo cáo gì thay vào đó?
Độ lớn hiệu ứng kèm đơn vị có nghĩa, khoảng tin cậy, và cỡ mẫu — giá trị p có thể báo nhưng không nên là con số duy nhất.
Vì sao khoảng tin cậy hữu ích hơn?
Vì nó cho biết cả độ lớn lẫn độ không chắc chắn — khoảng rộng cho biết dữ liệu chưa đủ, khoảng hẹp quanh không cho biết hiệu ứng thật sự nhỏ.
Vấn đề của việc kiểm định nhiều lần là gì?
Kiểm định nhiều giả thuyết trên cùng bộ dữ liệu làm tăng xác suất tìm thấy khác biệt giả — hai mươi kiểm định độc lập thì trung bình có một cái đạt ngưỡng do ngẫu nhiên.
