So sánh nhiều lần: chạy hai mươi phép kiểm thì một cái sẽ có ý nghĩa dù không có gì cả

Ngưỡng năm phần trăm nghĩa là: trên dữ liệu hoàn toàn ngẫu nhiên, cứ hai mươi phép kiểm thì trung bình một cái sẽ vượt ngưỡng.

Nếu bạn đo mười lăm biến kết quả và chạy phép kiểm cho từng biến, khả năng có ít nhất một kết quả "có ý nghĩa" là rất cao — kể cả khi không có hiệu ứng nào.

Nó xảy ra ở đâu

• Nhiều biến kết quả.
• Nhiều nhóm con: nam nữ, độ tuổi, vùng miền.
• Nhiều thời điểm đo.
• Nhiều mô hình khác nhau chạy thử.
• Bốn nguồn này cộng dồn nhanh hơn người ta tưởng.

Cách xử lý

• Xác định trước một biến kết quả chính duy nhất.
• Các phân tích khác gọi là thứ cấp hoặc khám phá, không phải xác nhận.
• Hiệu chỉnh ngưỡng khi thật sự cần kết luận đồng thời nhiều phép kiểm.
• Báo cáo tất cả phép kiểm đã chạy, không chỉ cái có ý nghĩa.

Phân tích nhóm con

• Kết quả nhóm con luôn phải coi là khám phá, trừ khi đăng ký trước.
• Nhóm con nhỏ thì ước lượng rất kém chính xác.
• Kiểm tương tác thay vì chạy riêng từng nhóm.

Hiệu chỉnh không phải luôn đúng

• Hiệu chỉnh làm giảm khả năng phát hiện hiệu ứng thật.
• Với nghiên cứu khám phá, minh bạch quan trọng hơn hiệu chỉnh.
• Cái quan trọng là người đọc biết bạn đã chạy bao nhiêu phép kiểm.

Cách trình bày trung thực

• Nêu số phép kiểm đã chạy.
• Phân biệt rõ kết quả xác nhận và kết quả khám phá.
• Kết quả khám phá là giả thuyết cho nghiên cứu sau, không phải kết luận.

Một điều đáng nhớ

Báo cáo số phép kiểm bạn đã chạy, không chỉ số phép kiểm có kết quả.

Người đọc cần con số đó để đánh giá kết quả của bạn — và nó là thứ duy nhất phân biệt giữa một phát hiện thật và một kết quả tất yếu xuất hiện khi ai đó chạy đủ nhiều phép kiểm.

Câu hỏi thường gặp