Hiệu lực thống kê: mẫu nhỏ không chỉ khó tìm ra hiệu ứng, nó còn phóng đại hiệu ứng tìm được

Ai cũng biết mẫu nhỏ khó tìm ra hiệu ứng. Ít người biết vấn đề thứ hai, nghiêm trọng hơn: khi mẫu nhỏ mà vẫn ra kết quả có ý nghĩa, kích thước hiệu ứng gần như chắc chắn bị phóng đại.

Vì với mẫu nhỏ, chỉ những ước lượng lớn bất thường mới vượt được ngưỡng.

Hiệu lực là gì

• Xác suất phát hiện được một hiệu ứng nếu hiệu ứng đó có thật.
• Phụ thuộc cỡ mẫu, kích thước hiệu ứng, và độ biến thiên.
• Tám mươi phần trăm là mức thường lấy làm chuẩn tối thiểu.
• Nhiều nghiên cứu thực tế có hiệu lực dưới ba mươi phần trăm.

Hệ quả của hiệu lực thấp

• Bỏ sót hiệu ứng thật.
• Phóng đại hiệu ứng khi tình cờ tìm ra.
• Tỷ lệ kết quả dương tính giả trong số kết quả công bố tăng lên.
• Ba hệ quả này cộng lại làm cả lĩnh vực khó tái lập.

Tính cỡ mẫu

• Bắt đầu từ kích thước hiệu ứng nhỏ nhất đáng quan tâm, không phải từ hiệu ứng bạn hy vọng.
• Lấy độ biến thiên từ nghiên cứu trước hoặc nghiên cứu thử.
• Cộng thêm cho tỷ lệ bỏ cuộc dự kiến.
• Ghi lại toàn bộ căn cứ tính.

Khi không đủ mẫu

• Nói rõ nghiên cứu có hiệu lực hạn chế.
• Trình bày như nghiên cứu thăm dò, không phải xác nhận.
• Báo khoảng tin cậy và để người đọc thấy độ không chắc chắn.
• Cân nhắc hợp tác để gộp mẫu với nhóm khác.

Không tính hiệu lực sau

• Tính hiệu lực từ kết quả đã có không cho thông tin gì mới.
• Nó chỉ là một cách viết lại giá trị p.
• Hiệu lực phải tính trước khi thu thập.

Một điều đáng nhớ

Tính cỡ mẫu từ hiệu ứng nhỏ nhất đáng quan tâm, không phải từ hiệu ứng bạn hy vọng thấy.

Người ta hầu như luôn hy vọng một hiệu ứng lớn hơn hiệu ứng thật, nên cách tính đó cho ra một cỡ mẫu quá nhỏ một cách có hệ thống — và bạn chỉ biết điều đó khi đã thu xong dữ liệu.

Câu hỏi thường gặp