Một nhóm cải thiện sau can thiệp có thể đã cải thiện y hệt mà không cần can thiệp nào — do mùa vụ, do học hỏi tự nhiên, do những người kém nhất bỏ cuộc, hoặc đơn giản do được chú ý.
Không có nhóm đối chứng thì bạn không phân biệt được các khả năng đó.
Cái nhóm đối chứng loại trừ
- Xu hướng tự nhiên theo thời gian.
- Hiệu ứng do được quan tâm và theo dõi.
- Thay đổi do yếu tố bên ngoài xảy ra đồng thời.
- Hồi quy về trung bình khi chọn nhóm có giá trị cực đoan ban đầu.
- Yếu tố cuối bị bỏ qua nhiều nhất và gây hiểu lầm nhiều nhất.
Phân nhóm ngẫu nhiên
- Cân bằng cả yếu tố bạn biết lẫn yếu tố bạn không biết.
- Đây là điều không phương pháp hiệu chỉnh nào làm được.
- Ngẫu nhiên hoá phải thật sự ngẫu nhiên, không phải luân phiên.
- Giấu danh sách phân nhóm khỏi người thu tuyển.
Khi không ngẫu nhiên hoá được
- Đối chứng bằng nhóm tương đương chọn theo tiêu chí rõ ràng.
- So sánh trước và sau ở cả hai nhóm.
- Dùng nhiều thời điểm đo trước can thiệp để thấy xu hướng nền.
- Nêu rõ đây là thiết kế yếu hơn và kết luận phải dè dặt hơn.
Vấn đề đạo đức
- Không được giữ lại một can thiệp đã chứng minh có lợi.
- Có thể so với chăm sóc thông thường thay vì không làm gì.
- Thiết kế bậc thang: mọi nhóm đều nhận can thiệp, chỉ khác thời điểm.
Làm mù khi có thể
- Người đo không biết đối tượng thuộc nhóm nào.
- Đặc biệt quan trọng khi kết quả đo có yếu tố chủ quan.
- Nếu không làm mù được, nêu rõ và bàn ảnh hưởng.
Một điều đáng nhớ
Nếu bạn chọn nhóm can thiệp vì họ có giá trị cực đoan ban đầu, họ sẽ cải thiện dù bạn không làm gì.
Hồi quy về trung bình là một hiện tượng thống kê thuần tuý, nó trông y hệt một can thiệp hiệu quả, và nhóm đối chứng là cách duy nhất phân biệt được hai thứ.
Câu hỏi thường gặp
Vì sao cần nhóm đối chứng?
Vì một nhóm cải thiện sau can thiệp có thể đã cải thiện y hệt mà không cần can thiệp — do mùa vụ, học hỏi tự nhiên, người kém bỏ cuộc, hoặc được chú ý.
Nhóm đối chứng loại trừ những gì?
Xu hướng tự nhiên theo thời gian, hiệu ứng do được quan tâm, thay đổi do yếu tố bên ngoài đồng thời, và hồi quy về trung bình.
Phân nhóm ngẫu nhiên làm được gì đặc biệt?
Cân bằng cả yếu tố bạn biết lẫn yếu tố bạn không biết — điều không phương pháp hiệu chỉnh nào làm được.
Khi không ngẫu nhiên hoá được thì sao?
Dùng nhóm tương đương chọn theo tiêu chí rõ ràng, so sánh trước sau ở cả hai nhóm, dùng nhiều thời điểm đo trước can thiệp, và nêu rõ thiết kế yếu hơn.
Hồi quy về trung bình là gì?
Một hiện tượng thống kê khiến nhóm có giá trị cực đoan ban đầu cải thiện dù không can thiệp — nó trông y hệt một can thiệp hiệu quả.
