Một sở giáo dục áp dụng chương trình đọc sách buổi sáng cho các trường ở ba huyện, các huyện còn lại chưa áp dụng. Một năm sau, điểm đọc hiểu ở ba huyện đó tăng. Chương trình có hiệu quả không? Câu trả lời trung thực là: chưa biết. Có thể điểm tăng ở mọi nơi vì đề thi dễ hơn. Có thể ba huyện đó được chọn vì có hiệu trưởng năng động, và họ sẽ cải thiện dù có chương trình hay không.
Lý tưởng nhất là bốc thăm trường nào áp dụng. Nhưng chương trình đã triển khai rồi, và quyết định thuộc về sở, không thuộc về người nghiên cứu. Đây là chỗ của thiết kế bán thực nghiệm: không tự tạo được nhóm so sánh ngẫu nhiên, nên đi tìm một cấu trúc có sẵn trong thực tế làm việc đó gần đủ tốt.
Ý tưởng chung: tìm kịch bản đối chứng đáng tin
Mọi câu hỏi tác động đều quy về một phép so sánh không thực hiện được trực tiếp: kết quả của cùng một nhóm khi có can thiệp và khi không có. Thực nghiệm ngẫu nhiên giải quyết bằng cách tạo hai nhóm giống nhau về trung bình. Bán thực nghiệm giải quyết bằng một giả định — và toàn bộ giá trị của nghiên cứu phụ thuộc vào việc giả định đó có hợp lý không, có kiểm được phần nào không.
Ba thiết kế phổ biến nhất dưới đây khác nhau ở chỗ giả định đặt vào đâu.
Khác biệt trong khác biệt
Đo kết quả ở cả nhóm áp dụng và nhóm không áp dụng, trước và sau thời điểm áp dụng. Tác động được ước lượng bằng: mức thay đổi ở nhóm áp dụng trừ đi mức thay đổi ở nhóm không áp dụng. Phần thay đổi chung — đề thi dễ hơn, kinh tế khá lên — bị trừ đi.
| Trước | Sau | Thay đổi | |
|---|---|---|---|
| Ba huyện áp dụng | a | b | b − a |
| Các huyện khác | c | d | d − c |
| Ước lượng tác động | (b − a) − (d − c) |
Giả định then chốt: xu hướng song song. Nếu không có chương trình, hai nhóm sẽ thay đổi cùng một mức. Giả định này không kiểm được cho giai đoạn sau, nhưng kiểm được một phần cho giai đoạn trước: nếu có số liệu ba, bốn năm trước khi áp dụng, hãy vẽ hai đường. Hai đường đi song song trước mốc là dấu hiệu tốt. Hai đường đã tách nhau từ trước thì kết quả sau mốc rất khó tin.
Những điều dễ làm hỏng thiết kế này: nhóm áp dụng được chọn chính vì đang đi xuống (hoặc đang đi lên); trong cùng thời điểm có một thay đổi khác chỉ xảy ra ở nhóm áp dụng; học sinh chuyển từ huyện này sang huyện khác vì chương trình.
Hồi quy gián đoạn: khi có một ngưỡng
Rất nhiều quyết định trong thực tế dựa vào ngưỡng: học sinh đạt từ một mức điểm trở lên thì vào lớp chọn, hộ có thu nhập dưới một mức thì được hỗ trợ, trẻ sinh trước một ngày nhất định thì vào lớp một năm đó. Những người nằm ngay hai bên ngưỡng gần như giống nhau, chỉ khác ở chỗ được nhận hay không. So sánh họ cho ước lượng tác động ngay tại ngưỡng.
Ví dụ: học sinh đạt 24,0 điểm và 23,9 điểm thi tuyển gần như không khác nhau về năng lực, nhưng một em vào lớp chọn, một em không. So kết quả học tập ba năm sau của nhóm sát trên và sát dưới ngưỡng cho biết lớp chọn tạo ra khác biệt bao nhiêu — cho những em ở quanh ngưỡng.
Những điều phải kiểm:
- Có ai điều khiển được vị trí của mình quanh ngưỡng không? Nếu được phúc khảo, được cộng điểm ưu tiên linh hoạt, sẽ có nhiều người dồn lên ngay trên ngưỡng. Vẽ biểu đồ số người theo điểm: một cái hố ngay dưới ngưỡng và một đỉnh ngay trên ngưỡng là dấu hiệu báo động.
- Các đặc điểm khác có liên tục qua ngưỡng không? Giới tính, nghề cha mẹ, điểm năm trước không nên nhảy bậc tại ngưỡng.
- Kết quả có vững khi đổi độ rộng cửa sổ không? Chạy với nhóm cách ngưỡng 0,5 điểm, 1 điểm, 2 điểm; nếu kết luận đổi chiều thì phải nói ra.
Hạn chế cần nêu: ước lượng chỉ đúng cho người ở quanh ngưỡng. Nó không nói lớp chọn có tác dụng gì với em đạt 28 điểm.
Chuỗi thời gian ngắt quãng: khi chỉ có một nhóm nhưng nhiều mốc đo
Nếu không có nhóm so sánh nhưng có số liệu đo đều đặn nhiều kỳ trước và sau thay đổi — số ca cấp cứu theo tháng, số đơn đăng ký theo tuần — có thể ước lượng xu hướng trước can thiệp, kéo dài nó ra phía sau làm kịch bản đối chứng, rồi so với thực tế. Hai thứ cần nhìn: mức có nhảy ngay tại mốc không, và độ dốc có đổi sau mốc không.
Điều kiện để thiết kế này đáng tin:
- Đủ nhiều điểm đo trước mốc để thấy xu hướng và biến động theo mùa. Vài điểm thì không phân biệt được tác động với dao động bình thường.
- Không có sự kiện nào khác xảy ra cùng thời điểm. Đây là điểm yếu lớn nhất; nên liệt kê những thay đổi khác trong cùng giai đoạn và lập luận vì sao chúng không giải thích được kết quả.
- Cách ghi nhận số liệu không đổi tại mốc. Một chính sách mới thường đi kèm biểu mẫu báo cáo mới, và chỉ riêng việc đổi biểu mẫu đã đủ làm số liệu nhảy.
Chọn thiết kế nào: đi từ cấu trúc của quyết định
Không chọn thiết kế theo sở thích; chọn theo cách mà can thiệp được phân bổ trong thực tế:
- Phân bổ theo địa bàn hoặc đơn vị, vào một thời điểm, có số liệu trước và sau ở cả hai bên: khác biệt trong khác biệt.
- Phân bổ theo một ngưỡng của một con số: hồi quy gián đoạn.
- Áp dụng cho tất cả cùng lúc, có chuỗi số liệu dài: chuỗi thời gian ngắt quãng.
- Áp dụng lần lượt theo đợt ở các đơn vị khác nhau: có thể kết hợp, tận dụng đơn vị chưa áp dụng làm đối chứng cho đơn vị đã áp dụng.
Nếu can thiệp được phân bổ theo quyết định chủ quan của người quản lý, không theo ngưỡng hay thời điểm rõ ràng, thì gần như không có cấu trúc nào để bám vào. Lúc đó trung thực nhất là hạ câu hỏi xuống mức liên hệ.
Đi trọn một ví dụ: chương trình đọc sách buổi sáng
Quay lại ví dụ mở đầu. Sở áp dụng chương trình ở ba huyện từ đầu năm học, các huyện khác chưa. Có điểm đọc hiểu từ kỳ khảo sát chung của tỉnh trong bốn năm trước và một năm sau. Thiết kế phù hợp là khác biệt trong khác biệt. Các bước:
- Tìm hiểu vì sao chọn ba huyện đó. Hỏi thẳng người ra quyết định và đọc văn bản triển khai. Nếu được chọn vì có điểm đọc thấp nhất tỉnh, hãy dè chừng: nhóm điểm thấp có xu hướng tự nhích lên ở lần đo sau, và phần nhích đó dễ bị gán nhầm cho chương trình.
- Vẽ điểm trung bình theo năm của hai nhóm cho cả bốn năm trước. Kiểm tra xem hai đường có song song không.
- Liệt kê mọi thay đổi khác trong năm áp dụng: đổi sách giáo khoa, đổi đề, tuyển thêm giáo viên ở huyện nào. Thay đổi nào chỉ xảy ra ở ba huyện là đối thủ trực tiếp của lời giải thích bằng chương trình.
- Ước lượng ở cấp trường, với sai số chuẩn điều chỉnh theo huyện hoặc theo trường, vì học sinh cùng trường không độc lập với nhau.
- Chạy mốc giả: coi năm thứ ba trước khi áp dụng là năm “áp dụng” và lặp lại phân tích. Kết quả nên gần bằng không.
Nếu mọi bước đều ổn, bạn có một ước lượng có thể bảo vệ được. Nếu bước 2 cho thấy ba huyện đã tăng nhanh hơn từ trước, kết quả vẫn nên được báo cáo, nhưng như một mô tả, kèm lời giải thích vì sao không tách được tác động.
Những điều bán thực nghiệm không làm được
- Nó không biến một quyết định chủ quan thành ngẫu nhiên. Nếu người quản lý chọn đơn vị dựa trên những gì họ biết mà bạn không biết, mọi thiết kế đều có thể bị thông tin đó làm lệch.
- Nó không thay thế được hiểu biết về bối cảnh. Phần lớn các mối đe doạ được phát hiện bằng cách hỏi người trong cuộc, không phải bằng thống kê.
- Nó không cho kết quả áp dụng cho mọi nơi. Tác động ở ba huyện đồng bằng chưa chắc lặp lại ở huyện miền núi.
Viết phần phương pháp cho người đọc khó tính
Người phản biện đọc bán thực nghiệm sẽ đi thẳng đến giả định. Hãy tự viết trước:
- Giả định nhận diện của bạn là gì, phát biểu bằng lời thường.
- Phần nào của giả định kiểm được bằng dữ liệu, và kết quả kiểm ra sao (biểu đồ xu hướng trước mốc, biểu đồ mật độ quanh ngưỡng).
- Phần nào không kiểm được, và lập luận vì sao nó vẫn hợp lý.
- Các phân tích độ vững: đổi nhóm so sánh, đổi cửa sổ, đổi mốc giả (đặt mốc can thiệp giả vào một năm trước và kiểm xem có tác động giả không).
Phép kiểm mốc giả đặc biệt có sức thuyết phục: nếu thiết kế của bạn tìm ra tác động ở một thời điểm chẳng có gì xảy ra, thì tác động ở thời điểm thật cũng đáng ngờ.
Câu hỏi thường gặp
Bán thực nghiệm khác thực nghiệm ở điểm nào?
Ở thực nghiệm, người nghiên cứu phân nhóm bằng ngẫu nhiên nên hai nhóm giống nhau về trung bình. Ở bán thực nghiệm, nhóm hình thành theo cách khác trong thực tế, nên kết luận phụ thuộc vào một giả định cần lập luận và kiểm tra.
Giả định xu hướng song song kiểm thế nào?
Vẽ kết quả của hai nhóm qua nhiều kỳ trước can thiệp và xem chúng có đi song song không. Điều này không chứng minh giả định đúng cho giai đoạn sau, nhưng hai đường đã tách nhau từ trước là dấu hiệu thiết kế yếu.
Hồi quy gián đoạn có kết luận được cho mọi người không?
Không. Ước lượng chỉ áp dụng cho những người nằm quanh ngưỡng; người ở xa ngưỡng có thể chịu tác động khác.
Chuỗi thời gian ngắt quãng cần bao nhiêu điểm đo?
Không có con số chung, nhưng cần đủ điểm trước mốc để thấy rõ xu hướng và dao động theo mùa. Càng ít điểm, càng khó tách tác động khỏi biến động bình thường.
Mốc giả là gì và vì sao nên làm?
Là việc đặt thời điểm can thiệp vào một mốc không có gì xảy ra rồi chạy lại phân tích. Nếu vẫn thấy tác động, thiết kế đang bắt nhầm một thứ khác chứ không phải can thiệp.
