Tái lập được: viết mã để chạy lại, vì người sẽ chạy lại là bạn của sáu tháng sau

Lý do thường được nêu cho việc làm nghiên cứu tái lập được là minh bạch. Lý do thực tế hơn: phản biện sẽ hỏi "nếu bỏ nhóm này ra thì sao" — và bạn hoặc trả lời trong một phút, hoặc mất một tuần.

Bốn quy tắc

• Dữ liệu thô không bao giờ bị sửa.
• Mọi biến đổi nằm trong mã, không làm bằng tay.
• Thứ tự chạy được ghi rõ.
• Phiên bản phần mềm và thư viện được ghi lại.

Vì sao không làm bằng tay

• Thao tác tay không lặp lại được và không ai kiểm được.
• Phát hiện lỗi ở bước ba thì không phải làm lại bằng tay từ bước bốn.
• Sáu tháng sau bạn sẽ không nhớ đã lọc dòng nào và vì sao.

Cấu trúc thư mục

• Dữ liệu thô, chỉ đọc.
• Dữ liệu đã xử lý, sinh ra từ mã.
• Mã.
• Kết quả: hình và bảng.
• Một tệp mô tả cách chạy từ đầu tới cuối.

Phần hay bị bỏ sót

• Bước làm sạch ban đầu, thường làm bằng tay trong bảng tính.
• Quyết định loại bỏ dữ liệu, không ghi lý do.
• Tham số ngẫu nhiên không cố định.
• Phiên bản thư viện đổi làm kết quả khác đi.

Kiểm trước khi nộp

• Xoá hết kết quả trung gian, chạy lại từ dữ liệu thô.
• Kiểm mọi con số trong bài truy được về mã.
• Chạy trên máy khác nếu có thể.
• Bước này bắt được nhiều lỗi nghiêm trọng nhất trong toàn quy trình.

Một điều đáng nhớ

Bước làm sạch dữ liệu ban đầu phải nằm trong mã, không làm trong bảng tính.

Đó là bước hay được làm bằng tay nhất, để lại ít dấu vết nhất, và chứa nhiều quyết định ảnh hưởng tới kết quả nhất — ba đặc điểm khiến nó trở thành chỗ nguy hiểm nhất trong toàn bộ quy trình phân tích.

Câu hỏi thường gặp