Dữ liệu thiếu: vì sao nó thiếu quan trọng hơn nó thiếu bao nhiêu

Cách xử lý phổ biến nhất với dữ liệu thiếu là xoá mọi dòng có ô trống. Nó là mặc định của phần mềm, nó nhanh, và nó thường là cách tệ nhất.

Vì nó ngầm giả định rằng những dòng bị xoá không khác gì những dòng còn lại — một giả định gần như không bao giờ đúng.

Ba cơ chế

• Thiếu hoàn toàn ngẫu nhiên: không liên quan gì tới dữ liệu.
• Thiếu ngẫu nhiên có điều kiện: liên quan tới biến khác bạn đã đo.
• Thiếu không ngẫu nhiên: liên quan tới chính giá trị bị thiếu.
• Loại thứ ba nguy hiểm nhất và không kiểm chứng được từ dữ liệu.

Ví dụ của loại thứ ba

• Người thu nhập cao bỏ trống câu hỏi thu nhập.
• Người bệnh nặng không tới được đợt đo sau.
• Với cả hai, mọi phân tích trên dữ liệu còn lại đều lệch.

Cách xử lý theo cơ chế

• Ngẫu nhiên hoàn toàn: xoá dòng được, chỉ mất hiệu lực thống kê.
• Ngẫu nhiên có điều kiện: gán giá trị nhiều lần, dùng các biến liên quan.
• Không ngẫu nhiên: phân tích độ nhạy với các giả định khác nhau.

Gán giá trị nhiều lần

• Tạo nhiều bộ dữ liệu đầy đủ, phân tích từng bộ, gộp kết quả.
• Giữ được độ không chắc chắn do việc gán tạo ra.
• Tốt hơn hẳn việc điền giá trị trung bình — cách đó làm hẹp phương sai giả.

Phải báo cáo

• Bao nhiêu thiếu, ở biến nào.
• So sánh đặc điểm của trường hợp đủ và trường hợp thiếu.
• Cách xử lý và lý do chọn cách đó.
• Kết quả có đổi không nếu xử lý theo cách khác.

Một điều đáng nhớ

So sánh đặc điểm của các trường hợp thiếu với các trường hợp đủ.

Nếu hai nhóm khác nhau có hệ thống, thì việc xoá dòng đang thay đổi mẫu của bạn — và bảng so sánh đó là bằng chứng duy nhất bạn có để biết điều đó đang xảy ra.

Câu hỏi thường gặp