Sangat professional, bisa diajak diskusi dan mampu memahami kebutuhan riset saya sehingga tidak asal mengolah data namun mampu memahami context risetnya dan kebutuhan riset tersebut sehingga menjawab pertanyaan riset dengat tepat
Penanganan Missing Data
Pada sebuah survei kadang tidak semua pertanyaan pada kuesioner dijawab atau diisi dengan lengkap. Kondisi ini menyebabkan adanya missing data. Missing data akan mengakibatkan pendugaan parameter menjadi tidak tepat karena berkurangnya ukuran data. Missing data dapat disebabkan oleh berapa hal, yaitu penolakan dari responden untuk menjawab beberapa pertanyaan karena pertanyaannya bersifat pribadi/rahasia; kesalahan pada saat pengumpulan data, misalnya pertanyaan terlewat sehingga tidak memperoleh jawaban; selain itu missing data dapat juga diakibatkan oleh kesalahan pada saat entri data.
Penanganan missing data dapat dilakukan dengan menghapus data yang tidak lengkap tersebut. Jika data yang tidak lengkap jumlahnya relatif kecil, dibandingkan dengan keseluruhan data, menghapus data yang tidak lengkap merupakan salah satu pendekatan yang masuk akal. Tetapi umumnya hal ini akan memberikan kesimpulan yang valid, hanya terjadi ketika missing data secara acak, dalam arti bahwa probabilitas respon tidak tergantung pada nilai-nilai data yang diamati atau hilang.
Solusi yang tepat agar ukuran sampel tidak berkurang jika terdapat missing data adalah dengan melakukan imputasi. Imputasi, adalah proses pengisian atau penggantian missing values pada dataset dengan nilai-nilai yang mungkin berdasarkan informasi yang didapatkan pada dataset tersebut. Beberapa metode imputasi yang dapat digunakan adalah:
Mengganti data hilang dengan suatu nilai konstan
Metode imputasi yang paling umum dan paling mudah untuk digunakan adalah mengganti missing data dengan nilai rata-rata atau dengan modus tergantung dari jenis datanya. Pada data numerik digunakan cara mengganti missing data dengan nilai rata-rata, sedangkan untuk data kategorik maka digunakan cara mengganti missing data dengan nilai modus. Metode ini menghasilkan penduga rata-rata untuk peubah akan sama dengan nilai yang diimputasikan. Keunggulan metode ini adalah mengisi nilai missing data dengan nilai harapan yang secara relatif mempunyai tingkat kestabilan yang tinggi. Sedangkan kelemahannya adalah ragam yang diperoleh dengan metode ini tidak sesuai dengan data yang sebenarnya dan korelasi antar peubah dapat memberikan informasi yang menyesatkan. Metode ini akan menyebabkan pendugaan error yang selalu lebih rendah dari sebenarnya (underestimate error). Sehingga metode ini tidak disarankan untuk digunakan.
Metode Hot Deck
Metode ini merupakan penyempuranaan dari metode mengganti missing data dengan nilai rata-rata khususnya pada pendugaan standar error yang underestimate. Sebelum menggunakan metode ini, terlebih dahulu data diurutkan berdasarkan variabel yang dinilai terkait dengan variabel yang teradapat item missing data. Individu yang berada pada kluster yang sama maka ditempatkan pada file yang sama. Proses metode ini yaitu pertama menetapkan nilai demografi yang terpilih atau peubah lainnya. Nilai yang hilang akan diganti dengan nilai data sebelumnya setelah data disusun urut dan ditetapkan nilai pencirinya (demografinya). Kelemahan dari Hot Deck adalah jika missing data banyak mengakibatkan dalam pengisian nilainya akan berulang-ulang sehingga pendugaannya akan berbias.
Metode Regression
Pada metode ini, missing data diperoleh dengan melakukan prediksi menggunakan regresi. Banyak macam model regresi yang dapat digunakan dalam regresi imputasi misalnya regresi linear, regresi logistik. Misalkan variabel Y diperoleh dari data dengan missing data dan variabel Z diperoleh dari data lengkap. Jika Y dan Z berkaitan, dapat diprediksi nilai Y. Misalkan Y dan Z adalah terkait dengan model Y = f(Z) + ε, dimana f adalah fungsi, seperti f(Z) = β0 +β1z, dan ε adalah variable random. Jika diketahi fungsi = f () maka akan diperoleh nilai untuk menginput missing data yj.
Metode EM (Expectation Maximisation)
Metode Expectation Maximisation adalah metode yang digunakan untuk memperkirakan parameter populasi yang tidak diketahui. Metode EM menggunakan prosedur iterative untuk menghitung statistik cukup dan menduga parameter. Algoritma EM dirumuskan untuk membuat model yang sesui dengan maksimum likelihood (ML). Pada algoritma EM dilakukan pengisian nilai-nilai yang hilang terlebih dahulu, kemudian menemukan kemungkinan maksimumnya. Proses ini diulang terus sampai menghasilkan pendunga parameter.
Metode Multiple Imputation
Pada metode ini setiap missing data tidak diduga melalui nilai tiruan, tetapi diperoleh dengan merepresentasikan sampel random dari nilai-nilai hilang. Pada metode ini diperoleh m dataset yang lengkap, kemudian masing-masing data set dianalisis dengan metode data lengkap. Kemudian, hasil yang diperoleh dari m dataset ini digabungkan. Proses ini menghasilkan inferensi yang valid secara statistik yang mencerminkan ketidakpastian akibat nilai-nilai yang hilang tersebut.
Masih bingung implementasi imputasi data? silakan hubungi Mr. Bens, dia akan membantumu melakukan imputasi
