Setiap survei pasti ada error dalam hubungannya dengan populasi karena survei berbasis sampel bukan populasi. Besarnya error tergantung sebagian dari ukuran sampel, tapi juga bisa karena non-sampling error seperti tidak disiplin atas SOP. Tidak disiplin atas SOP misalnya penggantian responden di lapangan karena responden awal tak ditemukan atau menolak diwawancarai.
Dari ribuan survei yang kami lakukan, tidak pernah semua responden awal dapat diwawancarai karena berbagai sebab. Karena itu dikenal dengan respond rate: respondent yang dapat diwawancari dibagi total sampel awal. Hasilnya selalu kurang dari 100 persen. Kalau ada survei yang respond rate 100 persen, itu sangat mungkin menyalahi SOP.
Baca:
- Terbongkar Kubu Anies Sandi Makin Panik, Hasil Survei Kadaluarsa Dipakai untuk Bohongi Publik
- Bocoran Survei Tipu-tipu Denny JA, Anies Unggul Atas Ahok, Masih Ingat Kebohongannya di Survei…
- Survei Media Sosial: Ahok Djarot Lebih Banyak Dapat Apresiasi Positif dari Netizen
Khusus untuk DKI respond rate ini menjadi masalah serius bagi surveyor. Dibanding warga pedesaan, warga perkotaan umumnya lebih sibuk dan karena itu tak mudah ditemui untuk wawancara. Banyak yang tidak berada di alamat. Warga kita juga cenderung diwawancarai itu mengganggu waktu mereka maka menolak diwawancarai.
Warga perkotaan DKI terutama banyak kelas menengah atasnya, dan mereka tidak mudah diakses pewawancara. Yang muncul tak jarang hanya pembantunya, atau anjingnya menggonggong. Warga pedesaan atau kelas bawah lebih mudah diakses.
Ketika responden tak bisa diakses banyak lembaga yang menerapkan penggantian responden. Ini sumber error.
Walau cara memilih pengganti secara random dan diupayakan mendekati demografi responden awal, tetap saja pengganti itu tak bisa mewakili. Lebih masalah lagi untuk mencari pengganti responden kelas menengah atas karena penggantinya juga harus dari kelas itu, dan itu sulit.
Dalam konteks itu penggantian dilakukan secara sembarang, siapa aja yang bisa diwawancarai. Ini sumber error.
Tidak semua lembaga survei menjelaskan soal respond rate ini. kalau responden tak dapat diakses karena berbagai alasan jangan diganti. Pengalaman kami, tanpa ganti hasilnya lebih baik, dekati populasi. Maka ukuran sampel areal harus dibuat lebih banyak untuk antisipasi kekurangan sampel akibat respond rate yang rendah.
Di DKI, pengalaman kami, respond rate antara 50-60 persen. Nasional sekitar 70-80 persen.
Pollster juga ada yang sering ngawur dalam membuat judgement dalam membaca akurasi. Margin of error katakanlah +/- 5 persen, maka perbedaan hasil dalam rentang itu harus dinilai sama baik. Tapi ada yang bilang, misalnya, ada yang bilang selisih 1 persen lebih akurat hasilnya dari 2 persen padahal keduanya sama-sama dalam error margin.
Perbedaan itu sesungguhnya tidak signifikan secara ilmiah, dan karena itu tidak ada dasar ilmiahnya untuk klaim yang satu lebih baik dari yang lain. Hasil survei yang tidak benar bila perbedaannya di luar margin of error. Dan itu terjadi pada beberapa survei putaran pertama DKI 2017.
Berarti ada kesalahan di luar sampling error.
Sumber non-sampling error itu bisa karena soal etik atau integritas, atau soal kompetensi, atau keduanya. Kalau soal etik berat masalahnya. Kalau soal kompetensi masih bisa diurus. Suruh belajar lagi.
Demikian tweeps. Happy easter and happy holiday!
Saiful Mujani SMRC
(gerpol)