Tweet Scientific

Penulis: Fawwaz Jaerawibawa (Kepala Departemen Riset 2023)

Dalam tulisan saya yang berjudul “Kuantitas Nomor Satu, Kualitas Insyaallah: Sebuah Problem Struktural Kinerja Peneliti di Indonesia”, pengukuran kinerja peneliti di Indonesia membuat para peneliti berlomba-lomba secara kuantitas dalam melakukan penerbitan sehingga mengesampingkan akurasi hasil penelitiannya. Hal ini menjawab pertanyaan “mengapa Indonesia tidak kunjung maju walaupun jumlah penerbitan penelitiannya sangat banyak di antara negara-negara ASEAN?” Kualitas penelitian yang sering dikesampingkan ini membuat peluang kemunculan “peneliti nakal” semakin besar. 

Peneliti dapat dikatakan nakal ketika ia melakukan beberapa manipulasi dalam proses penelitianya, baik pra penelitian maupun pasca penelitian, sehingga dapat memaksa hasil penelitiannya agar sesuai dengan hipotesis yang dikehendakinya. Manupulasi yang seringkali dilakukan adalah manipalasi dalam metode statistik (Andrade, 2021). Menurut artikel yang ditulis oleh Rochmyaningsih (2019), beberapa bentuk manipulasi metode statistik yang biasa dilakukan oleh peneliti antara lain:

• HARKing (Hypothesizing After the Results are Known): mengubah/membuat hipotesis setelah hasil penelitian diketahui. Intinya adalah melakukan cocokologi yang berkaitan dengan latar belakang dan landasan penelitian agar tetap sesuai dengan hasil yang ada apapun keadaannya.
• Cherry Picking: memilah-milah data agar hanya data yang sejalan/mendukung hasil penelitian saja yang dimasukkan, sedangkan data yang tidak sejalan/kurang mendukung hasil penelitian (padahal masih relevan) diabaikan.
• P-Hacking: membuat hasil penelitian yang tidak signifikan menjadi siginifkan (misal dengan melakukan data dredging, yaitu menambah jumlah sampel agar memengaruhi signifikansi hasil penelitian, dsb)

Dalam sebuah webinar yang berjudul “Advancing Science in Indonesia: Current Global Research Practice” yang diselenggarakan pada tahun 2019, Simine Vazire (seorang profesor psikologi di University of California-Davis, Amerika Serikat), sebagai pembicara dalam webinar tersebut mengatakan bahwa ada dua strategi yang cukup efektif dalam meningkatkan kredibilitas penelitian di Indonesia, yaitu dengan menerapkan pre-registrasi bagi peneliti yang ingin menerbitkan penelitianya dan insentif bagi peneliti yang mau menerapkan open acces data penelitiannya. Sekiranya dua hal tersebut dapat efektif menutup celah berkembangnya peneliti nakal di Indonesia.

Kita mulai dari penjelasan strategi pertama, yaitu pre-registrasi. Pre-registrassi mewajibkan peneliti untuk menjelaskan riset yang ia rencanakan tersebut sebelum mengumpulkan data. Informasi yang dicantumkan mulai dari hipotesis yang diajukan, hingga model statistik apa saja yang akan dijalankan untuk menganalisis data, yang akan dimuat dalam dokumen rencana penelitian yang memiliki stempel waktu dan bersifat read-only (hanya dapat dibaca, tidak bisa diedit). Dokumen tersebut kemudian akan diarsip di dalam suatu sistem seperti Open Science Framework (OSF), suatu platform manajemen riset yang bersifat open-source agar dapat diakses oleh peneliti lain dari seluruh penjuru dunia sebagai bukti transparansi. Syarat dokumen ini dapat dijadikan syarat wajib yang harus dipenuhi oleh peneliti ketika ingin mendaftarkan penerbitan penelitianya dalam jurnal ilmiah. Hal ini dapat menjadi jalan bagi jurnal-jurnal ilmiah untuk melakukan crosscheck apakah hasil penelitian yang akan diterbitkan konsisten dengan rencana awal penelitian tersebut sehingga menghindari HARKing dan P-Hacking. Tentu cara ini mirip seperti ketika kita sedang menyiapkan dokumen proposal pendanaan penelitian yang mengandung rincian rencana penelitian, yang berbeda hanyalah kepada siapa dokumen ini ditujukan. Selama ini, jurnal-jurnal ilmiah di Indonesia tidak memegang dokumen rincian rencana awal penelitian para penelitinya (dokumen itu hanya dipegang oleh pihak yang mendanai penelitian) sehingga tidak tahu apakah hasil penelitian yang akan diterbitkan telah dimanipulasi atau tidak. 

Strategi pre-registrasi tersebut akan diperjelas dalam bentuk registered report. Pada intinya, dokumen ini adalah bentuk yang lebih rinci dan formal dari pre-registrasi. Peneliti akan mengirimkan suatu manuskrip yang sudah disusun terlebih dahulu, menjelaskan tentang ide penelitian secara mendetail kepada sebuah jurnal ilmiah untuk evaluasi tahap awal. Apabila para reviewer jurnal memutuskan bahwa rancangan penelitian tersebut memenuhi semua kriteria mereka untuk sebuah desain penelitian yang baik, mereka akan memberikan jaminan bahwa hasil penelitian akan diterima oleh jurnal tersebut, bahkan sebelum peneliti mengumpulkan data. Jurnal akan mempublikasikan hasil penelitian tersebut apapun hasilnya, sehingga mengurangi kekhawatiran peneliti tentang gagal publikasi apabila hasil penelitiannya tidak sesuai hipotesis atau tidak memberikan hasil yang signifikan, asalkan jika hasil penelitian melenceng dari metode penelitian yang telah disepakati sebelumnya (atau sebutanya adalah “hasil penelitian yang negatif”), peneliti harus memberikan penjelasan ilmiah tentang mengapa hal tersebut terjadi. Hasil penelitian yang negatif juga sama pentingnya untuk kemajuan sains karena peneliti akan dapat belajar dari beberapa kekurangan peneliti lain untuk saling merumuskan metode penelitian yang lebih baik. Berdasarkan hal tersebut, registered reports dapat menyelesaikan masalah dalam dunia penelitian yang mengatakan bahwa penelitian dengan hasil negatif memiliki peluang yang lebih kecil untuk dipublikasikan. Strategi ini dibuat sebagai langkah awal mendorong para peneliti untuk memikirkan metode penelitian yang kredibel terlebih dahulu alih-alih memikirkan output akhirnya sehingga integritas akademik terjaga. Saat ini menurut situs Center of Open Science (2021), baru sekitar 209 jurnal ilmiah di dunia ini yang menawarkan mekanisme registered reports di dalam proses publikasinya, tidak ada satupun dari Indonesia. 

Kemudian, kita masuk pada penjelasan strategi kedua, yaitu insentif bagi peneliti yang menerapkan open acces pada data penelitiannya. Ada satu sistem insentif yang menarik yang telah berhasil diterapkan oleh jurnal Psychological Science, yaitu memberikan lencana digital bagi peneliti dan manuskrip yang dikirimkan untuk menandakan bahwa mereka telah melakukan praktek-praktek sains terbuka. Terdapat tiga jenis lencana. Satu diberikan karena menyediakan data riset di dalam suatu repositori publik, satu untuk menyediakan material penelitian bebas akses, dan satu lagi bagi mereka yang melakukan praktek pre-registrasi (seperti yang sudah dijelaskan sebelumnya). Fungsi lencana digital ini adalah sebagai tanda bahwa peneliti tersebut adalah peneliti yang berkualitas karena hasil karya-karya penelitiannya telah diproses melalui cara-cara yang kredibel dan terbuka (Science A. f., 2023). Efektivitas insentif berupa lencana digital ini dibuktikan oleh penelitian dari Farid, Allen & Barnett (2017) yang menunjukkan bahwa lencana digital open acces data research merupakan satu-satunya sistem insentif yang teruji mampu memotivasi peneliti untuk membuka data mereka. Strategi ini dapat menutup celah peneliti nakal dalam melakukan manipulasi berupa cherry picking.

Strategi-strategi transparansi dan akuntabilitas ini bukanlah solusi sapu jagad, tetapi merupakan sebuah langkah yang sangat baik menuju tujuan akhir mewujudkan penelitian yang kredibel dan berkualitas. Sangat penting bagi kita untuk tidak hanya membaca laporan penelitian, tetapi juga keputusan-keputusan apa yang diambil peneliti dan apa saja pertimbangannya. Dengan menuntut transparansi, para peneliti dapat menunjukkan proses pemikiran mereka secara menyeluruh sehingga perkembangan dunia penelitian tetap berjalan tanpa harus mengorbankan integritas akademik.

References

Andrade, C. (2021). HARKing, Cherry-Picking, P-Hacking, Fishing Expeditions, and Data Dredging and Mining as Questionable Research Practices. J Clinn Psychiatry, 18-25.

Farid, A. R., Allen, M., & Barnett, A. G. (2017). What incentives increase data sharing in health and medical research? A systematic review. Research Intregity Journal, 21-27.

Rochmyaningsih, D. (2019, Juny Thursday). How to shine in Indonesian science? Game the system. Retrieved from www.science.org: https://www.science.org/content/article/how-shine-indonesian-science-game-system

Science, A. f. (2023, Juny Thursday). Open Practice Badges. Retrieved from psychologicalscience.org: https://www.psychologicalscience.org/publications/badges

Science, C. o. (2021, Juny Thursday). Registered Reports: Peer review before results are known to align scientific values and practices. Retrieved from cos.io: https://www.cos.io/initiatives/registered-reports