Sekitar 50% eksperimen ilmiah ternyata NON-reproducible

2024 Pengarang: Seth Attwood | [email protected]. Terakhir diubah: 2023-12-16 16:08

Secara kebetulan, dalam arus berita dan informasi, saya menemukan sebuah artikel di Nature Scientific Reports. Ini menyajikan data dari survei terhadap 1.500 ilmuwan tentang reproduktifitas hasil penelitian ilmiah. Jika sebelumnya masalah ini diangkat untuk penelitian biologi dan medis, di mana di satu sisi dapat dijelaskan (korelasi palsu, kompleksitas umum dari sistem yang diteliti, kadang-kadang bahkan perangkat lunak ilmiah dituduh), di sisi lain, ia memiliki masalah fenomenologis. karakter (misalnya, tikus cenderung berperilaku berbeda dengan ilmuwan yang berbeda jenis kelamin (1 dan 2)).

Namun, tidak semuanya mulus dan dengan lagiilmu alam seperti fisika dan teknik, kimia, ekologi. Tampaknya disiplin ilmu ini didasarkan pada eksperimen yang dapat direproduksi "benar-benar" yang dilakukan di bawah kondisi yang paling terkontrol, sayangnya, hasil survei yang luar biasa - dalam segala hal - hasil survei: hingga 70%peneliti menghadapi Tidak dapat direproduksipercobaan dan hasil yang diperoleh tidak hanya oleh kelompok ilmuwan lain, TETAPI dan oleh penulis / rekan penulis karya ilmiah yang diterbitkan!

Apakah setiap sandpiper memuji rawanya?

Meskipun 52% responden menunjukkan krisis reproduktifitas dalam sains, kurang dari 31% menganggap data yang dipublikasikan pada dasarnya tidak benar dan mayoritas menunjukkan bahwa mereka masih mempercayai karya yang diterbitkan.

Tentu saja, Anda tidak boleh mengabaikan semua ilmu pengetahuan hanya berdasarkan survei ini: setengah dari responden masih ilmuwan yang terkait, dalam satu atau lain cara, dengan disiplin biologi. Sebagai catatan penulis, dalam fisika dan kimia, tingkat reproduktifitas dan kepercayaan pada hasil yang diperoleh jauh lebih tinggi (lihat grafik di bawah), tetapi masih belum 100%. Tapi dalam kedokteran, hal-hal yang sangat buruk dibandingkan dengan yang lain.

Sebuah lelucon muncul di pikiran:

Marcus Munafo, seorang psikolog biologi di University of Bristol, Inggris, sudah lama tertarik dengan reproduktifitas data ilmiah. Mengingat hari-hari masa mahasiswanya, dia berkata:

Suatu kali saya mencoba mereproduksi eksperimen dari literatur yang menurut saya sederhana, tetapi saya tidak bisa melakukannya. Saya mengalami krisis kepercayaan, tetapi kemudian saya menyadari bahwa pengalaman saya tidak terlalu langka.

Masalah kedalaman garis lintang dan garis bujur

Bayangkan Anda adalah seorang ilmuwan. Anda menemukan artikel yang menarik, tetapi hasil / eksperimen tidak dapat direproduksi di laboratorium. Adalah logis untuk menulis tentang ini kepada penulis artikel asli, meminta saran dan mengajukan pertanyaan klarifikasi. Menurut survei, kurang dari 20%telah melakukan ini dalam karir ilmiah mereka!

Penulis studi mencatat bahwa, mungkin, kontak dan percakapan seperti itu terlalu sulit bagi para ilmuwan itu sendiri, karena mereka mengungkapkan ketidakmampuan dan ketidakkonsistenan mereka dalam masalah tertentu atau mengungkapkan terlalu banyak detail dari proyek saat ini.

Selain itu, minoritas mutlak ilmuwan berusaha untuk mempublikasikan sanggahan hasil yang tidak dapat direproduksi, sementara menghadapi tentangan dari editor dan pengulas yang menuntutmengecilkan perbandingan dengan penelitian asli. Apakah mengherankan bahwa peluang untuk melaporkan hasil ilmiah yang tidak dapat direproduksi adalah sekitar 50%.

Mungkin, kemudian, ada baiknya untuk setidaknya melakukan tes reproduktifitas di dalam laboratorium? Yang paling menyedihkan adalah sepertiga dari responden bahkan TIDAK PERNAHdan tidak berpikir untuk membuat metode untuk memverifikasi data agar dapat direproduksi. Hanya 40%menunjukkan bahwa mereka secara teratur menggunakan teknik tersebut.

Contoh lain, seorang ahli biokimia dari Inggris, yang tidak mau menyebutkan namanya, mengatakan bahwa upaya untuk mengulang, mereproduksi pekerjaan untuk proyek laboratoriumnya hanya menggandakan waktu dan biaya material, tanpa memberi atau menambahkan sesuatu yang baru pada pekerjaan itu. Pemeriksaan tambahan dilakukan hanya untuk proyek inovatif dan hasil yang tidak biasa.

Dan, tentu saja, pertanyaan abadi Rusia yang mulai menyiksa rekan-rekan asing: siapa yang harus disalahkan dan apa yang harus dilakukan?

Siapa yang bersalah?

Penulis karya mengidentifikasi tiga masalah utama reproduktifitas hasil:

• Tekanan dari atasan untuk menerbitkan pekerjaan tepat waktu
• Pelaporan selektif (tampaknya, itu berarti penekanan beberapa data, yang "merusak" keseluruhan gambar)
• Analisis data yang tidak memadai (termasuk statistik)

Apa yang harus dilakukan?

Dari 1.500 yang disurvei, lebih dari 1.000 spesialis mendukung peningkatan statistik dalam pengumpulan dan pemrosesan data, peningkatan kualitas pengawasan dari bos, dan perencanaan eksperimen yang lebih ketat.

Kesimpulan dan beberapa pengalaman pribadi

Pertama, bahkan bagi saya, sebagai seorang ilmuwan, hasilnya menakjubkan, meskipun saya terbiasa dengan tingkat tertentu dari hasil yang tidak dapat direproduksi. Hal ini terutama terlihat dalam karya-karya yang dilakukan oleh orang Cina dan India tanpa "audit" pihak ketiga berupa profesor Amerika/Eropa. Adalah baik bahwa masalahnya dikenali dan dipikirkan solusinya. Saya dengan bijaksana akan diam tentang sains Rusia, sehubungan dengan skandal baru-baru ini, meskipun banyak yang dengan jujur melakukan pekerjaan mereka.

Kedua, artikel tersebut mengabaikan (atau lebih tepatnya, tidak mempertimbangkan) peran metrik ilmiah dan jurnal ilmiah peer-review dalam munculnya dan pengembangan masalah ireprodusibilitas hasil penelitian. Dalam mengejar kecepatan dan frekuensi publikasi (baca, peningkatan indeks kutipan), kualitasnya turun tajam dan tidak ada waktu untuk verifikasi hasil tambahan.

Seperti yang mereka katakan, semua karakter adalah fiksi, tetapi berdasarkan peristiwa nyata. Entah bagaimana satu mahasiswa memiliki kesempatan untuk mereview sebuah artikel, karena tidak setiap profesor memiliki waktu dan tenaga untuk membaca artikel tersebut dengan serius, sehingga pendapat dari 2-3-4 mahasiswa dan dokter dikumpulkan, dari mana review tersebut terbentuk. Sebuah ulasan ditulis, itu menunjukkan hasil yang tidak dapat direproduksi sesuai dengan metode yang dijelaskan dalam artikel. Ini jelas ditunjukkan kepada profesor. Tetapi agar tidak merusak hubungan dengan "rekan kerja" - bagaimanapun juga, mereka berhasil dalam segala hal - ulasan itu "diperbaiki". Dan ada 2 atau 3 artikel yang diterbitkan.

Ternyata lingkaran setan. Ilmuwan mengirimkan artikel ke editor jurnal, di mana ia menunjukkan “ diinginkan"Dan, terutama," tidak diinginkan »Pengulas, yaitu, pada kenyataannya, hanya menyisakan mereka yang memiliki kecenderungan positif terhadap tim penulis. Mereka meninjau pekerjaan itu, tetapi mereka tidak bisa "kotor di komentar" dan mencoba memilih yang lebih rendah dari dua kejahatan - berikut adalah daftar pertanyaan yang perlu dijawab, dan kemudian kami akan menerbitkan artikel tersebut.

Contoh lain, yang dibicarakan oleh editor Nature sebulan yang lalu, adalah panel surya Grazel. Karena minat yang luar biasa pada topik ini di komunitas ilmiah (bagaimanapun, mereka masih menginginkan artikel di Nature!), Para editor harus membuat kuesioner khusus di mana mereka perlu menunjukkan banyak parameter, menyediakan kalibrasi peralatan, sertifikat, dll. untuk memastikan bahwa metode untuk mengukur panel efisiensi sesuai dengan beberapa prinsip dan standar umum.

DAN, ketiga, ketika sekali lagi Anda mendengar tentang vaksin ajaib yang menaklukkan segalanya dan semua orang, cerita baru tentang Jobs dalam rok, baterai baru atau bahaya / manfaat GMO atau radiasi ponsel cerdas, terutama jika dipromosikan oleh penulis kuning dari jurnalisme, lalu perlakukan dengan pengertian dan jangan langsung mengambil kesimpulan. Tunggu konfirmasi hasil oleh kelompok ilmuwan lain, akumulasi array dan sampel data.

PS:Artikel itu diterjemahkan dan ditulis dengan tergesa-gesa, tentang semua kesalahan dan ketidakakuratan yang diperhatikan, silakan tulis di LAN.