Studi psikologis ditemukan salah di lebih dari 50% kasus

2024 Pengarang: Seth Attwood | [email protected]. Terakhir diubah: 2023-12-16 16:08

Ada "postur kuat" yang membangun kepercayaan diri dan mengurangi hormon stres. Ketika orang memegang secangkir minuman hangat di tangan mereka, mereka menjadi lebih ramah kepada orang-orang di sekitar mereka. Kemauan adalah sumber daya yang kita habiskan ketika kita melawan godaan. Kemampuan menunda hadiah menentukan kesuksesan masa depan anak.

Pernyataan-pernyataan ini sangat mirip satu sama lain: di belakangnya ada penelitian psikologi terkenal, buku terlaris sains populer, kolom di majalah populer, dan pembicaraan TED.

Mereka juga memiliki satu kesamaan lagi: mereka semua ternyata salah.

Krisis reproduktifitas telah menimbulkan keraguan di seluruh bidang ilmu pengetahuan. Banyak hasil, yang dikutip secara luas di media, sekarang dianggap berlebihan atau salah. Ketika para ilmuwan mencoba mereplikasi eksperimen psikologis klasik dan baru-baru ini, hasilnya secara mengejutkan konsisten, dengan sekitar setengah dari kasus berhasil dan setengah lainnya gagal.

Krisis tersebut akhirnya menjadi nyata pada tahun 2015, ketika para ilmuwan yang dipimpin oleh Brian Nosek memeriksa 100 studi psikologis. Mereka mampu mencapai hasil awal hanya dalam 36 kasus. Pemimpin redaksi Lancet Richard Horton segera menyatakan:

“Tuduhan terhadap sains cukup lugas: setidaknya setengah dari literatur ilmiah salah. Menderita studi dengan ukuran sampel yang kecil, efek yang sedikit dan analisis yang salah, serta obsesi dengan tren mode yang meragukan, sains telah berubah menjadi ketidaktahuan.

Reproduksibilitas adalah salah satu persyaratan utama untuk pengetahuan ilmiah. Semakin baik hasilnya direproduksi, semakin dapat diandalkan - ini adalah satu-satunya cara untuk memisahkan pola nyata dari kebetulan sederhana

Namun ternyata persyaratan ini tidak selalu terpenuhi.

Krisis dimulai dengan obat-obatan, tetapi paling mempengaruhi psikologi. Pada musim panas 2018, para ilmuwan berusaha mereplikasi pilihan studi psikologis yang diterbitkan di Science and Nature, jurnal ilmiah paling bergengsi di dunia. Dari 21 percobaan, hanya 13 yang dikonfirmasi - dan bahkan dalam kasus ini, hasil asli dilebih-lebihkan sekitar 50%.

Seringkali, uji reproduktifitas gagal oleh studi-studi yang banyak direplikasi di media dan berhasil mempengaruhi kesadaran publik. Misalnya, karya-karya yang membuat mesin telusur merusak ingatan, dan membaca fiksi mengembangkan kemampuan berempati. Jika percobaan berulang gagal, ini tidak berarti bahwa hipotesis asli tidak berharga. Tetapi penelitian yang lebih baik sekarang diperlukan untuk membuktikannya.

Bagaimana memprediksi masa depan dengan statistik

Pada tahun 2011, psikolog Amerika terkenal Daryl Boehm menerbitkan sebuah artikel yang membuktikan kemungkinan clairvoyance. Kesimpulan ini bukanlah hasil dari imajinasinya yang keras, tetapi berdasarkan penelitian selama puluhan tahun, yang melibatkan ratusan orang. Banyak yang menduga bahwa Boehm memutuskan untuk mengatur sesuatu seperti penipuan Sokal dan mengekspos psikologi dengan artikel palsu dengan kesimpulan yang sengaja tidak masuk akal. Tetapi dengan semua standar metodologis, artikel itu sangat meyakinkan.

Dalam salah satu eksperimen Behm, dua layar ditempatkan di depan para peserta - mereka harus menebak gambar mana yang tersembunyi di baliknya. Gambar dihasilkan secara acak segera setelah pemilihan dibuat. Jika para peserta melakukan pekerjaan dengan baik, itu akan menunjukkan bahwa mereka entah bagaimana dapat mengantisipasi masa depan. Eksperimen menggunakan dua jenis gambar: netral dan pornografi.

Boehm menyarankan bahwa jika indra keenam ada, itu mungkin memiliki asal usul evolusioner kuno. Jika demikian, maka kemungkinan besar itu selaras dengan kebutuhan dan desakan kita yang paling kuno

Peserta menebak gambar porno 53% dari waktu - sedikit lebih sering daripada yang seharusnya jika itu murni kebetulan. Mengingat banyaknya eksperimen, Boehm dapat mengklaim bahwa pandangan ke depan itu ada.

Belakangan, para ahli menemukan bahwa ketika menganalisis hasil, ia menggunakan metode yang tidak sepenuhnya benar. Sebagai aturan, suatu hasil penelitian dianggap andal jika probabilitas diperolehnya secara tidak sengaja tidak melebihi 5%. Tetapi ada banyak cara untuk mengurangi nilai ini ke tingkat yang diperlukan: ubah parameter awal analisis, tambahkan atau hapus jumlah contoh yang diperlukan dari sampel, gunakan hipotesis yang lebih berhasil setelah mengumpulkan data.

Masalahnya bukan hanya Boehm, tetapi juga banyak ilmuwan lain yang menggunakan teknik yang sama. Menurut survei 2011, hampir setengah dari psikolog mengakui hal ini

Ketika artikel waskita keluar, ilmuwan sosial Joseph Simmons, Leaf Nelson, dan Uri Simonson menyadari bahwa sains sedang menuju kehancurannya sendiri. Mereka membangun beberapa model komputer dan menemukan bahwa dengan menggunakan teknik statistik yang cukup standar, Anda dapat meningkatkan tingkat hasil positif palsu beberapa kali. Ini berarti bahwa metode yang secara formal ilmiah dapat dengan mudah mengarah pada kesimpulan yang sama sekali tidak masuk akal.

Untuk mengilustrasikan hal ini, para ilmuwan melakukan eksperimen yang menegaskan bahwa mendengarkan lagu "When I'm Sixty-four" membuat pendengarnya satu setengah tahun lebih muda.

“Semua orang tahu bahwa menggunakan teknik seperti itu salah, tetapi mereka berpikir bahwa ini adalah pelanggaran signifikansinya - seperti menyeberang jalan di tempat yang salah. Ternyata lebih mirip perampokan bank,” pungkas Simmons.

Bagaimana membedakan penelitian yang buruk dari yang baik?

Segera menjadi jelas bahwa masalah reproduktifitas tidak terbatas pada psikologi. Dalam penelitian kanker, bukti ilmiah didukung pada 10-25% kasus. Di bidang ekonomi, 7 dari 18 percobaan laboratorium tidak dapat mereplikasi. Penelitian kecerdasan buatan juga menunjukkan tanda-tanda krisis.

Tetapi kehilangan kepercayaan pada sains, tampaknya, masih belum sepadan. Para ilmuwan telah menemukan beberapa cara yang telah sangat meningkatkan keandalan dan kualitas penelitian baru

Beberapa tahun yang lalu, hampir tidak ada yang mempublikasikan hasil percobaan berulang, bahkan jika itu dilakukan. Ini tidak diterima, tidak membawa hibah dan tidak berkontribusi pada karir ilmiah yang sukses. Menurut survei Nature, lebih dari 70% psikolog telah mencoba dan gagal mereproduksi penelitian orang lain, sekitar setengahnya tidak dapat mengulangi penelitian mereka sendiri, dan hampir tidak ada yang berusaha mempublikasikan hasil ini.

Ketika krisis reproduktifitas muncul, banyak yang telah berubah. Penelitian berulang secara bertahap menjadi biasa; data eksperimental mulai dipublikasikan lebih sering di domain publik; jurnal mulai mempublikasikan hasil negatif dan merekam keseluruhan rencana penelitian bahkan sebelum dimulai.

Penelitian menjadi lebih luas - sampel 30-40 orang, yang cukup standar dalam psikologi, sekarang cocok untuk sangat sedikit orang. Organisasi internasional besar - seperti Psychological Science Accelerator - sedang menguji hipotesis yang sama di beberapa laboratorium di seluruh dunia.

Sebelum memeriksa artikel dari Nature and Science, yang kami tulis di awal, para ilmuwan diminta untuk bertaruh pada undian. Mereka harus memprediksi penelitian mana yang akan lulus ujian dan mana yang akan gagal. Secara keseluruhan, harga yang sangat akurat. “Ini berarti, pertama, komunitas ilmiah dapat memprediksi karya mana yang dapat diulang, dan kedua, ketidakmungkinan mereplikasi penelitian bukanlah kebetulan belaka,” kata penyelenggara eksperimen.

Para ilmuwan umumnya pandai membedakan penelitian yang dapat diandalkan dari yang tidak dapat diandalkan - itu kabar baik. Sekarang para ahli dari Center for Open Science, bersama dengan agensi DARPA, mencoba membuat algoritme yang akan melakukan tugas yang sama tanpa campur tangan manusia.

Ada terlalu banyak artikel yang diterbitkan setiap tahun untuk diperiksa ulang secara manual bahkan sebagian kecil dari mereka. Jika kecerdasan buatan turun ke bisnis, semuanya akan jauh lebih mudah.

Sudah dalam tes pertama, AI berhasil mengatasi prediksi dalam 80% kasus.

Apa yang paling sering membuat penelitian tidak dapat diandalkan? Sampel kecil, inkonsistensi dalam jumlah, konfirmasi hipotesis yang terlalu indah. Dan juga - keinginan untuk sensasi dan jawaban yang terlalu sederhana untuk pertanyaan sulit.

Terlalu bagus untuk menjadi kenyataan

Cara termudah untuk membuat penelitian sensasional adalah melalui penipuan. Psikolog sosial terkenal Diederik Stapel menggunakan data palsu dalam beberapa lusin artikel ilmiah. Penelitian Stapel menyebar melalui surat kabar dan majalah dengan sangat cepat, ia menerima beberapa penghargaan ilmiah bergengsi, diterbitkan di Science dan dianggap sebagai salah satu spesialis terbesar di bidangnya.

Suatu ketika ternyata Stapel untuk waktu yang lama tidak melakukan penelitian sama sekali, tetapi hanya menemukan data dan memberikannya kepada siswa untuk dianalisis.

Ini sangat jarang terjadi dalam sains. Jauh lebih sering keras, tetapi pernyataan yang salah muncul karena alasan lain. Orang-orang mati-matian mencari jawaban yang sederhana, dapat dimengerti, dan efektif untuk pertanyaan-pertanyaan menarik. Sangat mudah untuk tergoda untuk berpikir bahwa Anda memiliki jawaban-jawaban ini, meskipun sebenarnya tidak. Mengejar kesederhanaan dan kepastian adalah salah satu alasan utama mengapa banyak penelitian gagal menguji reproduktifitas. Berikut adalah beberapa contoh penting.

Eksperimen marshmallow

Dalam sebuah eksperimen, anak-anak diminta untuk memilih antara satu hadiah kecil - seperti marshmallow - yang dapat segera diterima, dan hadiah ganda jika mereka bisa menunggu sebentar. Belakangan ternyata anak-anak yang menerima penghargaan kedua ini menjadi lebih sukses di masa dewasa. Studi ini menjadi sangat populer dan mempengaruhi beberapa kurikulum sekolah.

Pada tahun 2018, percobaan diulang pada sampel yang lebih luas. Ternyata kekayaan dalam keluarga adalah faktor yang jauh lebih penting, di mana tingkat pengendalian diri juga bergantung.

"Pose Kekuatan" dan "Pose Kelemahan"

Para peserta dalam percobaan mengambil salah satu dari dua pose selama dua menit: mereka bersandar di kursi dan melemparkan kaki mereka di atas meja ("pose kekuatan") atau menyilangkan tangan di depan dada mereka ("pose kelemahan"). Hasilnya, peserta dari kelompok pertama merasa lebih percaya diri dan lebih sering setuju untuk mengambil risiko dalam perjudian. Mereka yang duduk dalam posisi kuat meningkatkan kadar testosteron mereka, dan mereka yang duduk dalam posisi lemah meningkatkan kortisol. Dalam percobaan berulang, hanya satu efek yang direproduksi: "postur kekuatan" membantu peserta merasa lebih percaya diri, tetapi tidak mengubah perilaku atau parameter hormonal mereka.

Pergaulan dengan usia tua membuatmu bergerak lebih lambat

Peserta dalam percobaan diminta untuk memecahkan beberapa teka-teki. Jika kata-kata dimasukkan ke dalamnya yang berhubungan dengan usia tua - "pelupa", "lansia", "kesepian" - maka para peserta meninggalkan ruangan dengan kecepatan lebih lambat.

Dalam uji coba baru-baru ini, eksperimen berhasil direproduksi hanya dalam satu kasus: jika para peneliti sendiri tahu bahwa dalam tes, para peserta mengisyaratkan usia tua. Efeknya sendiri tetap ada, tetapi alasannya sudah berbeda.

Benda hangat membuat orang lebih ramah

Partisipan dalam eksperimen diizinkan untuk memegang secangkir kopi panas atau dingin untuk waktu yang singkat, dan kemudian diminta untuk menilai kepribadian orang tersebut menggunakan deskripsi singkat. Peserta yang memegang secangkir kopi panas menilai orang tersebut lebih disukai. Dalam percobaan lain, peserta diberi barang dalam paket hangat atau dingin dan kemudian diminta untuk menyimpannya atau memberikannya kepada teman. Jika barang itu dibungkus dengan paket hangat, peserta lebih cenderung memilih opsi kedua. Eksperimen berulang dengan sampel yang lebih luas tidak menghasilkan hasil seperti itu. Sepertinya pakaian hangat tidak akan membuatmu menjadi altruis.

Kemauan akan habis ketika kita menahan godaan

Di depan para peserta percobaan ditempatkan dua piring - dengan kue dan lobak. Pada kelompok pertama, para peserta diperbolehkan makan kue, dan pada kelompok kedua, hanya lobak. Kemudian setiap peserta diminta untuk memecahkan teka-teki yang mustahil. Peserta yang hanya makan lobak di bagian pertama percobaan menyerah jauh lebih awal daripada yang lain. Dalam percobaan berulang, hasilnya tidak dikonfirmasi.

Dalam beberapa kasus, kapasitas pengendalian diri tidak berkurang, tetapi bahkan meningkat seiring waktu. Banyak psikolog sekarang menganggap konsep "kemauan keras" terlalu sederhana.

Banyak yang telah dilakukan dalam psikologi dunia untuk membuat penelitian lebih andal dan dapat direproduksi. Di Rusia, masalah ini belum dipahami.

“Dalam psikologi Rusia, masalah krisis terutama berkaitan dengan pemuda ilmiah, yang sebagian besar berorientasi pada sains Barat,” Ivan Ivanchey, profesor di RANEPA, mengatakan kepada Knife. - Kontrol atas kualitas publikasi dalam bahasa Rusia umumnya tidak terlalu tinggi. Jurnal jarang menolak artikel, sehingga banyak penelitian berkualitas rendah diterbitkan. Sampel kecil sering digunakan, yang juga mengurangi kemungkinan keberhasilan reproduksi. Ada kecurigaan bahwa, jika seseorang secara serius menangani masalah reproduktifitas karya-karya berbahasa Rusia, banyak masalah yang dapat ditemukan. Tapi tidak ada yang terlibat langsung dalam hal ini."

Pada Januari 2019, diketahui bahwa pemerintah Rusia akan secara signifikan memperluas persyaratan bagi para ilmuwan dalam hal jumlah publikasi: jumlah minimum artikel yang diterbitkan per tahun harus tumbuh 30-50%.

Para ilmuwan dari akademisi berpengaruh "Klub 1 Juli" mengkritik inisiatif tersebut: "Tugas sains bukanlah untuk menghasilkan jumlah publikasi maksimum, tetapi untuk menjelajahi alam semesta dan mengambil manfaat dari pengetahuan yang diperoleh untuk kemanusiaan." Kemungkinan besar, persyaratan baru hanya akan meningkatkan skala masalah.

Kisah tentang krisis reproduktifitas bukanlah kisah tentang kiamat yang akan datang dan invasi orang-orang barbar. Jika krisis tidak terjadi, semuanya akan menjadi jauh lebih buruk: kita masih akan merujuk pada penelitian yang salah dengan keyakinan penuh bahwa kita mengetahui kebenaran. Mungkin waktu berita utama yang berani seperti "ilmuwan Inggris telah membuktikan" akan segera berakhir. Tapi rumor bahwa sains sudah mati harus dianggap agak berlebihan.