Daftar Isi
Sebuah proyek pemetaan literatur ilmiah yang melibatkan lebih dari 158.000 makalah dan lebih dari 550.000 sitasi memanfaatkan kecerdasan buatan untuk menguji apakah dunia sains dapat mengoreksi dirinya sendiri. Pemutakhiran ini mencakup penapisan teks lengkap, pemeriksaan ulang ratusan makalah penting, serta penelusuran setiap kesalahan yang terverifikasi ke dalam makalah-makalah yang mengutipnya.
Keterbatasan Peninjauan Manusia dan Peran AI
Dalam pengalaman lima tahun menempuh pendidikan doktoral di Caltech, sebagian waktu dihabiskan untuk menangani kesalahan dalam literatur yang sebenarnya sudah diketahui. Persamaan-persamaan yang mendasari kode pemrograman berasal dari makalah tahun 1997 karya Bishop, Gómez, Lehner, Maharaj, dan Winicour berjudul “High-powered gravitational news”, yang menjadi acuan kode-kode utama dalam subbidang tersebut. Meskipun orang-orang mengetahui adanya kesalahan, perbaikan tersebut hanya tersebar melalui ribuan utas email yang saling bertentangan dan makalah aslinya tidak pernah dikoreksi.
Hal tersebut menunjukkan batasan dari peninjauan literatur oleh manusia. Mahasiswa yang mendasarkan penelitian pada makalah yang bermasalah harus menanggung beban yang sama secara berulang, sementara koreksi hanya tersimpan di dalam kotak masuk email seseorang. Sebuah mesin memiliki kemampuan untuk membaca seluruh bidang, melakukan penghitungan ulang, dan melacak setiap kesalahan hingga ke setiap makalah yang menyalinnya. Melalui pengujian menggunakan kecerdasan buatan, ditemukan pula kesalahan pada makalah-makalah pribadi peneliti tersebut.
Peta Makalah dan Perkembangan Subbidang
Peta visual yang dihasilkan menampilkan titik-titik yang mewakili makalah, dengan tinggi grafik menunjukkan waktu dari era 1960-an hingga saat ini, serta garis-garis redup yang merepresentasikan sitasi. Titik-titik terang merupakan makalah-makalah acuan utama dalam bidang tersebut. Titik awal pemetaan berasal dari TAPIR, kelompok astrofisika teoretis di Caltech, yang mencakup 4.093 makalah oleh 326 anggotanya sejak tahun 2004. Dengan menambahkan seluruh makalah yang mereka sita dan yang menyitai mereka, terkumpul sebanyak 158.000 makalah lebih dengan lebih dari 550.000 sitasi, di mana sebanyak 49.301 makalah yang terhubung dengan TAPIR setidaknya tiga kali digambarkan dalam peta.
Peta tersebut berisi 499 makalah dari dekade 1970-an, 2.035 makalah dari dekade 1990-an, serta hampir 19.000 makalah dari dekade 2010-an. Sebagian besar pengetahuan dalam bidang ini ditulis dalam dua dekade terakhir. Makalah-makalah yang saling bersitasi saling menarik, membentuk kolom-kolom subbidang yang berjumlah 32 kolom, mulai dari pancaran radio cepat hingga halo Bima Sakti. Salah satu kolom tersebut adalah relativitas numerik, yang mencakup penyelesaian persamaan Einstein menggunakan komputer hingga penggabungan dua lubang hitam, dengan 278 makalah di mana 71 di antaranya berasal dari TAPIR.
Penapisan Teks dan Pemeriksaan Kritis
Proses penapisan teks lengkap dilakukan pada lebih dari 50.000 makalah mencakup 421 juta kata untuk mendeteksi berbagai masalah. Hasil penapisan menunjukkan tidak ditemukan bahasa pabrik makalah atau residu chatbot, sementara terdapat 43 pasangan teks yang dibagikan antar makalah tanpa penulis yang sama, serta 13 pencabutan di antara makalah ber-DOI, di mana tidak ada satu pun yang berasal dari TAPIR. Astrofisika dinilai relatif bersih dari unsur kecurangan, meskipun kosakata tertentu seperti “delve” dan “crucial” menjadi jauh lebih sering digunakan pada tahun 2025 dibandingkan tahun 2016.
Selanjutnya, 200 makalah TAPIR yang paling banyak disitasi dari periode 2006 hingga 2019 diuji secara mendalam baris demi baris menggunakan peninjau AI dengan sumber LaTeX untuk menghitung ulang seluruh persamaan dan menguji batasannya. Dari 136 makalah yang direvisi antara draf prapublikasi dan penerbitan jurnal, terdapat 13 kesalahan terverifikasi yang ada pada draf namun hilang pada versi jurnal setelah diperbaiki oleh penelaah atau penulis. Sebanyak 56 kesalahan tetap lolos ke dalam jurnal, yang mengindikasikan bahwa penelaahan sejawat menyaring sekitar satu dari lima kesalahan, sementara beberapa kesalahan telat disalin oleh makalah-makalah berikutnya.
Penyebaran dan Ketahanan Kesalahan dalam Literatur
Pengujian yang diperluas ke 459 makalah lain yang banyak disitasi menegaskan 816 kesalahan tambahan, sehingga total terdapat 872 kesalahan dalam 433 makalah, dengan 159 di antaranya disalin ke makalah lain. Sebanyak 367 makalah menyalin kesalahan, sementara hanya 68 makalah yang mengkritiknya. Hanya sebagian kecil dari 872 kesalahan tersebut yang pernah dikritik secara cetak, dan sebagian di antaranya tetap disalin setelahnya. Berdasarkan ekstrapolasi, perkiraan jumlah kesalahan tersembunyi pada makalah dalam bidang ini yang disitasi seratus kali atau lebih mencapai sekitar 34.000 kesalahan.
Efektivitas penelaahan sejawat dan penerbitan dalam membasmi kesalahan dapat diukur dari kurva waktu. Proporsi kesalahan salin yang masih disalin pada tahun ketujuh berada di angka 52 persen, melewati angka setengah pada tahun kedelapan, dan mencapai 39 persen pada tahun kesepuluh. Sebagian besar kesalahan tidak dihentikan melalui perbaikan database atau kritik, melainkan memudar seiring subbidang tersebut bergerak maju.
Seluruh proses komputasi yang mendalam ini membutuhkan biaya waktu model sekitar 2.720 dolar Amerika Serikat atau sekitar 3 dolar Amerika Serikat per kesalahan terverifikasi, yang berjalan dalam langganan Claude Max dengan total sekitar 4,9 miliar token dan waktu pengerjaan 44 jam selama 41 hari. Pemeriksaan mendalam baru menjangkau empat persen dari makalah yang paling banyak disitasi, dan pengujian acak oleh sesi AI ketiga menunjukkan sebagian besar temuan kesalahan terbukti tidak tepat sehingga memerlukan konfirmasi lebih lanjut jika ada pihak yang merasa makalahnya keliru ditandai.
Sumber: Hacker News: Front Page








