Berbagai studi selama bertahun-tahun telah meneliti cara masyarakat menjumpai informasi sains iklim. Fokus penelitian kerap beralih dari hasil pencarian Google, konten media sosial, hingga pemberitaan surat kabar dan televisi, seiring model bahasa besar atau LLM yang kini menjadi bagian dari konsumsi informasi publik.
Pengujian Lintas Model dan Pertanyaan Kompleks
Para periset menghadapi kendala karena informasi yang disajikan kepada pengguna bersifat sementara dan terbatas pada sesi obrolan pribadi mereka. Sebuah studi yang dipimpin oleh para peneliti dari University College London bersama Organisasi Pendidikan, Ilmu Pengetahuan, dan Kebudayaan Perserikatan Bangsa-Bangsa (UNESCO) mencoba mengatasi persoalan tersebut melalui pengujian LLM menggunakan berbagai instruksi serta evaluasi keluaran.
Penelitian ini melibatkan 33 model, termasuk berbagai versi dari model frontier utama maupun model dengan bobot terbuka. Model frontier unggulan yang digunakan mencakup Claude Fable 5, Claude Opus 5, Gemini 3.1 Pro Preview, Gemini 3.6 Flash, serta GPT-5.6 Sol.
Tingkat Akurasi Berdasarkan Kategori Pertanyaan
Seluruh model dinilai berdasarkan ketepatan jawaban atas 600 pertanyaan dari sejumlah perangkat tolok ukur. Kategori tersebut meliputi pertanyaan buku teks pilihan ganda, pemahaman bacaan dari kutipan teks makalah ilmiah, serta pertanyaan mengenai tingkat keyakinan ilmuwan iklim terhadap berbagai kesimpulan laporan IPCC.
Pertanyaan mengenai laporan IPCC menjadi yang paling sulit dijawab, di mana model-model unggulan mencetak tingkat keakuratan sekitar 78 persen dan model dengan bobot terbuka berukuran kecil hanya mencapai sekitar 47 persen. Sementara itu, untuk tolok ukur lainnya, model frontier dan model berbobot terbuka besar umumnya memperoleh skor sekitar 90 persen, sedangkan model berbobot terbuka berukuran kecil berada di kisaran 70 persen.
Sumber: Ars Technica








