Sebuah tolok ukur teks pilihan ganda baru untuk model bahasa besar (LLM) bernama Simple Bench menunjukkan bahwa individu dengan pengetahuan tingkat sekolah menengah mampu mengungguli model-model tercanggih saat ini. Tolok ukur ini mencakup lebih dari 200 pertanyaan yang menguji penalaran spasio-temporal, kecerdasan sosial, serta ketahanan adversarial linguistik atau pertanyaan jebakan.
Hasil Pengujian Model
Berdasarkan data dari Simple Bench, tingkat keberhasilan dasar manusia non-spesialis mencapai 83,7 persen dari sampel kecil yang melibatkan sembilan peserta. Angka tersebut melampaui setiap LLM yang telah diuji, termasuk model papan atas saat ini, Claude Fable, yang hanya memperoleh skor 81,9 persen. Tolok ukur ini mengungkapkan bahwa pengetahuan yang dihafal serta pengambilan penalaran perkiraan yang digunakan oleh LLM terdepan belum selalu mencukupi untuk menjawab pertanyaan-pertanyaan mendasar dengan tepat.
Meskipun kinerja model diprediksi akan terus mengalami peningkatan dari waktu ke waktu, temuan dari pengujian ini mengonfirmasi batasan kemampuan sistem kecerdasan buatan saat ini. Informasi lebih mendalam mengenai hasil dan metode pengujian dapat diakses melalui laporan teknis lengkap, sementara seluruh model yang diuji dapat dicoba langsung melalui aplikasi Simple Bench di LMcouncil.ai.
Sumber: Hacker News: Front Page








