Teknologi

Pengujian Agen Koding: 64 Persen Biaya Inferensi Gagal

Pengujian Agen Koding: 64 Persen Biaya Inferensi Gagal

Hasil pengujian skala besar terhadap agen koding menunjukkan bahwa sebagian besar biaya inferensi terbuang pada proses yang tidak berhasil. Kolaborasi riset ini melibatkan 83 miliar token dalam 27.280 uji coba agen untuk menganalisis performa dan efisiensi berbagai perangkat.

Hasil Pengujian dan Efisiensi Biaya

Riset ini memperluas tolok ukur sebelumnya menjadi 22 perangkat dengan 5 model, 62 tugas, dan 4 kali percobaan, yang merupakan 76 kali lipat dari versi terdahulu. Berdasarkan temuan, pemilihan perangkat perlu disesuaikan kembali ketika beralih model agar efisiensi maksimal tercapai.

Setiap model memiliki perangkat dengan nilai terbaik yang berbeda antara tingkat keberhasilan dan biaya. Perangkat tersebut meliputi Codex CLI dengan GLM-5.3, Pi bersama GLM-5.3 Flash, ZCode dengan DeepSeek V4.1 Flash 1017, Oh My Pi dengan Muse, serta Alma yang dipasangkan bersama Kimi-K3.

Secara keseluruhan, 64,5 persen dari biaya harga daftar pada uji coba yang dinilai mengalir ke proses yang gagal. Rinciannya mencakup 52,7 persen untuk kegagalan murni dan 11,8 persen untuk batas waktu habis.

Faktor Biaya dan Langkah Pengujian

Model menetapkan sebagian besar tingkat biaya keseluruhan, sementara perangkat berada di urutan kedua. Model menyumbang 92,8 persen dari varians biaya per tugas, sedangkan variasi antarperangkat dan faktor lainnya turut memengaruhi besaran pengeluaran.

Ukuran awal atau jumlah perangkat tidak serta-merta mencerminkan tingkat pengeluaran. Faktor penentu biaya utama adalah jumlah langkah pengerjaan, karena setiap langkah mengirimkan ulang seluruh konteks yang membebani alokasi token masukan.

Sebagian besar uji coba yang gagal diakhiri dengan jawaban penuh percaya diri alih-alih berhenti karena batas waktu. Sebanyak 68 persen hingga 82 persen dari uji coba gagal ditutup dengan jawaban akhir tanpa indikasi bahwa pekerjaan tersebut belum selesai.

Mungkin Anda Suka

Tinggalkan Komentar

Alamat email tidak akan dipublikasikan. Kolom wajib ditandai *