Model Hibrida AI Jev dan Opus Hemat Biaya Hingga 4 Kali

Perusahaan teknologi HighTouch mempublikasikan hasil pengujian model kecerdasan buatan (AI) hibrida yang menggabungkan model keputusan Jev dan model bahasa besar (frontier model) Claude 3.5 Opus. Pendekatan hibrida ini terbukti mampu menyelesaikan masalah evaluasi resolusi identitas dengan akurasi tinggi serta memangkas biaya operasional hingga lebih dari empat kali lipat.

Masalah Resolusi Identitas dan Penggabungan Berlebih

Resolusi identitas atau identity resolution (IDR) merupakan proses pemetaan data mentah ke identitas orang di dunia nyata. Proses ini sangat penting bagi perusahaan untuk analisis pelanggan, personalisasi layanan, dan perhitungan nilai seumur hidup konsumen. Kendala paling mendasar dalam sistem ini adalah over-merging atau penggabungan berlebih, yaitu ketika satu identitas sistem secara keliru menampung data dari beberapa orang yang berbeda.

Untuk mendeteksi kesalahan tersebut, penilaian manual oleh manusia membutuhkan waktu lama dan hanya mampu memeriksa sekitar 50 identitas per jam. Selain itu, diperlukan sampel lebih dari 1.000 identitas untuk mendapatkan tingkat estimasi kesalahan di bawah 1 persen. Oleh karena itu, pengujian menggunakan model AI menjadi solusi utama untuk mengevaluasi ratusan ribu identitas secara paralel dalam hitungan detik.

Kinerja Model Keputusan dan Pengujian Tolok Ukur

Dalam riset yang bagikan melalui platform Hacker News, HighTouch membandingkan beberapa model AI, termasuk model keputusan Jev dan GPT-6 Luna, serta model tingkat tinggi seperti Opus. Pengujian dilakukan menggunakan data simulasi penduduk dari alat pseudopeople milik Institute for Health Metrics and Evaluation Universitas Washington. Tim riset membuat 1.000 identitas uji yang mencakup berbagai tipe kesalahan data nyata, seperti kesalahan ketik, tanggal lahir yang berbeda, hingga kasus rumit seperti orang kembar atau nama yang identik.

Hasil pengujian awal menunjukkan bahwa model keputusan seperti Jev dan Luna memiliki keunggulan dari segi kecepatan dan efisiensi biaya. Model-model tersebut mampu memberikan jawaban dalam waktu sekitar 0,15 detik dengan biaya berkisar antara $0,05 hingga $0,10 per 1.000 identitas, atau hingga 90 kali lebih murah daripada model frontier. Meski demikian, akurasi awal model keputusan pada pengujian sulit masih tertinggal sekitar 6 persen dibandingkan Opus.

Kalibrasi Kepercayaan dan Efektivitas Sistem Hibrida

Riset HighTouch menemukan perbedaan krusial pada kalibrasi tingkat kepercayaan (confidence score) antara Jev dan Luna. Jev memiliki kalibrasi kepercayaan yang terukur dengan baik, di mana sebagian besar kesalahannya terjadi saat model memberikan skor kepercayaan rendah. Sebaliknya, Luna cenderung memberikan tingkat kepercayaan tinggi meski membuat penilaian yang keliru.

Perbedaan kalibrasi ini berdampak besar saat kedua model diterapkan dalam skenario hibrida. Dalam sistem hibrida Jev dan Opus, model Jev bertugas melakukan evaluasi awal. Jika Jev mendeteksi kasus sulit dengan skor kepercayaan di bawah ambang batas 60 persen, sistem secara otomatis meneruskan kasus tersebut ke Opus untuk penilaian ulang. Mekanisme dinamis ini memungkinkan sistem mempertahankan akurasi mendekati Opus murni dengan biaya yang jauh lebih hemat, sementara Luna gagal dimaksimalkan dalam skenario hibrida akibat penilaiannya yang tidak akurat saat merasa percaya diri.

HighTouch mengonfirmasi bahwa pengujian lanjutan akan fokus pada penanganan masalah penggabungan kurang (under-merging) serta perbandingan performa model keputusan komersial dengan model berbobot terbuka (open-weight models).