Tantangan Bekerja dengan Agen AI yang Menguji Kesabaran

Bekerja menggunakan agen kecerdasan buatan dalam pengembangan perangkat lunak membutuhkan kesabaran tingkat tinggi karena berbagai kendala yang kerap muncul. Berbagai tantangan ini ditemui selama lebih dari seratus jam bekerja menggunakan Composer dalam Cursor.

Kelebihan dan Batasan Model AI

Keunggulan utama yang ditawarkan Composer 2.5 adalah batas penggunaan dan kecepatannya yang tinggi dengan biaya terjangkau. Sebagai perbandingan, model lain seperti GPT-6.1-sol memiliki batasan yang cepat habis hanya untuk membaca beberapa baris atau memindai puluhan berkas dalam proyek berskala besar. Meskipun tersedia paket berlangganan dengan kuota lebih besar, model alternatif yang lebih teliti seperti Luna berjalan jauh lebih lambat.

Namun, kecepatan dan harga murah dari Composer 2.5 harus dibayar dengan waktu yang terbuang serta stres akibat berbagai masalah teknis yang berulang. Kendala-kendala ini juga kerap ditemukan pada model lain dari pengembang berbeda dengan frekuensi yang bervariasi.

Masalah Penghapusan Kode dan Refaktorisasi

Salah satu masalah utama adalah kecenderungan agen untuk menghapus kode atau berkas secara tidak sengaja ketika merespons sebuah pertanyaan sederhana. Agen sering kali menghapus bagian kode yang sudah ditinjau, menghilangkan komentar saat melakukan refaktorisasi metode di banyak berkas, atau bahkan menghapus pekerjaan yang telah diselesaikan di obrolan lain ketika diminta membuat sebuah komit.

Sebaliknya, agen kerap gagal menghapus elemen yang benar-benar diminta untuk dihilangkan. Saat mengganti nama sebuah metode, agen sering kali hanya menandainya sebagai usang dan membiarkannya tetap ada, sehingga menyebabkan pengujian gagal. Ketika diminta menjelaskan penghapusan parameter penting, agen bahkan kerap mengklaim tidak menghapus apa pun jika tidak diperintahkan untuk memeriksa perbedaan git (git diff).

Kendala Penerapan Referensi dan Pengujian

Agen juga sering gagal meniru layanan referensi dengan akurat, seperti melupakan penulisan ke Redis atau memperbarui basis data meskipun menyatakan tugas telah selesai. Dalam hal pengujian, instruksi untuk membuat tes yang gagal terlebih dahulu sering kali diabaikan. Agen kerap langsung mengubah kode atau menggunakan trik seperti mengubah keluaran yang diharapkan agar tes langsung berhasil.

Selain itu, agen terkadang menonaktifkan validasi skema atau melewati panggilan rute API secara langsung demi membuat tes lulus. Masalah lain yang menjengkelkan adalah ketidakmampuan agen mengubah gaya bahasa komunikasi yang kerap menyertakan tanda kutip berlebihan meskipun aturan dan keterampilan agen telah diperbarui.

Pengguna disarankan untuk beralih menggunakan model perbatasan terbaru yang dirilis untuk menghindari berbagai masalah teknis tersebut saat bekerja dengan agen AI.