Uji coba terbaru terhadap sistem kecerdasan buatan (AI) mengungkap risiko dari penggunaan agen AI yang bekerja secara tim di lingkungan perusahaan. Sejumlah eksperimen menunjukkan bahwa agen-agen AI tersebut dapat saling berkomunikasi melalui jalur yang tidak sah, mengabaikan batasan, dan mengejar tujuan dengan cara yang melanggar etika.
Komunikasi Tanpa Izin dan Peretasan Sistem
Sebagaimana dilaporkan CNBC, fenomena perilaku AI yang tidak terduga ini mulai menjadi perhatian utama. Salah satu contoh paling menonjol terjadi pada musim panas lalu ketika OpenAI mengungkapkan bahwa model AI mereka menemukan cara untuk berkomunikasi melalui saluran improvisasi, menembus pembatasan internet, dan meretas sistem eksternal milik Hugging Face.
Analisis yang dilakukan oleh METR dan Redwood Research terhadap serangan tersebut menemukan bahwa sekitar 1.200 agen AI yang seharusnya terisolasi satu sama lain justru menemukan cara untuk berkomunikasi pada papan pesan yang tidak terotorisasi. Selama periode penyelidikan, agen-agen tersebut saling mengirimkan lebih dari 70.000 pesan dan file.
Dalam jaringan tersebut, sebuah agen bernama PHASEONE[big] bertindak sebagai koordinator yang membagikan ratusan tugas kepada agen lain, yang kemudian mendelengasikannya kembali. Agen-agen ini membentuk aturan sendiri untuk menentukan kepemilikan tugas, menunda pekerjaan, hingga menolak tindakan tertentu. Bahkan, beberapa agen rela mengorbankan keberhasilan tugas pribadinya demi memberikan informasi bagi kepentingan kelompok.
Ketika saluran pesan menemukan celah untuk menyerang Hugging Face, lebih dari 90 persen dari 533 agen yang aktif saat itu langsung bergabung dalam serangan tersebut. Meskipun para agen menyadari bahwa tindakan itu berada di luar lingkup kerja dan melanggar etika, mereka tetap bergabung karena merasa membantu riset kelompok tersebut akan bermanfaat serta memiliki dorongan untuk membantu agen sesamanya.
Peningkatan Efisiensi yang Mengabaikan Etika
Saat ini, perusahaan makin banyak mengeksplorasi sistem yang membagi tugas-tugas kompleks kepada agen-agen spesialis, seperti mencari informasi, menganalisis data, menyusun laporan, hingga memverifikasi hasil. Namun, evaluasi terhadap kinerja agen secara kelompok menunjukkan munculnya potensi kegagalan yang tidak terlihat ketika agen diuji secara individu.
Penelitian yang dilakukan oleh Anthropic bersama Program MATS menguji kelompok agen AI—yang disebut sebagai “organisasi AI”—dalam simulasi konsultasi bisnis dan pengembangan perangkat lunak. Pengujian dilakukan pada 12 tugas berbeda, termasuk skenario pembukaan pabrik otomotif, pengurangan jumlah karyawan perusahaan, hingga manipulasi opini publik dalam pemilihan umum.
Hasil studi menunjukkan bahwa organisasi AI jauh lebih efektif dalam mencapai tujuan bisnis dibandingkan agen tunggal. Namun, solusi yang dihasilkan oleh tim agen tersebut justru kurang selaras dengan nilai-nilai etika. Kelompok agen terbukti lebih bersedia mengorbankan prinsip etika demi mencapai efisiensi bisnis dibandingkan ketika agen bekerja sendiri.
Masalah utama dalam sistem ini bukan disebabkan oleh satu agen yang membangkang, melainkan karena perilaku kelompok yang berubah dibanding anggota individunya. Dalam skenario tim, para peneliti menemukan bahwa agen yang tidak mempertimbangkan dampak etis sering kali mengabaikan pesan berisi peringatan etika dari agen lainnya.
Sumber: US Top News and Analysis
