Daftar Isi
Pakar teknologi memaparkan perkembangan rekayasa konteks (*context engineering*) dalam sebuah acara konferensi AGNTCon bertajuk “Context Fails & Fixes”. Diskusi tersebut menyoroti bagaimana kemampuan model kecerdasan buatan (AI) yang terus berkembang secara tidak sengaja memunculkan tantangan baru bagi para pengguna dan pengembang *harness*.
Evolusi Konteks Besar dan Empat Mode Kegagalan
Pada akhir tahun 2024, industri sempat dihebohkan dengan anggapan bahwa metode RAG (*Retrieval-Augmented Generation*) sudah tidak relevan seiring kemunculan jendela konteks berukuran jutaan token yang dipelopori oleh Gemini 1.5. Harapannya, seluruh informasi di internet dapat dimasukkan sekaligus ke dalam model tanpa perlu seleksi ketat. Namun, penambahan kapasitas konteks tersebut justru memicu empat mode kegagalan utama.
Mode kegagalan pertama adalah keracunan konteks (*context poisoning*), di mana informasi keliru atau halusinasi masuk ke dalam sistem dan membuat model terjebak. Sebagai contoh, dalam laporan teknis Gemini 2.5, model tersebut berulang kali gagal menyelesaikan permainan Pokémon karena terpengaruh oleh fakta versi permainan lain yang tersimpan di dalam bobot modelnya. Mode kedua adalah distraksi konteks (*context distraction*), di mana model mulai mengabaikan instruksi utama akibat terlalu banyaknya contoh atau riwayat percakapan yang bertentangan, seperti yang dibahas dalam riset oleh Carolina Camassa dan Derek Shiller.
Dua mode kegagalan lainnya meliputi kebingungan konteks (*context confusion*), di mana fakta asing memengaruhi asumsi model terhadap pengguna, serta benturan konteks (*context clash*) akibat konflik antar alat (*tools*) dan keterampilan di dalam sistem *harness*.
Kotak Alat dan Solusi dalam Harness
Untuk mengatasi berbagai masalah tersebut, pengembang mengandalkan enam perangkat utama yang kini diintegrasikan ke dalam sistem *harness*. Perangkat tersebut mencakup augmentasi konteks (seperti RAG), pemilihan muatan alat (*tool loadout*), karantina konteks melalui subagen, pemangkasan konteks (*context pruning*), pengalihan muatan konteks (*context offloading*), dan peringkasan konteks atau kompaksi.
Melalui kerangka kerja seperti DSPy, pengembang dapat menyusun alur kerja agen dengan bahasa yang ringkas dan efektif. Misalnya, fungsi pemilihan muatan alat dapat memilah keterampilan mana saja yang benar-benar dibutuhkan oleh model kecil sebelum tugas dijalankan. Sementara itu, teknik karantina dan pemangkasan riwayat membantu menjaga agar agen tetap bekerja secara efisien tanpa beban data yang tidak relevan.
Pergeseran Istilah dan Tantangan Baru di Masa Depan
Istilah dalam pengembangan sistem ini terus bergeser seiring waktu, mulai dari rekayasa *prompt* pada tahun 2023, rekayasa konteks yang lebih otomatis pada 2025, hingga rekayasa *harness* ketika sebagian besar alat dipindahkan ke dalam kode pemrograman. Fokus saat ini telah beralih pada upaya melatih model agen agar mampu mengelola konteksnya sendiri dalam rentang waktu tugas yang panjang.
Kendati demikian, pendekatan agen jangka panjang ini melahirkan dua masalah baru. Pertama adalah perlawanan terhadap bobot model (*fighting the weights*), di mana model mengalami overfiting terhadap lingkungan pelatihan asalnya sehingga mengabaikan instruksi baru. Kedua adalah kelembaman konteks (*context inertia*), kondisi ketika model terlalu terfokus pada suatu hipotesis atau sub-tugas tertentu dan terus menerus mengulanginya tanpa kemajuan.
Sejumlah riset terbaru dari Anthropic, Microsoft Research, hingga Universitas California, Berkeley, menunjukkan bahwa solusi untuk mengatasi kelembaman tersebut adalah dengan melakukan “penghapusan berkala” atau mengosongkan riwayat konteks secara berkala sambil tetap mempertahankan artefak lingkungan kerja yang telah dihasilkan. Ke depan, tantangan berikutnya diperkirakan berkaitan dengan manajemen memori agen personal dan kebutuhan akan strategi melupakan secara strategis agar sistem tidak menjadi kacau akibat penumpukan instruksi yang saling bertentangan.
Sumber: Hacker News: Front Page
