Daftar Isi
Sebuah model kecerdasan buatan sering kali dipahami secara sederhana sebagai sistem yang akan semakin akurat apabila dibiarkan berpikir lebih lama. Namun, anggapan tersebut ternyata tidak sepenuhnya menjelaskan bagaimana proses penalaran bekerja secara keseluruhan.
Penalaran Sebagai Pencarian Jalur
Ketika sebuah model penalaran diberikan pertanyaan matematika yang sama sebanyak sepuluh kali, model tersebut akan menghasilkan sepuluh rantai pemikiran yang berbeda. Penalaran dapat dipandang bukan sebagai satu proses misterius yang menuju ke satu jawaban, melainkan sebagai pencarian jalur dalam ruang token.
Terdapat banyak jalur dari sebuah persoalan menuju ke jawaban yang benar, dan model melintasi salah satu jalur tersebut pada setiap pengambilan sampel. Sebagai ilustrasi pada persoalan penjumlahan angka dari satu sampai sepuluh, satu solusi dapat dilakukan dengan menambahkan angka satu persatu hingga mencapai nilai akhir, sementara cara lain dapat ditempuh dengan memasangkan angka dari luar ke dalam.
Persoalan dimulai dari titik awal berupa prompt, yang disebut sebagai $x$, dengan tujuan menemukan jalur $z$ yang dimulai dari $x$ dan berakhir pada jawaban benar $y$. Untuk menguji apakah sebuah jalur mendarat di tempat yang tepat, diasumsikan terdapat verifikator yang bernilai benar atau salah.
Meningkatkan Probabilitas Keberhasilan
Cara paling sederhana untuk melakukan pencarian jalur adalah dengan meminta model terus mengambil sampel jalur hingga salah satunya mendarat pada jawaban yang benar. Dengan adanya verifikator, metode pengambilan sampel berulang dapat dilakukan untuk mencari keberhasilan.
Selain menjaga model tetap sama, pendekatan lain dilakukan dengan mengubah model itu sendiri guna meningkatkan probabilitas keberhasilan. Pengumpulan berbagai prompt yang jawabannya dapat diperiksa dilakukan dengan mengambil beberapa sampel jalur, mempertahankan jalur yang berhasil, lalu melatih model berdasarkan jalur tersebut secara berulang.
Pelatihan penguatan dengan imbalan terverifikasi, yang digunakan oleh model penalaran modern, bekerja dengan cara serupa. Imbalan biner yang diharapkan persis sama dengan probabilitas keberhasilan, di mana langkah tersebut menjadi bagian dari penyesuaian pengambilan sampel.
Generalisasi dan Pengamatan pada Model Penalaran
Selama pelatihan penguatan, sumber daya komputasi yang besar dihabiskan untuk mencari jalur yang baik, kemudian model dilatih untuk menghasilkan jalur tersebut secara langsung. Proses ini dinamakan amortisasi pencarian, di mana biaya dibayarkan sekali selama pelatihan sehingga tidak perlu dikeluarkan setiap kali model diberi pertanyaan.
Pemahaman mengenai model penalaran sebagai distribusi yang dilatih untuk mendarat pada jawaban yang tepat memperjelas sejumlah fakta unik. Rantai pemikiran tidak dijamin selalu jujur, karena verifikator hanya memeriksa kebenaran jawaban akhir tanpa mengharuskan token perantara menjadi penjelasan yang benar.
Peretasan imbalan juga dapat berasal dari verifikator maupun sampler yang tidak sempurna. Ketika verifikator tidak sempurna, ruang jawaban yang diterima dapat mencakup jawaban salah atau mengecualikan jawaban yang benar, sehingga meningkatkan kemungkinan peretasan imbalan seiring dengan diperluasnya pelatihan.
Penalaran sebenarnya tidak menyelesaikan sebuah tujuan secara mutlak karena sebuah jalur tidak dijamin selalu konvergen menuju jawaban yang benar. Peningkatan probabilitas keberhasilan hanya diperoleh secara agregat atas distribusi jalur, sementara pelatihan penguatan menaikkan probabilitas tersebut melalui alokasi komputasi yang besar untuk mencari jalur sukses dan melatih model untuk mereproduksinya.
Sumber: Hacker News: Front Page
