Ilmuwan saraf Arkarup Banerjee bersama fisikawan sekaligus jurnalis sains Aatish Bhatia merilis penjelasan visual interaktif mengenai cara kerja sistem kecerdasan melalui proyek Myriad. Kolaborasi ini mendemonstrasikan bagaimana agen digital sederhana dapat belajar bernavigasi menggunakan prinsip pembelajaran penguatan atau reinforcement learning.
Mekanisme Sirkuit dan Pola Gerak
Pergerakan partikel dalam proyek tersebut terinspirasi dari karya ilmuwan saraf Valentino Braitenberg. Sistem kendali diwujudkan melalui sirkuit saraf buatan yang mengatur kecepatan gerak elemen kiri dan kanan berdasarkan intensitas cahaya yang diterima sepasang sensor visualnya.
Kekuatan sinyal ditentukan oleh sambungan langsung maupun sambungan silang antara sensor dan penggerak, ditambah dorongan awal yang mempertahankan laju saat tidak terdapat cahaya. Sirkuit ini menggunakan fungsi aktivasi ReLU, di mana laju maju merupakan rata-rata kecepatan kedua sisi penggerak dan arah belokan ditentukan oleh selisih kecepatan keduanya.
Penerapan Algoritma Pembelajaran
Sistem ini mengandalkan tiga parameter utama untuk dipelajari, yaitu kekuatan sambungan lurus, kekuatan sambungan silang, dan nilai dorongan dasar. Pembelajaran nilai-nilai tersebut menggunakan variasi dari algoritma REINFORCE yang diperkenalkan Ronald Williams pada 1992.
Dalam setiap sesi percobaan, parameter disesuaikan dengan sedikit variasi acak saat entitas melaju sepanjang 500 langkah waktu dari pinggir arena. Imbalan atau reward diukur dari tingkat kecerahan rata-rata di sepanjang lintasan, kemudian dibandingkan dengan riwayat rata-rata capaian sebelumnya untuk menentukan arah pembaruan parameter selama ribuan kali pengulangan.
Berbeda dari metode asli Williams yang menerapkan keacakan pada keluaran neuron, proyek ini menyuntikkan keacakan pada bobot dan bias sirkuit saraf. Pendekatan serupa yang dikenal sebagai evolution strategies pernah digunakan oleh OpenAI pada 2017 untuk melatih model kecerdasan buatan memainkan berbagai gim konsol Atari.
Sumber: Hacker News: Front Page
