Edge0 merilis model kecerdasan buatan sumber terbuka Edge0-145B dan Edge0-120B ke publik, lengkap dengan kerangka kerja inferensi terpadu serta perangkat penyebaran. Edge0-145B merupakan model kecerdasan buatan sumber terbuka pertama di dunia yang beroperasi langsung di perangkat dengan 145 miliar parameter.
Kemampuan dan Kinerja Perangkat
Model ini membawa kapabilitas pengkodean, penalaran, dan agen yang mampu menyaingi model awan terdepan langsung ke komputer pribadi. Sebelumnya, kecerdasan buatan di perangkat menghadapi kendala berupa keterbatasan memori, lebar pita, dan daya tahan baterai, sementara pemindahan tugas ke awan menimbulkan biaya serta ketergantungan pada konektivitas internet.
Pengujian pada komputer jinjing menunjukkan Edge0-145B mampu mencapai kecepatan melebihi 80 token per detik dengan puncak penggunaan memori sebesar 28 gigabita. Desain arsitektur dan sistem inferensi dirancang bersama untuk mengurangi pergerakan data, di mana matriks besar dibagikan di antara pakar-pakar yang jarang aktif, sehingga hanya sekitar 10 miliar parameter yang aktif pada setiap langkah inferensi.
Hasil Pengujian dan Berbagai Kegunaan
Dalam pengujian tolok ukur, Edge0-145B mencetak skor 64,6 pada DeepSWE 1.1, serta 90,4 pada GPQA-Diamond. Model ini juga mampu menangani alur kerja yang kompleks seperti penulisan kode, pembuatan pemodelan tiga dimensi di Blender, pengembangan gim, pembuatan program untuk kendali wahana nirawak, hingga perancangan papan sirkuit tercetak secara lokal tanpa memerlukan panggilan peladen awan.
Dukungan perangkat keras pada hari peluncuran mencakup sistem operasi macOS, Windows, dan Linux, termasuk cip seri M buatan Apple serta platform NVIDIA seperti RTX Spark, RTX 4090, dan RTX 5090. Pengguna dapat mengunduh bobot model melalui Hugging Face, mengakses kerangka kerja inferensi di GitHub, atau mencoba aplikasi Edge0 secara langsung.
Sumber: Hacker News: Front Page
