Daftar Isi
Laboratorium kecerdasan buatan Ricursive Intelligence resmi merilis Ripple-65B Preview, sebuah model bahasa yang dirancang untuk tugas pengodean (coding) berbasis agen. Model ini mencatatkan rekor sebagai model open-weight dengan performa terbaik di Amerika Serikat dalam kategori kemampuan coding agen.
Performa dan Efisiensi Model
Ripple-65B Preview dilatih dari awal menggunakan 12 triliun token dan mendukung panjang konteks hingga 1 juta token. Dalam pengujian TerminalBench 2.1, model ini meraih skor 80,52, melampaui model open-weight Amerika Serikat lainnya yang berukuran jauh lebih besar, seperti Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8), dan NVIDIA Nemotron 3 Ultra 550B (56,4).
Ricursive menyatakan bahwa arsitektur model yang padat (dense) memungkinkan penalaran yang kuat dengan latensi rendah. Ukuran parameternya yang relatif kecil memungkinkan model ini berjalan secara efisien pada perangkat lokal seperti NVIDIA DGX Spark, yang memiliki daya komputasi tinggi namun dengan bandwidth memori terbatas dibandingkan akselerator pusat data.
Biaya Pengembangan yang Kompetitif
Pengembangan Ripple-65B Preview menelan biaya sebesar 32 juta dolar AS. Angka ini diklaim sebagai sepersepuluh dari biaya pengembangan model open-weight sebelumnya yang memiliki performa serupa. Biaya tersebut mencakup seluruh riset dan pengembangan, mulai dari pengembangan tangga pelatihan (pretraining ladder), pengolahan data, evaluasi, hingga pembuatan data sintetis.
Ricursive memilih untuk tidak membeli data pascapelatihan, melainkan mengembangkan jalur data sintetis sendiri dengan metrik kualitas yang ketat. Melalui pendekatan ini, mereka mencapai skor TerminalBench 2.1 dengan hanya 1,4 juta rollouts, atau sekitar 70 kali lebih sedikit dibandingkan Reflection Beam.
Desain Arsitektur dan Infrastruktur
Untuk menjaga efisiensi, Ricursive memilih menggunakan arsitektur Transformer padat yang dimodernisasi, alih-alih menggunakan Mixture-of-Experts (MoE). Keputusan ini memungkinkan mereka mempertahankan efisiensi penggunaan perangkat keras (MFU) sebesar 40 persen sepanjang proses pelatihan. Model ini memiliki rasio aspek yang tipis dan dalam, dengan d_model 5120 dan 80 lapisan.
Proses penyempurnaan resep pelatihan dilakukan melalui serangkaian eksperimen tangga model. Ricursive menguji berbagai intervensi, mulai dari penerapan hukum penskalaan ukuran batch StepFun hingga penambahan fitur seperti aktivasi FFN clipping, gated attention, dan residual nilai. Hasilnya, tangga model akhir mereka mampu mencapai performa coding yang setara dengan model lain namun dengan kebutuhan komputasi 16 kali lebih rendah pada skala 4 miliar parameter.
Saat ini, Ripple-65B Preview sudah tersedia melalui berbagai platform, termasuk Hugging Face, Together AI, GMI Cloud, dan OpenRouter. Model ini merupakan varian umum dari teknologi yang digunakan Ricursive untuk mendukung platform desain chip AI internal mereka.
Sumber: Hacker News: Front Page
