Daftar Isi
Pengembang kecerdasan buatan Thinking Machines resmi meluncurkan Inkling 2 Mini, sebuah model AI berbasis open-weights yang dirancang khusus agar dapat dijalankan secara efisien pada perangkat keras lokal seperti laptop konsumen. Model ini mengusung inovasi arsitektur looped transformer yang memungkinkan proses penalaran mendalam dengan kebutuhan parameter yang lebih ringkas.
Arsitektur Looped Transformer dan Performa Tinggi
Inkling 2 Mini dikembangkan dengan struktur Mixture-of-Experts (MoE) yang memiliki total 26,4 miliar parameter, dengan 3,4 miliar parameter aktif dan 5,4 miliar aktivasi bobot per token. Model ini terdiri atas 24 layer yang terbagi dalam empat blok. Berbeda dari model konvensional, dua blok bagian tengah pada Inkling 2 Mini dijalankan sebanyak tiga kali pengulangan (looping) untuk setiap token.
Pendekatan pengulangan pada layer tengah tersebut didasari oleh pemahaman bahwa pemrosesan penalaran abstrak utama terjadi di bagian tersebut. Untuk mendukung pertukaran informasi antar-pengulangan, Inkling 2 Mini mengintegrasikan mekanisme attention residuals. Melalui arsitektur ini, Inkling 2 Mini mampu mencatatkan skor 48,2 persen pada tolok ukur DeepSWE v1.1 dan 46,5 persen pada Vals Index v2.2, memimpin di kategori model open-weights berparameter di bawah 100 miliar.
Berdasarkan pengujian efisiensi daya yang dilakukan oleh Hazy Research Lab dan Scaling Intelligence Lab dari Universitas Stanford, Inkling 2 Mini mengantongi skor 0,703 intelligence per joule saat dijalankan di NVIDIA DGX Spark. Angka ini secara signifikan melampaui efisiensi model lain di kelasnya, seperti Qwen3.6-35B-A3B yang meraih skor 0,430 dan Gemma-4-26B-A4B dengan skor 0,159.
Efisiensi Pengoperasian Lokal dan Pemangkasan Pakar
Sebagian besar bobot Inkling 2 Mini dilatih dan diluncurkan secara asli dalam format presisi NVFP4 pada 20 layer pertama, sementara empat layer terakhir menggunakan presisi MXFP8. Langkah ini meminimalkan penurunan performa akibat konversi kuantisasi dan membuat kebutuhan memori total model hanya sekitar 20 GB.
Guna menekan ukuran model tanpa mengorbankan kemampuan dasarnya, pengembang melakukan pemangkasan (pruning) dua pertiga pakar pada pertengahan masa pelatihan, memangkas 384 pakar awal menjadi 128 pakar paling aktif per layer. Setelah pemangkasan, Inkling 2 Mini menjalani proses pemulihan (healing) menggunakan penyulingan data 1 triliun token dari model Inkling yang lebih besar, dilanjutkan dengan pelatihan Reinforcement Learning (RL) sebesar 2,2 triliun token.
Dengan ukuran yang hemat memori, Inkling 2 Mini dapat dioperasikan secara luring di perangkat portabel seperti MacBook Pro dengan RAM 32 GB. Dalam pengujian praktis, model ini bahkan mampu membangun simulator penerbangan yang dapat dimainkan hanya dalam hitungan menit tanpa koneksi internet.
Riset Keterpantauan Penalaran dan Keamanan Agentic
Penerapan arsitektur looped transformer sempat memicu kekhawatiran terkait keterpantauan (monitorability) alur penalaran (Chain of Thought/CoT), karena pemrosesan internal yang lebih banyak dapat mengurangi teks penalaran tertulis. Untuk memfasilitasi riset komunitas mengenai dampak pengulangan ini, Thinking Machines juga merilis varian eksperimental bernama TML-d24-varloop-research yang mendukung pengulangan variabel hingga 10 kali.
Hasil riset menunjukkan bahwa pengulangan layer meningkatkan kemampuan penalaran langsung tanpa CoT pada pengujian Think Fast dari 16 detik pada satu putaran menjadi 37 detik pada tiga putaran. Pada pengujian GPQA Diamond, teks CoT yang dihasilkan pada lima putaran menjadi lebih singkat hingga kurang dari separuh panjang teks pada satu putaran (rata-rata 1.661 token banding 3.703 token), namun tetap mempertahankan keterbacaan yang tinggi tanpa kehilangan struktur bahasa.
Sementara itu pada evaluasi keamanan berbasis LinuxArena untuk menguji potensi sabotase agentic, peningkatan jumlah pengulangan tidak menunjukkan tren negatif terhadap keterpantauan sistem oleh model pengawas eksternal.
Saat ini bobot penuh Inkling 2 Mini serta varian risetnya sudah tersedia secara terbuka di platform Hugging Face, serta dapat diakses untuk inferensi maupun kustomisasi melalui Tinker, Ollama, vLLM, llama.cpp, dan Unsloth.
Sumber: Hacker News: Front Page








