Model generasi kedua terbaru bernama Inkling 2 Small resmi diperkenalkan kepada publik. Model berbasis Mixture-of-Experts ini memiliki total 594 miliar parameter dengan 17 miliar parameter aktif, serta mendukung masukan gambar dan upaya variabel.
Kemampuan dan Pelatihan Model
Inkling 2 Small melampaui skor model-model sebelumnya pada Indeks Kecerdasan Analisis Buatan dengan perolehan 31. Peningkatan kemampuan ini bersumber dari penyempurnaan pada setiap tahap proses pelatihan, termasuk pra-pelatihan yang lebih efisien serta penguatan pembelajaran penguatan berskala besar yang terpadu.
Pelatihan awal tahap pertama atau H1 mencakup 8,4 triliun token dari campuran data bahasa alami, kode, dan gambar yang luas. Proses ini berjalan selama 68 jam pada rak NVIDIA GB300 NVL72 yang memungkinkan paralelisme pakar tingkat tinggi menggunakan format floating-point 4-bit NVFP4.
Ketersediaan dan Keamanan
Inkling 2 Small awalnya tersedia melalui Tinker dengan bobot tertutup. Pihak pengembang berencana merilis bobot penuh di bawah lisensi Apache 2.0 setelah pengujian keselamatan eksternal dan red-teaming selesai.
Model tersebut kini sudah dapat dicoba pada Tinker Playground untuk penyetelan halus dan pengambilan sampel, sementara titik pemeriksaan dapat diunduh seiring dengan peluncuran bobot Inkling 2 Small.
Sumber: Hacker News: Front Page
