Unsloth meluncurkan pembaruan kuantisasi Dynamic V3.1 untuk model Qwen3.8-27B yang mendongkrak akurasi rata-rata sebesar 5 hingga 10 persen pada berbagai tolok ukur. Model Qwen3.8-27B sendiri merupakan model padat dengan 27 miliar parameter yang dilengkapi kemampuan visi serta penalaran, jendela konteks 256K, dan dapat berjalan secara lokal pada perangkat dengan RAM atau VRAM sebesar 17GB.
Pembaruan Dynamic V3.1 dan Peningkatan Performa
Algoritma pratinjau Dynamic V3.1 yang diterapkan pada berkas GGUF Qwen3.8-27B membawa peningkatan kinerja yang signifikan untuk tugas pengodean, beban kerja agen, serta percakapan umum. Sebagian besar kuantisasi dari 2bit hingga 6bit telah diperbarui, kecuali kuantisasi 3bit UD3 yang dinilai sudah sebanding dengan versi UD3.1. Pengujian ekstensif mencakup berbagai tolok ukur agenik seperti Terminal Bench 2.1 dan DeepSWE v1.1, serta tolok ukur umum seperti LiveCodeBench v6, GPQA Diamond, MMLU-Pro, dan AIME25 dengan menggunakan panjang konteks 256K untuk tugas agenik dan 128K untuk sisanya.
Selain model berukuran 27B, Unsloth juga memperkenalkan kuantisasi NVFP4 dinamis baru untuk Qwen3.8-27B yang diklaim mampu berjalan sekitar 1,5 kali lebih cepat dibanding titik pemeriksaan BF16 dengan ukuran berkas yang sebanding. Kuantisasi NVFP4 ini membutuhkan unit pemrosesan grafis NVIDIA Blackwell dan baru didukung melalui vLLM, sementara pengguna perangkat keras yang lebih lama dapat memanfaatkan berkas GGUF.
Model Qwen3.8-2.4T-A95B Berukuran Besar
Unsloth turut memperkenalkan Qwen3.8-2.4T-A95B, yakni model dengan 2,4 triliun parameter dan 95 miliar parameter aktif yang memerlukan penyimpanan sebesar 4,9TB dalam bentuk presisi penuh. Melalui penggunaan kuantisasi Dynamic GGUF 1-bit berukuran 397GB atau varian IQ1_S sebesar 508GB, ukuran model tersebut dapat dipangkas hingga 91 persen. Perluasan format data baru seperti TQ2_0, TQ1_0, dan Q1_0 pada model besar ini memungkinkan proses kuantisasi pasca-pelatihan tanpa memerlukan pelatihan sadar kuantisasi atau distilasi tambahan.
Seluruh model Qwen3.8 kini dapat dioperasikan melalui aplikasi antarmuka Unsloth Desktop untuk sistem operasi macOS, Windows, dan Linux, ataupun dijalankan menggunakan perangkat lunak llama.cpp dan server API Unsloth. Pengguna dapat mengunduh model melalui platform Hugging Face maupun ModelScope untuk kebutuhan lokal maupun penerapan berbasis server.
Sumber: Hacker News: Front Page
