Nous Research Rilis Arete-27B: Model Open-Weight yang 'Menghapus' Framing Negara China dari Qwen3.8-27B

Nous Research merilis Arete-27B, model open-weight 27 miliar parameter hasil fine-tuning atas Qwen3.8-27B milik Alibaba. 🔗 Nous Research

Tujuan model ini: mengurangi jawaban yang mengikuti framing resmi negara China, tanpa menurunkan kemampuan agentic model aslinya. Pada evaluasi internal 803 prompt, jawaban yang mengandung propaganda turun dari 22 persen menjadi 0,9 persen. 🔗 Nous Research

Latar Belakang

Model open-weight buatan China, khususnya keluarga Qwen dari Alibaba, dikenal berperforma tinggi dan berlisensi yang memungkinkan modifikasi. Namun model-model itu juga membawa bias yang sejalan dengan narasi resmi negara. 🔗 Nous Research

Nous Research, lab yang berbasis di AS, mengamati sendiri adanya penolakan, pengalihan, dan jawaban berbingkai Partai Komunis China pada topik politik sensitif di Qwen3.8-27B. Lab itu kemudian melakukan post-training untuk mengubah bias tersebut. 🔗 Nous Research

Cara Nous Mengukur Masalahnya

Sebelum melatih, Nous membangun evaluasi 803 prompt yang mencakup tujuh kategori nilai: kebebasan berekspresi, ideologi negara, negara versus pasar bebas, pendidikan, privasi data dan pengawasan, demokrasi, serta lingkungan. Setiap prompt memuat 2–4 fakta yang harus ada, diambil dari artikel berita tertanggal, beserta frasa resmi yang digunakan Partai Komunis China. 🔗 Nous Research

Penilaian dilakukan oleh LLM judge Grok 4.7 yang tidak diberitahu model mana yang menulis jawaban. Rubrik penilaian disempurnakan melalui pilot 25 prompt yang dinilai manual, dengan tiga kali revisi. 🔗 Nous Research

Hasil Evaluasi

Arete-27B meningkatkan skor fakta dan menurunkan jawaban mengandung propaganda secara signifikan pada evaluasi 803 prompt tersebut. 🔗 Nous Research

• Skor fakta naik dari 2,32 menjadi 2,98 dari 5.
• Jawaban mengandung propaganda turun dari 22 persen menjadi 0,9 persen (mode thinking off) atau 0,6 persen (mode thinking on, masih sementara).
• Jawaban yang mencetak skor 0 turun dari 359 menjadi 216 dari 803 prompt.
• Perbaikan terbesar terjadi pada kategori kebebasan berekspresi: skor fakta naik dari 0,89 menjadi 2,44 dan tingkat propaganda turun dari 60 persen menjadi 1 persen.

Sebagai pembanding, model Barat yang diuji Nous pada evaluasi yang sama mencatat tingkat propaganda di bawah 1 persen, misalnya Inkling 0,3 persen dan Mistral Large 4 sebesar 0,3 persen. 🔗 MarkTechPost

Kemampuan Umum Tetap Terjaga

Pada benchmark internal Hermes Bench, Arete-27B mencetak 65,60 persen, hanya 0,17 poin di bawah Qwen3.8-27B (65,77 persen). Nous menyebut selisih itu tidak berbeda secara statistik. 🔗 Nous Research

Pada Terminal-Bench 2.1, Arete mencetak 70 persen dibandingkan 67 persen pada model dasar, dalam harness milik Nous. Nous menyatakan tidak menemukan regresi kemampuan di mana pun dan tidak mengklaim pujian atas kenaikan tersebut. 🔗 Nous Research

Proses Pelatihan

Model dilatih dengan supervised fine-tuning saja, tanpa reinforcement learning, tanpa preference optimization, dan tanpa modifikasi arsitektur. 🔗 Nous Research

• Sekitar 52,8 juta token, dengan 28.886 contoh pelatihan pada konteks 64k token, tanpa sequence packing.
• Dua epoch dan 1.202 langkah, batch size 48.
• Teacher model yang dipilih adalah Inkling, model open-weight dari Thinking Machines Lab.
• Nemotron 3 Ultra sempat dipertimbangkan, tetapi ditolak setelah Nous menemukan catatan bermasalah pada topik China.

Bobot model dirilis secara terbuka dengan lisensi Apache 2.0, begitu pula evaluasi dan dataset pelatihannya. Evaluasi Propaganda_Eval sendiri berlisensi MIT. 🔗 MarkTechPost

Catatan Penting

Evaluasi ini dibuat, dijalankan, dan dinilai sendiri oleh Nous, sehingga angka 0,9 persen belum diverifikasi secara independen. Penilaian propaganda juga bergantung pada satu juri LLM, Grok 4.7, dan definisi propaganda yang ditetapkan Nous sendiri. 🔗 getaibook

Nous sendiri menegaskan bahwa hasil ini bukan klaim bahwa semua perilaku yang terkait dengan sudut pandang lama sudah teratasi. Skor fakta Arete sebesar 2,98 dari 5 juga masih di bawah beberapa model pembanding, dan 216 dari 803 jawaban masih mencetak skor 0. 🔗 Nous Research

Implikasi

Temuan ini menunjukkan bahwa lapisan bias pada model yang selaras dengan China bersifat dangkal dan dapat dihapus dengan supervisi terarah tanpa merusak kemampuan inti. Nilai-nilai dalam model open-weight hanya berjarak satu fine-tune, sehingga pengguna berhak memilih nilai yang mereka gunakan. 🔗 Nous Research

Di sisi lain, rilis ini memicu perdebatan tentang value alignment dan risiko penyalahgunaan model yang sudah "dinetralkan" dari framing resmi. Nous mendorong komunitas untuk menjalankan evaluasi yang sama pada model apa pun dan terus bereksperimen dengan value alignment. 🔗 Nous Research

Sumber

• Nous Research, "Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values", 6 November 2026. 🔗 https://nousresearch.com/arete
• MarkTechPost, "Nous Research Releases Arete-27B that Cuts Qwen3.8-27B Propaganda From 22% to 0.9%", 7 November 2026. 🔗 https://www.marktechpost.com/2026/11/07/nous-research-arete-27b-qwen3-8-27b-propaganda-fine-tune/
• getaibook, "Nous Research's Arete-27B cuts Qwen's state-line answers from 22% to 0.9% with SFT alone", 7 November 2026. 🔗 https://getaibook.com/news/nous-arete-27b-qwen-propaganda-22-to-0-9-percent/