Peneliti Meta dan Universitas Illinois Urbana-Champaign (UIUC) merilis PBPO, metode policy optimization untuk model bahasa difusi (dLLM) yang memisahkan conditioning tingkat blok dari pembobotan tingkat token, sehingga pelatihan reinforcement learning (RL) menjadi lebih stabil dan kompetitif. 🔗 arXiv:2611.07783
Latar Belakang
Model bahasa difusi (diffusion large language models, dLLM) kini menjadi alternatif serius bagi model autoregresif seperti GPT dan Claude. Alih-alih menghasilkan token satu per satu, dLLM menghasilkan teks dengan mendenoising blok token secara paralel.
Pendekatan ini menjanjikan kecepatan inferensi lebih tinggi, tetapi menyulitkan penerapan RL pasca-pelatihan. Pasalnya, likelihood blok yang telah selesai tidak dapat dihitung secara eksak karena memerlukan marginalisasi atas semua keadaan tersembunyi dan urutan pengungkapan token selama proses denoising. 🔗 arXiv:2611.07783
Apa Itu PBPO
Dalam makalah berjudul "PBPO: Prefix-Block Policy Optimization for Diffusion Language Models" yang diajukan ke arXiv pada 5 November 2026, tim yang dipimpin Katherine Tieu (Meta, dengan afiliasi UIUC) dan Jingrui He (UIUC) memperkenalkan PBPO. Metode ini membangun state "prefix-block": blok-blok sebelumnya sudah terungkap, sedangkan blok saat ini dan blok berikutnya masih termasking. 🔗 arXiv:2611.07783
Dari satu forward pass model, PBPO menghitung surrogate likelihood faktorisasi satu langkah untuk blok tersebut. Inovasi utamanya adalah pemisahan dua tingkat granularitas.
Conditioning tetap berada pada tingkat blok: semua token dalam satu blok berbagi state prefix-block yang sama. Namun pembobotan kepentingan (importance weighting) dan clipping diterapkan secara terpisah pada setiap token. Dengan demikian, perubahan kebijakan pada satu posisi hanya memengaruhi term surrogate token tersebut, bukan dikalikan menjadi satu bobot untuk seluruh blok. 🔗 arXiv:2611.07783
Mengapa Ini Penting
Pada formulasi tingkat blok murni, rasio kepentingan blok merupakan produk rasio seluruh token di dalamnya. Struktur multiplikatif ini memperbesar varians estimasi policy-gradient dan dapat membuat pelatihan tidak stabil hingga kolaps.
PBPO menghilangkan coupling tersebut sambil mempertahankan conditioning blok, sehingga lebih stabil. Selain itu, PBPO menyegarkan (resample) tampilan terkorupsi dari prompt dan prefix yang terungkap pada setiap pembaruan, memanfaatkan paradigma pre-training masked-dLLM untuk memperkaya sinyal pelatihan tanpa overhead komputasi tambahan pada generasi rollout. 🔗 arXiv:2611.07783
Hasil Eksperimen
PBPO diuji pada dua inisialisasi keluarga LLaDA (LLaDA-8B-Instruct dan LLaDA-1.5), enam benchmark (GSM8K, MATH500, Sudoku, HumanEval, MBPP, Countdown), dan tiga panjang generasi. Metode ini mengungguli d1, wd1, GDPO, dan DMPO pada 27 konfigurasi, seri pada 5 lainnya, dan tetap kompetitif pada 4 sisanya. 🔗 arXiv:2611.07783
Margin rata-rata atas runner-up pada LLaDA-8B-Instruct:
- GSM8K: 2,00 poin persentase
- MATH500: 2,20 poin persentase
- Sudoku: 9,63 poin persentase
- HumanEval: 0,20 poin persentase
- MBPP: 3,11 poin persentase
Dengan LLaDA-1.5, margin masing-masing 3,08, 2,60, 12,06, 2,44, dan 0,52 poin persentase. Semua angka dilaporkan oleh penulis sendiri dan makalah ini belum melalui peer review. 🔗 arXiv:2611.07783
Keterbatasan dan Arah Selanjutnya
PBPO masih bergantung pada aproksimasi satu langkah terhadap likelihood denoising multi-langkah yang eksak. Penulis mencatat perlunya perluasan ke keluarga dLLM yang lebih luas dan prosedur decoding lain.
Meski demikian, pekerjaan ini menunjukkan bahwa alignment RL pada model bahasa difusi dapat dilakukan tanpa mengorbankan stabilitas, sebuah langkah penting menuju model generatif non-autoregresif yang setara dengan model autoregresif dalam pipeline RLHF. 🔗 arXiv:2611.07783
Fakta Kunci
- Makalah: "PBPO: Prefix-Block Policy Optimization for Diffusion Language Models", arXiv:2611.07783, 5 November 2026
- Penulis: Katherine Tieu (Meta/UIUC), Dongqi Fu, Si Zhang, Hanqing Zeng, Tianxin Wei, Chenglin Wei, Yinglong Xia, Hong Li (Meta), Jingrui He (UIUC)
- Metode: policy optimization untuk dLLM dengan conditioning tingkat blok dan clipping tingkat token
- Hasil: unggul pada 27 dari 36 konfigurasi benchmark, margin hingga 12,06 poin persentase
- Keterbatasan: aproksimasi satu langkah; generalisasi ke dLLM lain masih menjadi pekerjaan lanjut
Sumber
- Tieu, K. et al. (2026). "PBPO: Prefix-Block Policy Optimization for Diffusion Language Models." arXiv:2611.07783. 🔗 https://arxiv.org/abs/2611.07783
Tidak ada komentar:
Posting Komentar