DR Pixel: Agen Riset Mendalam AI Terbuka yang Membaca Halaman Dokumen Sebagai Gambar

DR Pixel adalah agen riset mendalam (deep research) multimodal sumber terbuka pertama yang membaca halaman dokumen yang sudah dirender sebagai gambar, bukan teks hasil OCR. Pendekatan ini membuat agen mampu menjawab pertanyaan riset yang kompleks dengan akurasi lebih tinggi dan biaya lebih rendah. 🔗 arXiv:2611.03097

Dari kertas ke halaman: mengapa riset yang dipahami mesin harus diubah

Alat riset mendalam yang populer selama ini — termasuk mode deep research di chatbot besar — bekerja dengan jalur sederhana: mengubah halaman menjadi teks, lalu mencari di dalam teks itu. Namun dokumen ilmiah, laporan riset, dan arsip pemerintahan tidak mulus saat direduksi menjadi urutan huruf. Tabel, formula, diagram, dan tata letak berganda menjadi rusak. 🔗 arXiv:2611.03097

DR Pixel mengambil jalan yang lebih alami: agen ini membaca halaman yang sudah dirender sebagai gambar, dan memakai tata letak itu sebagai bagian dari penalaran, bukan sebagai gangguan yang harus dihindari. 🔗 arXiv:2611.03097

Bagaimana DR Pixel bekerja

DR Pixel adalah agen riset mendalam multimodal sumber terbuka pertama yang dirancang untuk bekerja langsung dari halaman yang dirender. Alih-alih mengubah dokumen ke teks mentah, sistem ini mengindeks halaman yang telah dirender sebagai gambar, lalu menjaga setiap halaman itu sebagai bukti visual sepanjang penelusurannya. Pencarian dilakukan terhadap gambar, bukan terhadap paragraf yang sudah diremas. 🔗 arXiv:2611.03097

Sistem ini beroperasi atas korpus 1,06 juta halaman dari 99.055 makalah ilmiah. Untuk mengujinya, peneliti mengenalkan DRPixelBench, kumpulan 500 pertanyaan yang menuntut penalaran atas teks, tabel, gambar, dan persamaan dalam dokumen ilmiah. 🔗 arXiv:2611.03097

Dalam uji terkontrol, DR Pixel yang belum dilatih sudah unggul terhadap jalur berbasis OCR pada beberapa model utama, termasuk GPT-5.4, Gemini-3.5-Flash, dan Qwen3.6-27B — tanpa pelatihan khusus. Akurasinya naik 5,1–8,4 poin, sementara jumlah pemanggilan pencarian turun 20–30 persen. 🔗 arXiv:2611.03097

Pelatihan lanjutan memakai metode pembobotan ulang kredit kontrafaktual (counterfactual credit reweighting), yang memberi bobot pada setiap langkah penalaran dan pencarian berdasarkan kontribusinya terhadap jawaban akhir. Metode ini menaikkan retrieval recall sekitar 15 poin dan akurasi akhir lebih dari 10 poin. Pada model terbuka Qwen3.6-27B, akurasi naik 12,0 poin — sekitar 30 persen relatif — dan menutup jarak ke GPT-5.4. 🔗 arXiv:2611.03097

Pada benchmark ViDoRe-V3 yang berada di luar distribusi pelatihan, DR Pixel hanya terpaut 1,8 poin dari oracle yang langsung diberi halaman emas. 🔗 arXiv:2611.03097

Kode dan bobotnya dirilis terbuka di bawah lisensi Apache-2.0, dan model hasil pelatihan tersedia di Hugging Face sebagai HughieHu/DR-Pixel-Trained. 🔗 GitHub StarTrail-org/DRPixel

Dampaknya: riset yang lebih murah dan terbuka

Layanan riset mendalam untuk pekerja ilmiah umumnya hadir dalam kerangka berbayar dan tertutup dari penyedia model besar. DR Pixel menunjukkan arah lain: dengan bobot yang dapat diunduh, agen riset dapat dirawat sendiri, dioptimalkan, dan disesuaikan dengan korpus khusus — tanpa bergantung pada batas panggilan atau harga tiap pertanyaan. 🔗 arXiv:2611.03097

Efisiensi tambahan dari penghematan panggilan memberi alasan konkret bagi perusahaan untuk beralih dari solusi berbasis OCR yang boros ke model yang memahami tata letak dokumen. Namun batasannya tetap ada: model terbuka masih memakai model yang lebih kecil dibanding kandidat tertutup, dan kemampuan tanpa pelatihan belum tentu cocok untuk korpus yang sangat spesifik atau bahasa yang sangat teknis. 🔗 arXiv:2611.03097

Fakta penting

• DR Pixel adalah agen riset mendalam multimodal sumber terbuka pertama yang beroperasi langsung dari halaman yang dirender. 🔗 arXiv:2611.03097
• Korpus utama berisi 1,06 juta halaman dari 99.055 makalah ilmiah, diindeks sebagai gambar. 🔗 arXiv:2611.03097
• DRPixelBench berisi 500 pertanyaan atas teks, tabel, gambar, dan persamaan. 🔗 arXiv:2611.03097
• Tanpa pelatihan, DR Pixel sudah mengungguli jalur OCR pada GPT-5.4, Gemini-3.5-Flash, dan Qwen3.6-27B, dengan akurasi naik 5,1–8,4 poin. 🔗 arXiv:2611.03097
• Pelatihan dengan pembobotan ulang kredit kontrafaktual menaikkan retrieval recall sekitar 15 poin dan akurasi akhir lebih dari 10 poin. 🔗 arXiv:2611.03097
• Model Qwen3.6-27B yang dilatih mendekati GPT-5.4, dengan akurasi naik 12,0 poin. 🔗 arXiv:2611.03097
• Sistem ini menghemat 20–30 persen pemanggilan pencarian dibanding metode berbasis OCR. 🔗 arXiv:2611.03097
• Di ViDoRe-V3, DR Pixel hanya terpaut 1,8 poin dari oracle yang diberi halaman emas. 🔗 arXiv:2611.03097
• Makalah ditulis oleh Tiansheng Hu, Yichuan Wang, James V. Talwar, Nicholas Tomlin, Chen Zhao, dan Sewon Min dari NYU Shanghai, UC Berkeley, Rational Dynamics, Toyota Technological Institute at Chicago, dan NYU. 🔗 arXiv:2611.03097

Sumber

• arXiv:2611.03097 — "DR Pixel: Page-Native Deep Research with Vision-Language Models" (arXiv, 2 November 2026). 🔗 https://arxiv.org/abs/2611.03097
• GitHub — StarTrail-org/DRPixel (kode, lisensi Apache-2.0). 🔗 https://github.com/StarTrail-org/DRPixel
• Hugging Face — HughieHu/drpixel-bench (dataset DRPixelBench). 🔗 https://huggingface.co/datasets/HughieHu/drpixel-bench
• Better Images of AI — "Web crawlers", karya Marcin Wilkowski (CC BY 4.0). 🔗 https://betterimagesofai.org