Kelompok riset kecil Linum mengumumkan Pyramid-JiT (P-JiT), model text-to-image berukuran 2 miliar parameter yang dilatih dari nol dengan biaya komputasi sekitar US$21.000. Model ini dirilis sebagai open weights di bawah lisensi Apache 2.0, menantang asumsi bahwa model gambar generatif kelas atas membutuhkan anggaran ratusan juta dolar. 🔗 Linum
Linum adalah laboratorium riset beranggotakan dua orang, Sahil dan Manu Chopra, yang membangun model video generatif dari nol. P-JiT diumumkan pada 4 November 2026 dan diposisikan sebagai batu loncatan menuju model video Linum berikutnya yang lebih murah. 🔗 Hacker News
Latar Belakang: Biaya Pelatihan yang Selama Ini Membengkak
Model gambar generatif konvensional umumnya bekerja dalam dua tahap: gambar dikonversi menjadi representasi latent melalui VAE, lalu didiffusi di ruang latent sebelum didekode kembali menjadi piksel. Selain itu, mekanisme attention pada model generatif memiliki kompleksitas yang tumbuh kuadrat terhadap panjang urutan input.
Dua hal ini membuat pelatihan dan inferensi membutuhkan waktu serta biaya yang sangat besar, sehingga hanya laboratorium besar yang mampu mengembangkannya. Linum menargetkan perbaikan sepuluh kali lipat pada kecepatan dan biaya untuk model video berikutnya. 🔗 Linum
Inovasi P-JiT: Memproses Piksel Langsung dan Kompresi Token Agresif
P-JiT mengambil pendekatan berbeda: model ini memproses gambar secara langsung sebagai data piksel, tanpa konversi ke representasi latent melalui VAE. Setiap token mencakup patch gambar 32x32, sementara model lain umumnya memakai patch 16x16. 🔗 AI Insiders
Pengurangan ini setara dengan pengecilan jendela konteks attention sebesar empat kali lipat, sehingga pelatihan dan inferensi menjadi jauh lebih murah. P-JiT mencapai kualitas Linum v2 dengan sampel pelatihan sekitar 11 kali lebih sedikit. 🔗 Linum
Secara rinci, biaya pelatihan sebesar US$21.038 mencakup 8.415 jam GPU H100 dengan tarif US$2,50 per jam: US$20.348 untuk pra-pelatihan dan US$690 untuk pasca-pelatihan. Model dilatih pada 660 juta sampel, terdiri dari 610 juta sampel pada resolusi 512 piksel dan 50 juta sampel pada 1024 piksel. 🔗 Hacker News
Fakta Kunci
- Nama model: Pyramid-JiT (P-JiT 21K), model text-to-image berbasis pixel-space diffusion transformer.
- Ukuran: 2,18 miliar parameter; bobot fp32 sebesar 8,7 GB, ditambah text encoder Qwen3.5-4B beku.
- Biaya pelatihan: sekitar US$21.038 (8.415 jam GPU H100).
- Data pelatihan: 660 juta sampel (610 juta pada 512 piksel, 50 juta pada 1024 piksel).
- Lisensi: open weights (Apache 2.0); kode dan bobot tersedia di GitHub Linum-AI/pjit-21k.
- Pengembang: Linum, laboratorium riset dua orang.
- Inovasi utama: pemrosesan piksel langsung tanpa VAE, patch 32x32, jendela konteks attention 4x lebih kecil, konvergensi dengan sekitar 11x lebih sedikit sampel dibanding Linum v2.
- Keterbatasan: tidak mendukung teks dalam gambar, poster, maupun infografis; kesulitan pada tubuh penuh, kerumunan, interaksi multi-orang, dan pengetahuan dunia.
Keterbatasan yang Diakui
P-JiT bukan model tanpa batas. Data pelatihannya sengaja tidak mencakup infografis, halaman PDF, atau halaman buku, sehingga model tidak mendukung pembuatan gambar dengan teks, poster, maupun infografis. Linum menyebut model ini sebagai artefak riset eksperimental, bukan model produksi. 🔗 alextech.ai
Sebagai model yang relatif kecil, P-JiT juga masih kesulitan pada penggambaran tubuh penuh, kerumunan, interaksi antar karakter, dan pengetahuan dunia yang luas. Linum menyebut isu-isu ini dapat dimitigasi melalui pelatihan model yang lebih besar atau post-training tambahan.
Implikasi bagi Ekosistem AI
P-JiT menjadi contoh nyata bahwa inovasi arsitektur dan efisiensi data dapat menurunkan hambatan masuk riset gambar AI secara drastis. Jika model kompetitif dapat dilatih dengan puluhan ribu dolar, laboratorium kecil, startup, dan peneliti independen memiliki peluang yang lebih besar untuk berkontribusi pada pengembangan model generatif.
Namun, keterbatasan pada akurasi detail dan pengetahuan dunia menunjukkan bahwa biaya rendah masih harus dibayar dengan kapabilitas yang lebih sempit. Klaim biaya dan kualitas ini pun sejauh ini bersumber dari Linum sendiri dan belum diverifikasi secara independen.
Tidak ada komentar:
Posting Komentar