Startup Edge0 merilis Edge0-145B pada 12 November 2026, model AI berbobot 145 miliar parameter yang dirancang untuk berjalan langsung di laptop pengguna, bukan di server cloud. π Edge0 menyebutnya model open-source on-device pertama di kelas 145 miliar parameter, dirilis bersama varian yang lebih kecil, Edge0-120B.
Selama ini, model sebesar ini hanya bisa dijalankan di pusat data. Edge0 mengklaim terobosan itu kini bisa dibawa ke meja kerja, dengan kemampuan coding, penalaran, dan agen yang bersaing dengan model cloud kelas frontier.
145 miliar parameter di laptop: bagaimana caranya
Kunci Edge0-145B ada pada arsitekturnya yang hemat memori. π Dari total 145 miliar parameter, hanya sekitar 10 miliar yang ikut dihitung pada setiap langkah inferensi, karena model ini memakai arsitektur sparse mixture-of-experts.
Bobot para expert disimpan berlapis di GPU, memori sistem, dan SSD, lalu dialirkan sesuai kebutuhan saat inferensi berjalan. π Menurut kartu modelnya di Hugging Face, Edge0-145B memakai 512 expert dengan 10 expert aktif per token, dilatih native 4-bit, dan diturunkan dari Qwen3.8-Flash-Next.
Performa laptop yang dilaporkan Edge0:
- Memori puncak 29 GB, sehingga muat di laptop kelas atas seperti MacBook Pro. π Edge0
- Kecepatan decoding di atas 80 token per detik, dan prefill di atas 1.100 token per detik. π Edge0
- Daya tipikal sekitar 120 W dan konteks 128K–256K token untuk tugas panjang. π Edge0
- Pustaka expert sekitar 40 GB di memori sistem, plus sekitar 48 GB data kosakata di SSD yang dibaca sesuai kebutuhan. π Edge0
Sebagai pembanding, π Daily AI Brief mencatat Edge0 melaporkan 121,2 token per detik untuk decoding agen pada GPU konsumen RTX 5090 D. Angka-angka ini adalah pengukuran internal Edge0, bukan hasil pengujian pihak ketiga yang independen.
Skor benchmark: coding di atas model cloud
Dalam pengujian internal Edge0, Edge0-145B mencetak skor 64,6 pada DeepSWE 1.1, di atas Qwen3.8-Flash-Next yang 58,7 dan DeepSeek-V4-Flash-0731 yang 54,4. π Edge0
Pada GPQA-Diamond, model ini meraih 90,4, tipis di bawah DeepSeek-V4-Flash-0731 yang 90,8 dan Claude-Opus-4.6 (Max) yang 91,3. π Edge0
Skor lainnya: 86,52 pada Terminal-Bench 2.1, 80,6 pada IFBench, dan 79,3 pada AA-LCR. π Edge0 Rata-rata enam benchmark itu 72,8, sedikit di atas Qwen3.8-Flash-Next yang 71,7.
Edge0 juga mendemonstrasikan model ini mengerjakan proyek nyata secara lokal, seperti membangun scene 3D kota Manhattan di Blender, membuat game yang bisa dimainkan, sampai memproduksi video explainer, semuanya tanpa panggilan ke cloud. π Edge0
Privasi dan biaya: tanpa tagihan per token
Karena inferensi berjalan penuh di perangkat, data kerja tidak meninggalkan mesin dan tidak ada biaya per token seperti pada layanan cloud. π Edge0 Ini menarik bagi pengguna yang menangani data sensitif atau bekerja tanpa koneksi internet yang stabil.
Namun kebebasan ini tidak gratis. Pengguna tetap menanggung biaya perangkat keras yang memadai dan listrik. Komputasi di sisi klien menggeser beban biaya dari penyedia layanan ke pengguna akhir, dan keterbatasan memori serta suhu perangkat menjadi tantangan baru.
Perlu dicatat juga soal lisensi. π Daily AI Brief melaporkan model ini memakai lisensi komunitas Edge0 di atas lisensi Qwen, yang mengizinkan riset, pemakaian internal, dan penggunaan komersial atas outputnya, tetapi tidak mengizinkan penjualan model atau menjalankannya sebagai layanan komersial tanpa izin terpisah. Jadi label "open-source" di sini tidak sama dengan lisensi terbuka tanpa batasan.
Yang masih perlu dibuktikan
Klaim Edge0-145B sejauh ini bersandar pada evaluasi internal perusahaan. Pertanyaan yang layak dipantau adalah apakah skor benchmark laboratorium itu konsisten di perangkat yang bervariasi, dan bagaimana respons komunitas setelah mencoba bobot modelnya secara langsung.
Edge0 menyatakan merilis seluruh stack — bobot model, framework inferensi, dan deployment tools — agar hasilnya bisa direproduksi dan dievaluasi. π Edge0 Jika klaim itu bertahan di pengujian independen, Edge0-145B bisa menjadi langkah awal menuju AI yang lebih demokratis. Jika tidak, ia tetap menjadi rekor teknis yang menarik di atas perangkat keras yang dikelola sendiri.
Sumber
- π Edge0, "Edge0-145B: Open-Source On-Device AI with 145B Parameters," 12 November 2026
- π Daily AI Brief, "Edge0 releases 145B open model built to run on one consumer GPU," 13 November 2026
- π Edge0, "The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction," arXiv, September 2026
Tidak ada komentar:
Posting Komentar