OVHcloud resmi mengumumkan Olala, keluarga model bahasa besar (LLM) pertamanya, pada 17 November 2026. Anggota pertamanya, Olala mini 7A1B, adalah model ringkas dengan arsitektur baru yang dirancang untuk berjalan di perangkat dengan memori terbatas. 🔗 OVHcloud
Dilatih di Tiga Superkomputer Publik Eropa
Olala mini dilatih dari nol di tiga superkomputer publik Eropa: Jupiter, MeluXina, dan Jean Zay. Ketiganya dilengkapi GPU NVIDIA GH200, A100, dan H100. 🔗 OVHcloud
Dukungan komputasi publik itu setara dengan €7 juta jam komputasi. Menurut OVHcloud, dukungan tersebut menjadi penentu dan melahirkan Agentic Lab perusahaan, OVHai LLM. 🔗 OVHcloud
Arsitektur Hemat Memori
Olala mini memakai arsitektur 7 miliar parameter, tetapi hanya 1 miliar parameter yang aktif untuk setiap permintaan. Parameter aktif itu tersebar di 256 pakar (expert) pada setiap lapisan. 🔗 OVHcloud
Model ini menggabungkan perhatian hibrida Differential-TPA dan Mamba-3 dalam format BF16. Hanya sebagian kecil jaringan yang dipakai per permintaan, sehingga model lebih cepat dan hemat memori. 🔗 OVHcloud
- 7 miliar parameter total, 1 miliar aktif per permintaan
- 256 pakar (expert) per lapisan
- Berjalan di GPU dengan memori 8 GB
- 160 token per detik di RTX A4500; 50 token per detik di CPU standar tanpa GPU
- Jendela konteks 32.000 token; versi 1.1 akhir 2026 dijadwalkan menjadi 128.000 token
Open Source di Bawah Lisensi Apache 2.0
Olala mini akan tersedia sebagai open source di Hugging Face dengan lisensi Apache 2.0. Paket rilisnya mencakup bobot model, model dasar pra-latih, laporan teknis, dan dokumentasi kepatuhan AI Act Uni Eropa. 🔗 OVHcloud
Qwant sudah mengadopsi model ini untuk fitur flash answer-nya. Menurut OVHcloud, jawabannya 20% lebih cepat dengan biaya operasional sepertiga dari model sebelumnya. 🔗 OVHcloud
Jalan ke Versi 1.1 dan 2.0
Versi 1.1 yang dijadwalkan akhir 2026 akan memperluas jendela konteks menjadi 128.000 token dan meningkatkan kemampuan penalaran matematis. 🔗 OVHcloud
Versi 2.0 direncanakan melampaui 100 miliar parameter, dengan model khusus untuk tiga bidang: agen AI untuk perusahaan, DevOps cloud, dan keamanan siber — baik defensif maupun ofensif. 🔗 OVHcloud
Peluncuran resminya akan digelar di OVHcloud AI Summit pada 19 November 2026. 🔗 Unite.AI
Tidak ada komentar:
Posting Komentar