Nvidia merilis empat checkpoint open-weight baru dalam keluarga model dunia Cosmos 3, yang dirancang untuk menghasilkan simulasi interaktif bagi robotika dan kendaraan otonom. Keempat model tersebut adalah Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer, dan Cosmos3-Nano-Sim-Bimanual. 🔗 Hugging Face
Keempatnya merupakan hasil post-training dari Cosmos 3 Nano, masing-masing dengan 16 miliar parameter yang dapat dilatih, dan dirilis di bawah lisensi OpenMDW 1.1 yang mengizinkan penggunaan komersial maupun non-komersial sesuai syaratnya. Nvidia juga mempublikasikan resep post-training lengkapnya, agar tim dapat menyesuaikan model dengan sensor dan robot mereka sendiri. 🔗 Hugging Face
Empat Checkpoint, Dua Jalur Industri
Transfer-Auto adalah model bidireksional untuk pembuatan data sintetis pengemudi secara offline. Model ini menghasilkan video tersinkronisasi hingga 11 tampilan kamera, termasuk fisheye, dengan dukungan pembangkitan gabungan RGB dan LiDAR. Kontrol World Scenario Map per kamera mengatur struktur adegan dan lalu lintas, sementara prompt teks memandu tampilannya. 🔗 Hugging Face
Sim-Auto adalah varian streaming kausal hasil distilasi dari Transfer-Auto. Model ini menghasilkan potongan kecil video kamera dan LiDAR yang tersinkronisasi dalam beberapa langkah denoising saja, sehingga mendukung simulasi cepat dan rollout interaktif yang panjang. 🔗 Hugging Face
Sim-Transfer mengubah kontrol simulator dan prompt teks menjadi video fotorealistik. Simulator tetap menghitung gerak, kontak, dan keadaan fisik, sementara model merender pengamatan warna yang dapat dikonsumsi kebijakan AI. Kontrol spasialnya meliputi depth, segmentasi, tepi, dan blur. 🔗 Hugging Face
Sim-Bimanual memprediksi video dari aksi robot dua lengan, mendukung simulasi interaktif untuk embodiment YAM dan AgiBot. Model ini dapat dikendalikan oleh kebijakan AI atau dioperasikan langsung oleh manusia lewat joystick. 🔗 Hugging Face
Mengapa Ini Penting
Robotika dan kendaraan otonom membutuhkan lingkungan simulasi yang dapat menjawab pertanyaan di berbagai adegan dan sudut pandang. Sim-Bimanual memprediksi konsekuensi visual dari suatu aksi, sementara Sim-Transfer mengubah kontrol simulator fisika menjadi pengamatan yang dihasilkan. 🔗 Hugging Face
Untuk pengemudi otonom, penampilan dan geometri harus konsisten. Pembangkitan kamera dan LiDAR yang tersinkronisasi menghubungkan pengamatan visual dengan sensing 3D, dan kontrol adegan serta sinyal lalu lintas memungkinkan peneliti mengubah tata letak jalan dan mempelajari respons kebijakan mengemudi. 🔗 Hugging Face
Setiap pengamatan dapat membentuk aksi berikutnya, dan pembangkitan streaming menghubungkan prediksi video dengan interaksi berkelanjutan. Nvidia sendiri mengakui bahwa pekerjaan lanjutan masih diperlukan untuk mengukur sejauh mana model ini benar-benar mendukung pembelajaran dan evaluasi kebijakan, serta memahami batas-batasnya. 🔗 Hugging Face
Cara Kerja Pembangkitan Streaming
Cosmos 3 menggunakan backbone Mixture-of-Transformers yang menghubungkan jaringan pemrosesan teks dan pembangkitan visual melalui attention. Generator memprediksi setiap segmen pendek dari prompt, kontrol yang tersedia, dan riwayat yang dihasilkan. 🔗 Hugging Face
Model beroperasi pada representasi video terkompresi (laten); setelah gambar awal, setiap langkah waktu laten mewakili empat frame RGB. Distilasi dan caching mengurangi biaya pembangkitan setiap pengamatan. 🔗 Hugging Face
Pelatihan empat tahap dirancang untuk mengurangi akumulasi kesalahan saat prediksi yang sedikit meleset menjadi konteks frame berikutnya: adaptasi bidireksional, teacher forcing, distilasi konsistensi, dan self-forcing. Pada tahap distilasi konsistensi, model siswa dilatih menghasilkan setiap potongan dalam empat langkah denoising. 🔗 Hugging Face
Adaptasi dengan Data Sendiri
Resep post-training dimulai dari bobot Cosmos3-Nano atau bobot dasar yang kompatibel dan mencakup keempat tahap pelatihan. Transfer-Auto dapat dilatih ulang pada data pengemudi sendiri untuk menyesuaikan tata letak kamera, konfigurasi LiDAR, dan lingkungan target, lalu dipakai untuk pembangkitan data sintetis offline atau didistilasi menjadi Sim-Auto untuk simulasi streaming cepat. 🔗 Hugging Face
Syarat runtime mencakup Linux, GPU Nvidia, Docker, dan NVIDIA Container Toolkit. Konfigurasi vLLM-Omni yang dipublikasikan diuji pada satu GB200, yang menurut Nvidia bukan spesifikasi memori minimum. 🔗 Hugging Face
- Empat checkpoint baru: Transfer-Auto, Sim-Auto, Sim-Transfer, Sim-Bimanual
- Masing-masing 16 miliar parameter yang dapat dilatih; post-training dari Cosmos 3 Nano
- Lisensi OpenMDW 1.1, mengizinkan penggunaan komersial dan non-komersial sesuai syarat
- Transfer-Auto: hingga 11 tampilan kamera termasuk fisheye, pembangkitan gabungan RGB-LiDAR
- Sim-Auto: streaming potongan video dan LiDAR tersinkronisasi dalam beberapa langkah denoising
- Sim-Bimanual: simulasi robot dua lengan untuk embodiment YAM dan AgiBot
- Diumumkan 5 November 2026 di blog Hugging Face oleh tim Nvidia
Tidak ada komentar:
Posting Komentar