Nvidia memperkenalkan GR00T 2, model aksi dunia (world action model) terbuka untuk robot, pada Konferensi Pembelajaran Robot (CoRL) di Austin, 9 November 2026. Model ini dilatih dari gabungan video manusia, demonstrasi gripper genggam, dan teleoperasi robot, sehingga robot dapat mempelajari keterampilan manipulasi halus tanpa harus merekam setiap gerakan dari awal. π Blog Nvidia
GR00T 2 menandai pergeseran dari model yang hanya meniru demonstrasi robot, menuju model yang memahami dinamika fisik dari pengamatan manusia. Pendekatan ini menjawab masalah lama robotika: data teleoperasi yang mahal, lambat, dan terbatas jumlahnya.
Arsitektur dan Cara Kerja
GR00T 2 adalah transformer 2 miliar parameter yang dibangun di atas Cosmos-Predict2.5-2B. Model ini menerima tiga masukan: tampilan kamera terbaru, status robot, dan instruksi tertulis. Dari masukan tersebut, ia menghasilkan perkiraan tampilan masa depan sekaligus urutan aksi berikutnya. π Unite.AI
Satu checkpoint pralatih mencakup lengan gripper paralel, tangan dexterous, dan robot humanoid, sehingga keterampilan dapat ditransfer antar bentuk tubuh (cross-embodiment). Dalam operasi jangka panjang, GR00T 2 memakai agen penalaran untuk menyusun keterampilan, memantau kemajuan, dan memanggil rutin pemulihan ketika bagian terjatuh atau pekerjaan macet, sementara model menangani manipulasi kaya kontak.
Data Pelatihan
Pralatih GR00T 2 menggabungkan tiga sumber data berskala besar. π Unite.AI
- 402.730 jam video orang pertama manusia
- 10.184 jam demonstrasi gripper genggam pada 2.897 tugas
- 23.500 jam teleoperasi robot
Rilis Human-1M-100K membuka 100.000 jam dari data manusia tersebut, termasuk video, anotasi bahasa, serta data gerakan kepala dan tangan, di bawah lisensi CC BY 4.0 yang mengizinkan penggunaan komersial dan nonkomersial. π Unite.AI
Hasil Uji
Pada evaluasi Dexter, GR00T 2 menyelesaikan setidaknya satu percobaan pada 40 dari 50 tugas yang dievaluasi, tanpa demonstrasi khusus tugas. Rata-rata keberhasilan mencapai 71% dengan satu demonstrasi per tugas dan 95% dengan lima demonstrasi. Lima demonstrasi tersebut menyediakan kurang dari tiga menit data robot per tugas, diikuti fine-tune adapter sekitar 30 menit pada satu RTX 5090. π Blog Nvidia
Uji cross-embodiment menunjukkan 65% keberhasilan untuk penyiapan kertas saring yang dipelajari dari demonstrasi manusia tanpa teleoperasi khusus tugas, dan 60% untuk perakitan truk mainan yang ditransfer dari gripper genggam ke lengan YAM. π Unite.AI
Dengan data korektif dan agen penalaran, Nvidia melaporkan 98 perakitan pesawat mainan, 97 traktor mainan, dan 97 Hot Wheels berhasil dari 100 percobaan per mainan, masing-masing dimulai dari bagian yang ditumpahkan secara acak. Pelatihan terawasi saja menghasilkan 69, 51, dan 23. π Unite.AI
Angka-angka ini perlu dibaca dengan catatan dari white paper teknisnya: tugas yang dievaluasi dipilih di antara yang dapat dipelajari model dengan lima episode pada tingkat keberhasilan minimal 80%, sehingga rata-rata itu tinggi sebagian karena konstruksi. Secara terpisah, white paper melaporkan sekitar 70% rata-rata keberhasilan pada benchmark pasca-pelatihan jangka panjang. Pada penyortiran sampah dengan panduan visual, robot menunggu agen selama median 38% dari satu episode, memperlihatkan biaya latensi pengawasan agen. π Unite.AI
Simulasi dan AlphaNIST
Fondasi simulasi adalah Isaac Lab 3.0, tersedia umum sejak 20 Oktober 2026. Ia menyediakan satu API tugas lintas backend fisika, rendering, dan visualisasi; Newton mendukung benda kaku, deformable, dan partikel, dan banyak alur kerja dapat berjalan tanpa instalasi Isaac Sim penuh. Nvidia melaporkan hingga 2,5 kali throughput pelatihan dibanding Isaac Lab 2.3 dengan PhysX. π Blog Nvidia
AlphaNIST menerapkan latihan simulasi berskala besar pada 20 tugas perakitan NIST, termasuk bagian sekecil 4 milimeter. Satu kebijakan bersama dilatih hanya dengan reward sukses ya-tidak. Nvidia melaporkan 98,2% keberhasilan pelatihan untuk kebijakan tersebut, dibanding 81,4% untuk kebijakan terpisah per tugas, dengan sekitar 39 kali lebih sedikit waktu GPU; ini adalah hasil pelatihan simulasi. π Blog Nvidia
Benchmark dan Agen
Isaac Lab-Arena menyediakan lapisan evaluasi dengan framework open-source yang membangun evaluasi berulang dari komponen modular dan menjalankannya di lingkungan simulasi terakselerasi GPU. DexBench v1.0 berisi 15 tugas lintas ritel, logistik, lini perakitan, dan hotel F&B. VABAR mencakup penyortiran dan penggantungan alat, pengasahan roda gigi, pengepakan spuit, serta penyisipan dan perutean kabel, didukung pustaka 33 keterampilan. π Blog Nvidia
Graph-as-Policy dari UC Berkeley menggunakan banyak agen untuk menyusun grafik terarah keterampilan robot yang dapat ditafsirkan, berlatih di simulasi, dan merevisi struktur serta parameter setelah kegagalan; sepuluh iterasi latihan meningkatkan hasil Make Popcorn dari 33% menjadi 94% di simulasi dan 90% pada robot nyata. π Blog Nvidia
Pengguna Industri
Nvidia menyebut Nexuni menguji GR00T 2 untuk penanganan cucian, Foxconn menerapkannya pada otomasi manufaktur server, dan Siemens mengevaluasi kasus penggunaan industri. Yang diumumkan adalah pengujian dan evaluasi; belum ada peluncuran produksi. π Blog Nvidia
Catatan Kritis
Meski Nvidia menyebut model sebagai terbuka, halaman risetnya menyatakan kode akan tersedia pada Desember 2026. Kesenjangan antara klaim "terbuka" dan ketersediaan kode menuntut kehati-hatian bagi pengembang yang ingin membangun di atasnya. Selain itu, keberhasilan tinggi pada lima demonstrasi sebagian merupakan hasil seleksi tugas, dan biaya per-tugas (fine-tune 30 menit) serta latensi pengawasan agen masih menjadi tantangan deployment. π Unite.AI
Fakta Kunci
- Diperkenalkan 9 November 2026 di CoRL, Austin.
- Transformer 2 miliar parameter berbasis Cosmos-Predict2.5-2B.
- Pralatih: 402.730 jam video manusia, 10.184 jam demonstrasi gripper, 23.500 jam teleoperasi robot.
- Human-1M-100K: 100.000 jam data manusia, lisensi CC BY 4.0.
- 40 dari 50 tugas selesai setidaknya sekali tanpa demonstrasi; 95% dengan lima demonstrasi.
- Kode model baru tersedia Desember 2026.
- Pengguna uji: Foxconn, Siemens, Nexuni (belum produksi).
Sumber
- Nvidia Blog, "Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation", 9 Nov 2026. π https://blogs.nvidia.com/blog/robotics-simulation-advancements-corl/
- Unite.AI, "NVIDIA Introduces GR00T 2 for Robots Learning From Human Video", 9 Nov 2026. π https://www.unite.ai/nvidia-introduces-gr00t-2-for-robots-learning-from-human-video/
Tidak ada komentar:
Posting Komentar