T-Rex: AI Manipulasi Robot dengan Sentuhan Ujung Jari Mencapai Kinerja Rekor

Panasonic Holdings dan Panasonic R&D Company of America bersama peneliti dari University of California, Berkeley, NVIDIA, Stanford University, Sapienza University of Rome, dan ItalAI memperkenalkan T-Rex (Tactile-Reactive Dexterous Manipulation), AI manipulasi robot yang mampu melakukan tugas bimanual dengan cekatan sambil merespons sentuhan ujung jari secara instan.

Pengumuman ini disampaikan Panasonic pada 5 November 2026, dan hasilnya akan dipresentasikan di Conference on Robot Learning (CoRL) di Austin, Amerika Serikat, pada 9–12 November 2026. Makalah T-Rex sendiri sudah ada di arXiv sejak Juni 2026. 🔗 Panasonic

Kenapa Sentuhan Selama Ini Sulit bagi Robot

Manusia menyesuaikan gerakan secara instan berdasarkan gaya, selip, dan deformasi yang dirasakan ujung jari, misalnya saat menarik kartu tipis atau memutar kunci. Model Vision-Language-Action (VLA) konvensional umumnya hanya mengandalkan kamera, dan kalaupun memakai data taktil, sering memperlakukannya sebagai masukan statis.

Akibatnya, robot kesulitan menangani tugas yang butuh pengaturan gaya halus atau respons terhadap kondisi kontak yang berubah. Tantangan lain adalah langkanya data pelatihan berskala besar yang memuat informasi taktil, serta kesenjangan antara laju pembaruan model visi-bahasa yang rendah dan frekuensi kontrol tinggi yang dibutuhkan respons taktil yang cepat. 🔗 Panasonic

Dua Jam yang Berjalan Bersamaan

T-Rex menggabungkan pembangkitan aksi berbasis visi dan bahasa berfrekuensi rendah dengan koreksi aksi berkecepatan tinggi yang didorong umpan balik taktil dari ujung jari, dalam satu model. Modul pembangkitan gerakan memproses visi dan bahasa untuk menghasilkan gerakan keseluruhan pada sekitar 5 Hz, sedangkan modul koreksi aksi menangkap kondisi kontak secara real time pada sekitar 20 Hz dan mengoreksi aksi secara halus.

Dengan cara ini robot bisa merespons selip atau tekanan berlebih selama kontak tanpa harus menjalankan ulang pengenalan gambar berlatensi tinggi setiap kali. Arsitekturnya, yang disebut variable-rate Mixture-of-Transformer (MoT), membagi kendali ke tiga expert: expert laten yang memprediksi representasi visual masa depan, expert aksi yang merencanakan gerakan kasar, dan expert taktil yang menambahkan koreksi residual berfrekuensi tinggi. 🔗 Halaman proyek T-Rex

Untuk menerjemahkan sinyal sentuhan, T-Rex memakai encoder temporal tactile VQ-VAE yang memampatkan gaya dan pola kontak berfrekuensi tinggi menjadi token-token yang ringkas dan tahan terhadap drift. 🔗 Halaman proyek T-Rex

Data dan Pelatihan

Tim riset mengumpulkan lebih dari 7.700 episode data manipulasi robot bimanual — total 100 jam — dengan menggabungkan lebih dari 200 jenis objek sehari-hari dan 22 jenis aksi dasar. Setiap episode merekam secara sinkron video dari kamera kepala dan pergelangan tangan, state dan aksi robot, informasi gaya dan deformasi dari sensor taktil pada 10 ujung jari, serta instruksi bahasa alami. 🔗 Panasonic

Pelatihannya berlangsung tiga tahap. Pertama, T-Rex mempelajari pengetahuan visual dan gerak yang luas dari 22.889 jam video egosentris manusia. Kemudian ia mempelajari perilaku kaya kontak khusus robot dari data beranotasi taktil, dan terakhir di-fine-tune dengan sekitar 100 demonstrasi per tugas.

Sekitar 50 jam dari dataset tersebut dibuka sebagai open source, sehingga komunitas riset bisa membangun di atasnya. 🔗 Halaman proyek T-Rex

Hasil Evaluasi: 65 Persen, Unggul 30 Poin

Dalam evaluasi pada 12 tugas dunia nyata yang kaya kontak — termasuk membalik halaman, memindahkan telur, mengoleskan pasta gigi, membuka kunci, menarik kartu, dan memasang bohlam lampu — T-Rex mencapai tingkat keberhasilan rata-rata 65 persen. Angka itu jauh melampaui 35 persen yang dicapai baseline dengan performa terbaik sebelumnya, EgoScale, dan lebih dari 20 kali lipat baseline terlemah. 🔗 Panasonic

Tanpa informasi taktil, tingkat keberhasilan rata-rata turun menjadi hanya 42 persen. Penurunan ini mengonfirmasi efektivitas penginderaan taktil dan mekanisme reaktif berkecepatan tinggi yang dibawa T-Rex.

Setiap tugas dievaluasi melalui 16 percobaan acak, dengan rubrik progres untuk tugas multi-tahap, dan T-Rex menjadi metode teratas di seluruh 12 tugas. 🔗 Halaman proyek T-Rex

Fakta Kunci

• Model: Tactile-Reactive Dexterous Manipulation (T-Rex), arsitektur variable-rate Mixture-of-Transformer (MoT) dengan encoder temporal tactile VQ-VAE.
• Keberhasilan: rata-rata 65% pada 12 tugas kaya kontak, vs 35% baseline terbaik (EgoScale); turun ke 42% tanpa taktil.
• Data: 100 jam (7.700+ episode) dari 200+ objek dan 22 primitif motor; sekitar 50 jam dibuka sebagai open source.
• Pelatihan: pre-training 22.889 jam video egosentris manusia; mid-training data taktil; fine-tune sekitar 100 demonstrasi per tugas.
• Arsitektur: tiga expert — laten, aksi, dan taktil — digabungkan lewat asynchronous cascaded flow matching; modul gerak sekitar 5 Hz, modul koreksi taktil sekitar 20 Hz.
• Robot: robot bimanual dexterous 58-DoF; evaluasi 16 percobaan acak per tugas.
• Presentasi: Conference on Robot Learning (CoRL), Austin, AS, 9–12 November 2026.
• Kolaborator: UC Berkeley, NVIDIA, Stanford, Panasonic R&D Company of America, Sapienza University of Rome, dan ItalAI.

Dampak dan Arah Selanjutnya

Para peneliti menyatakan tujuan ke depan adalah memanfaatkan teknologi ini agar robot dapat membantu tugas-tugas yang memerlukan kontrol gaya halus dan penyesuaian berdasarkan kondisi kontak. Contohnya memasang, melepas, dan mengencangkan komponen dalam manufaktur, serta menangani barang lunak atau rapuh dalam logistik.

Harapannya, teknologi ini mengurangi beban pekerja lini depan dan membantu mengatasi kekurangan tenaga kerja. Dataset T-Rex dibuka sebagai open source, sehingga komunitas riset dapat membangun di atas fondasi ini. 🔗 Panasonic

Sumber

• Panasonic Holdings Corporation, “Panasonic HD Co-Develops a Robot Manipulation AI That Performs Dexterous Bimanual Tasks by Reacting Instantly to Fingertip Touch,” 5 November 2026 — news.panasonic.com
• Dantong Niu dkk., “T-Rex: Tactile-Reactive Dexterous Manipulation,” arXiv:2606.17055 — arxiv.org
• Halaman proyek T-Rex — tactile-reactive-dexterous.github.io