Selasa, 03 November 2026

Model AI Terbaik Baru Lulus 12% di Uji Kerja Nyata GDPx: Claude Unggul, tapi Semua Masih Jauh dari Ahli

Seberapa hebat sebenarnya agen AI terbaik saat ini ketika diberi pekerjaan ahli yang sesungguhnya? Tolok ukur baru bernama GDPx memberi jawaban yang merendahkan ekspektasi: model terbaik sekalipun baru menyelesaikan sekitar satu dari delapan tugas.

Apa yang terjadi?

SemiAnalysis merilis GDPx pada 2 November 2026, sebuah tolok ukur baru untuk menguji agen AI pada pekerjaan profesional yang realistis, bukan sekadar menjawab pertanyaan ujian. Versi pertamanya berisi 206 tugas di 11 bidang, disusun bersama 14 mitra data spesialis.

Hasilnya mengejutkan: model terbaik pun masih jauh dari sempurna. Claude Opus 5.5 dari Anthropic memimpin dengan skor 12,0 persen, disusul Gemini 4 Carbon dari Google di 10,9 persen dan GPT-6 Astra dari OpenAI di 9,6 persen. 🔗 Unite.AI

  • Claude Opus 5.5 (Anthropic): 12,0 persen, biaya rata-rata US$51,41 per tugas
  • Gemini 4 Carbon (Google): 10,9 persen, biaya rata-rata US$16,29 per tugas
  • GPT-6 Astra (OpenAI): 9,6 persen, biaya rata-rata US$53,99 per tugas
  • Muse Wonder Full (Meta): 9,0 persen, disebut terbaik di bidang siber
  • GLM 5.3 (Z.ai): 2,7 persen, model bobot terbuka terbaik di papan skor

Setiap tugas diberi batas waktu default delapan jam dan dijalankan di lingkungan kerja yang menyerupai kondisi nyata, misalnya transaksi ekuitas swasta yang direkonstruksi dari sekitar 4.000 berkas. Skor utama merupakan rata-rata percobaan pertama selama tiga kali percobaan, dengan bobot yang sama untuk tiap bidang.

Kenapa penting?

GDPx memberi gambaran yang lebih jujur tentang kesiapan agen AI untuk pekerjaan ahli. Selama ini banyak tolok ukur menilai jawaban, sementara pekerjaan nyata menuntut hasil yang benar-benar bisa dipakai, aturan yang dipatuhi, dan berkas yang ditemukan.

Di bidang keuangan dan hukum, semua model bahkan mencetak nol pada penilaian lulus-gagal yang dimaksud, sehingga SemiAnalysis melaporkan skor parsial untuk kedua bidang itu. Temuan ini menjadi pengingat bahwa klaim “AI sudah bisa menggantikan ahli” masih terlalu dini untuk tugas-tugas kompleks.

Dari sisi biaya, Gemini 4 Carbon menonjol karena skornya hanya selisih tipis dari pemuncak, tetapi biayanya sekitar sepertiga dari Claude Opus 5.5. Perbandingan ini penting bagi perusahaan yang menghitung efektivitas agen AI, bukan hanya peringkatnya.

Apa yang perlu diperhatikan?

  1. Jangan salah tafsir angka 12 persen: itu bukan persentase ekonomi yang bisa diotomatisasi, melainkan skor pada kumpulan tugas yang sengaja dibuat sangat sulit.
  2. SemiAnalysis sendiri mengakui skor Claude Opus 5.5 dan GPT-6 Astra tertekan oleh pengaman (safety classifier) di bidang siber, biologi, dan alignment, yang kadang menolak tugas yang sebenarnya sah.
  3. Hasil ini belum direplikasi secara independen, dan GDPx dirancang sebagai tolok ukur yang terus diperbarui setiap 3–6 bulan, jadi peringkatnya masih bisa berubah.
  4. Bagi pengguna dan perusahaan, pesannya praktis: gunakan agen AI untuk tugas yang terdefinisi jelas dan tetap dengan pengawasan manusia pada pekerjaan berisiko tinggi.

GDPx juga menjadi kritik terhadap tolok ukur lama seperti GDPval dari OpenAI, yang menurut SemiAnalysis memberi semua konteks di dalam prompt dan tidak interaktif. GDPx justru menempatkan agen di dalam lingkungan kerja yang harus dijelajahi sendiri.

Sumber

🔗 Unite.AI — SemiAnalysis Launches GDPx Benchmark Spanning 11 Agentic Domains

Share This!


Tidak ada komentar:

Posting Komentar

Powered By Blogger · Designed By Adzim Developer